sdz7121211

Discovered public repositories for sdz7121211 in the GitHub catalog.

↗

sdz7121211/crawler_distributed

a origin design distributed crawler，use redis share signalnature。

↗

sdz7121211/oryx

Simple real-time large-scale machine learning infrastructure.

↗

sdz7121211/SplitWordStastic

统计文本分词结果导出excel，纵向按词频降序排列，横向统计该分词后的n个词从高往低排列。

↗

利用代理方式抓取网页，代理ip动态选择，有raw模式和effective模式，初始化时进入raw模式随机选择代理IP，如果可用加入effective模式的代理ip队列，如果不可用就随机另选，如果effective模式的代理ip个数大于设定个数，就进入effective模式，随机选择队列中的代理ip，此时ip均经过验证，所以成功率较高，如果ip变得不可用，就从队列中删除，当effective的ip队列小于设定个数时，进入raw模式，如此往复。

↗