FashtimeDotCom / crowl_proxy

利用代理方式抓取网页，代理ip动态选择， 有raw模式和effective模式，初始化时进入raw模式随机选择代理IP，如果可用加入effective模式的代理ip队列，如果不可用就随机另选，如果effective模式的代理ip个数大于设定个数，就进入effective模式，随机选择队列中的代理ip，此时ip均经过验证，所以成功率较高，如果ip变得不可用，就从队列中删除，当effective的ip队列小于设定个数时，进入raw模式，如此往复。