由 dawei
爬虫推荐的工具：pyspider,BeautifulSouprequestsscrapymongodbrediskafka.repyV8：python执行js的插件phatomjs：一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准：DOM 操作，CSS选择器，JSON，Canvas 以及SVGselenium：是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。一开始推荐学习框架，比如scrapy或者Pyspider数据分析：pandasscikit-learnspark.ntlkjiebapandas主要是处理金融数据得力，scikit-learn用来进行机器学习，spark是分布式计算。nltk进行予以分析。jieba用来做中文分词。