您的位置:首页 > 互联网

通过爬虫爬取互联网公开新闻信息等,并做展现,打开会直接打开原网站,这种涉及侵权吗?

2024-06-01 02:33热度:8675

可以的,首先要自己会写代码学习爬虫可以从下面一些知识点入手学习。 1、http相关知识。 2、浏览器拦截、抓包。 3、python2 中编码知识,python3 中bytes 和str类型转换。 4、抓取javascript 动态生成的内容。 4、模拟post、get,header等 5、cookie处理,登录。 6、代理访问。 7、多线程访问、python 3 asyncio 异步。 8、正则表达式、xpath等等等。。。。还有scrapy requests等第三方库的使用。