Python爬虫工具篇 - 必会用的6款Chrome插件
在日常 PC 端的Python爬虫过程工作中,Chrome 浏览器是我们常用的一款工具。
鉴于 Chrome 浏览器的强大,Chrome 网上应用商店很多强大的插件可以帮助我们快速高效地进行数据爬虫。
今天推荐的 6 款 Chrome 插件,可以大大提升我们的爬虫效率。
EditThisCookie
![Python爬虫工具篇 - 必会用的6款Chrome插件](/d/file/os/Linux/2019-08-20/0be421cc6a616ba01f67fb7dbc5c2c0d.jpeg)
EditThisCookie 是一个 Cookie 管理器,可以很方便的添加,删除,编辑,搜索,锁定和屏蔽 Cookies。
可以将登录后的 Cookies 先保存到本地,借助 cookielib 库,直接爬取登录后的数据。
避免了抓包和模拟登录,帮助我们快速地进行爬虫。
Web Scraper
![Python爬虫工具篇 - 必会用的6款Chrome插件](/d/file/os/Linux/2019-08-20/12b695d625ae39fc12baa18bcb887120.jpeg)
Web Scraper 是一款免费的、适用于任何人,包含没有任何编程基础的爬虫工具。
操作简单,只需要鼠标点击和简单的配置,就能快速的爬取 Web 端的数据。它支持复杂的网站结构,数据支持文本、连接、数据块、下拉加载数据块等各种数据类型。
此外,还能将爬取的数据导出到 CSV 文件中。
Xpath Helper
![Python爬虫工具篇 - 必会用的6款Chrome插件](/d/file/os/Linux/2019-08-20/81754577932cc4f59445b68cbd20ef46.jpeg)
Xpath Helper 是一种结构化网页元素选择器,支持列表和单节点数据获取,
它可以快速地定位网页元素。
对比 Beautiful Soup,由于 Xpath 网页元素查找性能更有优势;Xpath 相比正则表达式编写起来更方便。
编写 Xpath 之后会实时显示匹配的数目和对应的位置,方便我们判断语句是否编写正确。
Toggle JavaScript
![Python爬虫工具篇 - 必会用的6款Chrome插件](/d/file/os/Linux/2019-08-20/a06e42505ca6f04871dc2a590f2d4efd.jpeg)
Toggle JavaScript 插件可以用来检测当前网页哪些元素是通过 AJAX 动态加载的。
使用它可以快速在容许加载 JS 、禁止加载 JS 两种模式中切换。
User-Agent Switcher for Chrome
![Python爬虫工具篇 - 必会用的6款Chrome插件](/d/file/os/Linux/2019-08-20/a498214a3027d3f0a0e67024cda362b9.jpeg)
User-Agent Switcher for Chrome 插件可以很方便的修改浏览器的 User-Agent。
可以模拟不同的浏览器、客户端,包含 Android、IOS 去模拟请求。
对于一些特殊网站,切换 User-Agent 可以更方便地进行数据爬取。
JSON-handle
![Python爬虫工具篇 - 必会用的6款Chrome插件](/d/file/os/Linux/2019-08-20/aa8ca3074b554a9cd2e4d9e41b5b8e9d.jpeg)
JSON-handle 是一款功能强大的 JSON 数据解析 Chrome 插件。
它以简单清晰的树形图样式展现 JSON 文档,并可实时编辑。
针对数据量大的场景,可以做局部选取分析。
更多信息来自:东方联盟网 vm888.com
- 11-131分钟学会U盘启动安装Linux系统
- 11-13克隆MAC地址来绕过强制门户
- 11-13Linux运维常见故障及处理的 32 个锦囊妙计
- 11-13如何快速以管理员权限运行Linux命令?
- 11-13超全面的Linux应急响应技巧
- 11-136 款面向 Linux 用户的开源绘图应用程序
- 01-11全球最受赞誉公司揭晓:苹果连续九年第一
- 12-09罗伯特·莫里斯:让黑客真正变黑
- 12-09谁闯入了中国网络?揭秘美国绝密黑客小组TA
- 12-09警示:iOS6 惊现“闪退”BUG
- 06-01星环科技加码AI基础设施业务布局 发布知识平
- 06-01天猫618:淘宝商家报名数同比增长24%
- 06-01饿了么品牌升级焕新:经营进入新周期 将坚持
- 06-01报告:技术创新对打造可持续影响力企业尤为
- 05-30腾讯应用宝将在Microsoft Store上架 Wind