爬虫监控看板
0
总任务
0
运行中
0
已完成
0
总抓取量
0
失败量
最近抓取结果
| # | 标题 | URL | 正文预览 | 时间 |
|---|---|---|---|---|
| 请选择任务 | ||||
任务概览
| 任务名 | 状态 | 抓取 | 成功 | 失败 | 跳过 | 开始 | 操作 |
|---|---|---|---|---|---|---|---|
| 暂无数据 | |||||||
抓取统计图
各任务抓取量
成功 / 失败 / 跳过
爬虫工具导航
常用爬虫工具与资源，点击快速跳转
爬虫框架
Scrapy
Python最流行的爬虫框架，支持分布式、中间件、管道
Playwright
微软出品的浏览器自动化，支持Python/JS/Java
Selenium
老牌浏览器自动化框架，多语言支持
Crawlee
Apify出品的NodeJS爬虫框架，支持Cheerio和Playwright
Colly
Go语言高性能爬虫框架
HTTPX
Python异步HTTP客户端，requests的现代替代品
解析工具
Beautiful Soup 4
Python HTML/XML解析库，简单易用
lxml
高性能XML/HTML解析，支持XPath和CSS选择器
Regex101
在线正则表达式测试和调试工具
JMESPath
JSON查询语言，类似XPath用于JSON提取
SelectorGadget
可视化CSS选择器生成工具
XPath Helper
Chrome插件，在页面上测试XPath表达式
HTTP & 网络
HTTPBin
HTTP请求测试服务，测试Headers/Cookie/代理
Postman
API调试和测试工具
cURL Converter
curl命令转Python/JS/Go等代码
mitmproxy
交互式HTTP/HTTPS代理，抓包分析利器
Charles Proxy
跨平台抓包代理，支持SSL解密
ProxyScrape
免费代理列表，HTTP/SOCKS代理
反爬绕过 & 数据处理
任务面板
任务列表
暂无任务
🔗URL 编解码
对URL字符串进行编码（encodeURIComponent）或解码（decodeURIComponent）操作。
输入
输出
🔐Base64 编解码
对文本进行 Base64 编码或解码，支持 UTF-8 字符集。
输入
输出
🔤Unicode 编解码
在普通文本与 \\uXXXX 格式的 Unicode 转义序列之间互相转换。
输入
输出
📋JSON 格式化
格式化、压缩或验证 JSON 数据，自动检测并高亮语法错误。
输入
输出
🏷HTML 格式化
格式化或压缩 HTML 代码，自动处理标签嵌套缩进。
输入
输出
🎨CSS 格式化
格式化或压缩 CSS 样式代码，自动处理选择器和属性缩进。
输入
输出
📜JS 格式化
格式化或压缩 JavaScript 代码，保留字符串和正则表达式完整性。
输入
输出
🔍正则表达式测试
使用 JavaScript 正则引擎测试匹配，支持常用标志位。
测试文本
匹配结果
📍XPath 测试
对 HTML/XML 文本执行 XPath 表达式查询，返回匹配节点列表。
HTML/XML文本
匹配结果
↔文本对比
使用 LCS（最长公共子序列）算法逐字符对比两段文本的差异。
原文
对比文本
🖼HTML 渲染预览
实时预览 HTML 代码的渲染效果，也可查看渲染后的源码。
HTML源码
渲染预览
🕐时间戳转换
Unix 时间戳与日期时间双向转换，支持秒和毫秒精度。
当前时间戳
时间戳 → 日期
日期 → 时间戳
📷Base64 图片互转
将图片文件转换为 Base64 Data URI，或将 Base64 字符串还原为图片预览。
🍪Cookie 格式化
将浏览器 Cookie 字符串自动解析为结构化的 JSON 对象。
Cookie字符串
JSON结果
🌐User-Agent 解析
解析 User-Agent 字符串，识别浏览器、操作系统和设备类型。
User-Agent
解析结果