爬虫测试站点

test.wxmedia.me —— 用于测试爬虫的 IP / ASN / UA / 响应时间探测与渲染能力。

可用端点

GET /返回 JSON:IP、地址、ASN、User-Agent、响应时间
GET /html服务端直出 HTML(无需执行 JS)
GET /jsJS 运行时渲染(测试无头浏览器能力)
GET /reponse/{code}返回指定 HTTP 状态码,如 /reponse/404、/reponse/5xx
GET /status状态码测试器 —— 浏览器内直接验证各状态码,绕过工具渲染限制
GET /api/info同 / 的 JSON(供 JS 页面异步取数)
GET /api/recordsKV 访问记录(JSON)
后台admin.test.wxmedia.me

链接跳转体系(三个子域)

给爬虫一条真实的跳转链路:入口短链 → 302 → 落地页, 可以观察爬虫是否跟随跳转、是否带上 token、是否执行 JS。

link.wxmedia.me/{id}入口。浏览器打开会 302 跳到落地页, URL 带 HMAC 签名的 token。加 ?json=1 不跳转、直接返回 JSON(含 token 与目标地址)
visit.link.wxmedia.me/{id}?token=...落地页。校验 token 签名 / 有效期 / UA 指纹, 有效则渲染页面,无效返回 403
request.link.wxmedia.me/{id}/json直连接口,供 curl / python 等工具直接请求,返回 JSON
curl -i https://link.wxmedia.me/XXXXXXX1234567890
curl -s "https://link.wxmedia.me/XXXXXXX1234567890?json=1"
curl -s https://request.link.wxmedia.me/XXXXXXX1234567890/json

典型调用

curl https://test.wxmedia.me/
  curl -A "MyBot/1.0" https://test.wxmedia.me/html
  curl https://test.wxmedia.me/js
  curl -i https://test.wxmedia.me/reponse/404
  curl -i https://test.wxmedia.me/reponse/5xx

状态码端点的两种模式

普通模式/reponse/404 返回真实状态码 404,用于测试爬虫的重试 / 告警 / 降级逻辑
兼容模式/reponse/404?soft=1 HTTP 固定 200,真实码在正文 target_status 与响应头 x-status-code 里。 适合不渲染非 2xx 的工具(如部分内容抽取服务会把 4xx/5xx 改写成 200 + 空输出)
内容协商请求头带 Accept: text/html 时自动返回 HTML 形态的状态码页(?html=1 可强制)

关于 Bot 日志

自动化客户端(搜索引擎、扫描器、curl 等)默认不写入 KV 访问日志, 仅在后台做聚合计数,并留一条轻量采样(路径 + 真实状态码 + UA),避免污染面板并节省 KV 写入配额。 需要记录自己的测试爬虫时,加 ?log=1 强制记录。