AI 爬虫检查 – AISeeWhy
5.0(
1 个评分
)扩展程序开发者工具4 用户
概述
哪些 AI 爬虫可以读取此页面,不运行 JavaScript 时它们又能拿到什么文本?一键查看 robots.txt 规则和 AI View。
查看哪些 AI 爬虫可以读取你当前所在的页面,以及原因。 一键检查 16 个 AI 爬虫:你的 robots.txt 是否允许每个爬虫抓取这个页面,以及由哪一行规则决定。规则按照 RFC 9309 标准解读,包括部分爬虫遵循的例外情况。 还会显示: • robots.txt 中的 Content-Signal(搜索、AI 回答、训练) • 网站是否有 llms.txt • robots.txt 中列出的站点地图 robots.txt 只是一半:即使 robots.txt 允许,防火墙或 CDN 仍可能拦截爬虫。完整检查会从我们的服务器用每个爬虫的 user agent 发送真实请求,并显示每个爬虫实际收到什么。可在 aiseewhy.com 上运行,也可以使用 AISeeWhy 账户中的 API 密钥直接在这里运行。 AI View 是第二个标签页:展示 AI 爬虫在不运行 JavaScript 时读到的页面。它会比较初始 HTML 中的字词与屏幕上显示的字词,在内容只有执行 JavaScript 后才出现时发出警告,显示爬虫获取的 title、description、H1 和结构化数据,以及可直接复制的文本。 隐私:扩展只读取你当前所在的网站,且仅在你点击其图标时读取。除非你启动完整检查,否则不会向我们发送任何内容。
5 星(5 星制)1 个评分
详情
- 版本1.1.2
- 上次更新日期2026年11月21日
- 提供方aiseewhy.com
- 大小581KiB
- 语言50 种语言
- 开发者Pavel Larionov
Nakashedzebi 10 Tbilisi 0105 GE邮箱
support@aiseewhy.com电话
+995 598 08 34 20 - 交易者此开发者已根据欧盟的定义将自己标识为交易者,并承诺仅提供符合欧盟法律要求的产品或服务。
隐私权
管理扩展程序并了解它们在组织中的使用情况
“AI 爬虫检查 – AISeeWhy”已就收集和使用用户数据披露了以下信息。 如需了解详情,请查看开发者的privacy policy。
AI 爬虫检查 – AISeeWhy会处理以下数据:
身份验证信息
网络记录
该开发者已声明,您的数据:
- 不会因未获批准的用途出售给第三方
- 不会为实现与产品核心功能无关的目的而使用或转移
- 不会为确定信用度或放贷目的而使用或转移
支持
若有任何疑问、建议或问题,请访问开发者的支持网站