AIInfoHelper

用对话驱动 AI 操作网页：填表、点击、输入、截屏；支持跨页查询与控制其它标签页完成多页任务

InfoHelper - 插件说明 简介 InfoHelper 是一款 Chrome 扩展，通过自然语言与 AI 对话，让 AI 代替你在当前网页上操作：填表、点击、输入、搜索等。默认使用阿里云 DashScope（百炼）接口与多模态模型 qwen3.5-plus，你只需配置阿里云 API Key 即可使用；支持截图/粘贴图片给 AI 识图、抓取 URL 内容参考、在当前页 iframe 预览链接等。 主要功能 对话驱动操作：在右侧边栏用自然语言发指令（如「在搜索框输入天气并回车」「点击登录按钮」），AI 自动调用多种工具执行（含 DOM/截屏、完整鼠标与键盘事件、输入焦点检查、知识库与脚本等）。 流式输出：AI 回复边生成边显示；深度思考（可选）过程实时展开，完成后自动折叠；工具调用过程显示工具名和状态，完成后折叠。 右侧对话边栏：页面右上角「AI」按钮展开/收起边栏；支持多轮对话、新会话、历史会话（可按页面或按同一域名保持连续）；AI 回复支持 Markdown（含表格、列表、代码块）。AI 活动状态指示：请求进行中时边栏标题旁 AI 图标与页面「AI」按钮会闪烁，便于判断是否需继续等待；同时发送按钮禁用、中断按钮显示并可点击；跳转到新页面后若请求仍在进行，打开边栏仍会显示活动中状态（图标闪烁、发送禁用、中断可用）。 多模态识图：可「发送时附带截图」或「+ 添加截图」、粘贴图片（Ctrl+V）发给 AI；缩略图带删除按钮和放大预览；图片会附带来源（截屏/外来）与尺寸信息。图片会上传到 DashScope 以 URL 引用，不占请求体大小。 学习（DOM 选取）：点击边栏「学习」按钮后，会在当前打开的页面上进入选取模式（页面会自动切换到前台）；在页面上点击要选取的元素后，该元素的 XPath、CSS 选择器、路径、标签、id、CSS 类及文本、placeholder、位置等会按行回填到输入框，便于随后输入操作说明并发送给 AI 参考。按 Esc 可取消选取。 页面操作能力（多种工具）： 查看：DOM 结构、可见文本、文本坐标、元素详情、页面信息（URL/尺寸/滚动位置） 截图：全屏截图、区域截图（指定坐标和大小） 交互：点击优先 element_click(selector)、element_click_at(x,y)（直接调用元素 click()），其次 click_element、mouse_click；其它鼠标：移动/双击/右键/滚轮/按下/抬起（mode：topmost/topLevel，prefer_content 穿透遮罩）。单/复选框：set_element_checked(selector, true/false)；下拉框：select_option(selector, value?|text?|index?)。键盘：keyboard_type、按键/单独 keydown/keyup、check_input_focus、get_editable_context、rich_text_insert。滚动：scroll_page（上下/到顶底/到元素）。 等待：等待元素出现（异步加载/弹窗） 导航：打开 URL、前进、后退 修改：替换文本、设置文本/属性/样式/值、单/复选框勾选 set_element_checked、添加/移除 class、显示/隐藏元素、闪烁元素 翻译：整页翻译（并发流式，逐条替换显示） 资源：获取页面媒体 URL、下载资源、抓取 URL 内容 预览：iframe 浮窗加载链接、关闭预览 脚本：在页面内执行 JavaScript 计算与数据：calculator（高精度数学表达式）、get_current_time（当前时间，可选时区/格式）、text_analyze（正则匹配/替换/拆分与字符串切片/trim/split/indexOf）、json_analyze（JSON 校验、按路径提取、keys、美化）；get_knowledge_base（按当前页域名从服务端或本地查询当前站点经验与推荐步骤，配置 AIIHServer 时由后台接口拉取并缓存）。无需 AI 介入：页面加载完成、切换标签页或打开边栏时，扩展会自动按当前页域名拉取并缓存知识，后续发消息给 AI 时可直接使用。 智能失败处理：工具调用最多 15 轮，连续失败会截屏检查、换策略，不会无限循环。 跳转后继续（通用）：在任意页面，只要 AI 执行了可能引起同页跳转的操作（如点击链接、打开 URL、前进/后退），或用户边栏开着时自己点链接/前进后退，跳转后都会自动重新打开边栏；拉取该任务对话后自动发送「页面已跳转到…请继续执行」或「当前页面已加载…请根据当前页面继续执行」，会话在刷新/新页下仍可继续。任务消息仅由后台以完整格式（含工具调用与结果）保存，保证「继续」时 AI 能拿到完整上下文。 多域共享会话、以 storage 为准：对话保存在 chrome.storage.local，全局共用一个当前会话；不随切换标签页或页面而变，只要未点「新会话」，在任意页面打开边栏都是同一段对话，AI 使用同一上下文。多标签同时打开边栏时，仅当前窗口的前台标签页为「活动」页：get_dom、点击、输入等工具均在该活动页执行。 存储上限与自动清理：单任务最多保留 300 条消息，超出时自动删除最老消息；最多保留 100 个任务，超出时删除最久未更新的任务。边栏会话列表每页最多 50 条，超出时自动删除最老会话并释放 storage。 跨页通信与标签管理：AI 可查询其它标签页内容并驱动其它页面操作；可在新标签页打开链接（open_in_new_tab）、关闭指定标签（close_tab）或只保留当前页并关闭其它（close_other_tabs）。tabs_list 返回的每项带序号 no（1 起），用户可说「第2个」「用第3个标签」让 AI 指定页面。 URL 抓取与预览：fetch_url_content 拉取图片/网页供参考；show_page_in_iframe 在当前页弹出可拖动 iframe 预览。 浏览器侧边栏（Side Panel）：AI 对话边栏为浏览器右侧固定面板（不注入页面内），宽度可拖拽调整。点击浏览器右上角扩展图标打开/关闭边栏；无需在页面内加载浮层或按钮。可选「强制在本窗口打开新页面」。 安装与配置 安装 Chrome 打开 chrome://extensions/，开启「开发者模式」，点击「加载已解压的扩展程序」，选择 AIInfoHelper 目录。 配置 API（必做） 默认使用阿里云 DashScope。右键扩展图标 → 选项，填写： API Key：在阿里云百炼控制台获取。 API 基础 URL：默认 https://dashscope.aliyuncs.com/compatible-mode/v1，一般无需修改。 模型名称：默认 qwen3.5-plus（多模态，支持识图），可按需改为 qwen3-max、qwen-turbo 等。 保存后即可在边栏与 AI 对话并操作页面。 打开边栏 打开任意网页后，点击浏览器工具栏中的 扩展图标，即可在右侧打开 AI 对话边栏（浏览器侧栏，可拖拽调整宽度）。 若当前页为不可操作页（如 about:blank、chrome://、扩展选项页等），点击「在当前页打开对话边栏」时，若已配置 AIIHServer 服务入口地址，将**自动打开 AIIHServer 的 /blank 空白页（AI演武场）**并在此页打开边栏，便于在可操作页面上与 AI 对话与测试。 使用示例 "在搜索框输入「北京天气」并回车。" "点击页面上的登录按钮。" "把用户名填成 admin，密码填成 123456，然后点登录。" "让「提交」按钮闪烁一下。"（用于定位元素） "把页面上所有「游戏」替换成「阅读」。" "把当前页截个图 / 用这个截图里的表格总结一下。"（多模态识图） "把这个链接里的内容抓给我看看。"（fetch_url_content） "在页面里用浮窗打开这个链接。"（show_page_in_iframe） 先点边栏「学习」，在页面上点选一个元素，输入框会自动填入该元素的 XPath、选择器、CSS 类等信息；再输入「让 AI 点击它」等说明并发送。 "往下翻一页 / 滚到页面底部。"（scroll_page） "返回上一页。"（go_back） "等弹窗出来后帮我填写。"（wait_for_element + keyboard_type） "把下拉框选成第二个选项。"（select_option） "这个页面有多长？当前滚动到哪了？"（get_page_info） "现在几点？" / "帮我算 3.14 乘以 100"（get_current_time、calculator） "从这段 JSON 里取出 data.list[0].name"（json_analyze） 选项说明（摘要） 选项 说明 自动打开对话边栏 新开页/刷新后自动显示「AI」按钮。 边栏挤占页面宽度 已改为浏览器侧栏（Side Panel），该选项暂无效。 同一域名下保持会话连续 开启后同一网站内多页面（如淘宝商品页、搜索页）共用同一套对话与历史。 强制在本窗口打开新页面 开启后页面中 window.open 弹窗改为在本窗口新标签打开，不新开浏览器窗口。 工具执行间隔（毫秒） 每次工具调用之间的等待时间，可避免聚焦与输入等操作过于紧凑导致失败；0 表示不等待，默认 500。 启用深度思考 开启后 AI 会先深度推理再回复，思考过程可折叠查看；默认关闭（更快）。 可信输入 对会拦截模拟操作的站点，可开启以使用调试协议发送真实输入与点击。 Trusted Types / CSP 页面加载时移除全部 CSP meta；选项可对指定/全部网站移除响应头 CSP 与 report-to（阻断 CSP 时一并阻断上报，避免报告外发）。开启「可信输入」时，页面脚本经 DEBUG 注入，脚本类能力在严格站点更易可用。 知识库（AIIHServer 登录后） 配置页展示「知识库」：系统条目可查看不可改，本人条目可查看与编辑；AI 按当前页域名从服务端拉取经验并缓存（时长由服务端配置）。 图片压缩 / 单张最大边长·体积 图片上传到 DashScope 以 URL 引用，默认 768px、60KB。 系统通知（AIIHServer 登录后） 配置页「通信」Tab：管理员通过 AIIHServer 发布的通知在此拉取。仅同步登录之后新产生的消息；列表支持单条「删除」、整页「清空通知」。打开本页/登录/保存配置时会自动检查未读并弹窗。 已登记插件（AIIHServer） 插件首次使用会生成唯一 UUID 并持久化；登录/注册时提交版本与名称，服务端登记该插件实例。配置页「用量统计」下可查看「已登记插件」列表及各插件近 30 天用量。 注意事项 默认对当前活动标签页进行操作；跨页时 AI 可通过 tabs 相关工具（如 tabs_list、open_in_new_tab、close_tab）查询或控制其它标签页。 敏感信息（如密码）建议勿交由 AI 代为输入；API Key 仅存于本机，不会发给 AI 服务端。 部分页面（如 chrome://、扩展商店、about:blank）无法注入；在此类页面点击打开边栏时，若已配置 AIIHServer 服务入口，将自动打开服务端的 /blank（AI演武场）并在该页打开边栏。 默认使用阿里云接口，需自行在阿里云开通并配置 API Key。 fetch_url_content 与 show_page_in_iframe 仅支持 http/https URL；iframe 预览受目标站 X-Frame-Options 等限制，部分站点可能无法嵌入。 工具调用最多 15 轮；连续失败时 AI 会截屏检查并换策略，不会无限循环。 翻译功能采用并发流式处理，按字符数智能分批（~12K 字符/批），4 路并发，逐条替换显示。 版本与许可 当前版本见扩展内或 manifest.json 中的 version（如 1.4.1）。 作者：技术宅（messageloop@gmail.com）。 相关文档 设计.md：设计目标、架构、功能整合与存储设计。 docs/设计文档.md：架构与模块、数据流、活动中状态与 requestInProgress、权限与安全。 docs/功能文档.md：面向用户与测试的功能说明。