Jev Ultrafast —— 基于动态索引动作空间的浏览器 Agent

项目用途

Jev Ultrafast 是一个「最快、最便宜」的网页智能体（web agent）。使用方式是把一个自然语言目标交给它，由 TypeSafe 的 Jev 决定「执行哪个操作 + 作用在哪个元素」上。只有当操作是 TYPE_TEXT 时，才会调用一个小型 LLM 生成要输入的文本。

配图 1 为项目横幅（Jev Ultrafast · Browser Use × TypeSafe），配图 2 为一次 1× 速度的 Google Flights 真实搜索演示（城市名由模型生成，操作/目标由模型动态决策）。

动作空间与决策机制

• 每次观察（observation）都会生成一张新的元素表，例如：
• [1] button Change ticket type · Round trip
• [2] combobox Where from? · San Francisco
• [3] combobox Where to? · empty
• [4] textbox Departure · empty
• 支持的操作只有：CLICK、TYPE_TEXT、SELECT、SCROLL_UP、SCROLL_DOWN、WAIT、DONE、BLOCKED。只会提供受支持的操作与目标。
• 一次 TypeSafe 请求内同时给出：操作（如 CLICK）、click_target、type_text_target、select_target（如存在）。目标问题是「投机式（speculative）」的：如果操作是 CLICK，只有 click_target 会被执行。两个决策共用一次网络往返。
• 每个 target head 只包含与当前操作兼容的元素；原生下拉选项带有观察到的元素/选项索引。
• 策略中没有站点专用脚本，也没有预先准备好的字段字符串。Flights 示例只提供目标，并独立校验结果；截图层只是事后加标签，不驱动浏览器。

为什么快（官方列出的设计点）

• 每个决策周期只发一次请求，操作头与目标头共享同一份观察状态。
• 默认 agent 循环不使用截图：Jev 消费结构化状态；inspector 才选用截图，视频使用单独的连续录制。
• 每个快照只做一次浏览器调用：原子读取可见控件及其名称、值和文本，并保留真实 DOM 节点的引用。
• 校验所选目标：点击会检查文档、表单值、目标及邻近上下文；动画本身不会强制再次预测；输入前解析当前几何位置并拒绝被遮挡控件。
• 等待「有用状态」：向 combobox 输入后等待可见建议，上限 200 ms；其他交互最多两个动画帧或 50 ms；这些读取发生在执行被记录之后。
• 保持隐藏标签页继续渲染，用焦点模拟避免后台动画节流，而不切换 Chrome 的可见标签。
• 只发送可见文本：屏幕外的正文和页脚不会填充模型上下文。
• 复用被中断的文本请求：只有当文本助手的整个输入未变化时，生成值才会在「页面过旧」重试中保留。

安全边界

• 每个被执行的目标都来自观察到的节点；执行器会重新检查页面新鲜度与点击遮挡。
• 模型输出永远不会变成选择器、坐标、shell 命令或可执行 JavaScript；文本助手输出必须先解析为一个小的 JSON 对象才能输入。

代码结构（文件职责）

• agent.py：完整循环与文本助手交接
• snapshot.js：原子 DOM 快照、带索引的控件、新鲜度保护
• browser.py：浏览器连接、当前几何、执行
• model.py：动态操作/目标头与文本生成
• questions.py：模型指令
• demo.py：本地 inspector

证据与限制

• 当前视频是一次 7,073 ms 的 Google Flights 运行。计时从首次页面观察之后开始，包含模型调用、生成文本、浏览器操作、过期决策与加载等待。独立的全新检查会校验单程设置、Zürich、London、September 20, 2026 以及可见的航班选项。视频以 1× 播放，无开头停顿，结尾定格 0.5 秒。
• 六次交替运行（模型与设置完全相同）中两个版本都是 3/3 通过；中位任务时间从 9.450 s 降到 7.092 s（减少 25%），中位浏览器协议调用从 1,092 降到 101。官方声明这只是同一个浏览器配置上单一任务的三次重复，不是通用可靠性基准。
• 同一策略在 2.798 s 内打开了指定的 Wikipedia 文章，在 1.896 s 内通过了本地酒店搜索/筛选任务。运行、失败、源码哈希与测量边界见 performance.md。
• 选择 DONE 仍需要独立的结果校验。DOM 读取器覆盖常见 HTML 与 ARIA 控件，并非完整的 accessible-name 规范。Shadow root、iframe、canvas、上传、弹出标签、嵌套滚动以及任意键盘控件仍在该 MVP 之外。启用的标签共享现有 Chrome 配置。

适用对象

需要在网页上执行端到端任务、关注单步延迟与调用成本、且希望自定义策略模型/端点的开发者与自动化团队；不适合要求完整可访问性规范覆盖或复杂 iframe/canvas 操作的场景。

— 本文由 AI 根据公开来源辅助整理，命令、版本与许可证请在使用前到原始页面复核。