Bytebot：开源自托管 AI 桌面智能体（自带 Ubuntu 虚拟桌面）

项目概览

Bytebot 是「拥有自己电脑的 AI」——一个自托管（self-hosted）的 AI 桌面智能体。与仅能操作浏览器的 agent 或传统 RPA 工具不同，Bytebot 自带一套完整的虚拟桌面，可以像人类一样看屏幕、移动鼠标、敲键盘，从而完成跨应用的复杂多步工作流。

配图 1 为项目 Logo。官网、文档、Discord、X（Twitter）等入口见仓库说明。

它为什么需要一台「自己的电脑」

一个桌面智能体意味着 AI 拥有完整虚拟桌面，可以：

• 使用任意应用（浏览器、邮件客户端、办公工具、IDE）
• 下载并用自带文件系统整理文件
• 通过密码管理器登录网站和应用
• 读取与处理文档、PDF、电子表格
• 跨不同程序完成复杂的多步工作流

四大组件架构

• **虚拟桌面**：完整的 Ubuntu Linux 环境，预装常用应用；技术栈为 Ubuntu 22.04 + XFCE、Firefox、VS Code 等工具
• **AI Agent**：NestJS 服务，负责理解任务并协调 AI 与桌面动作
• **任务界面**：Next.js 应用，用于创建任务并实时观看 Bytebot 工作
• **APIs**：REST 端点，用于以编程方式创建任务与控制桌面

核心特性

• **自然语言任务**：直接描述你要完成的事
• **文件上传**：把文件拖到任务里交给 Bytebot 处理
• **实时桌面视图**：实时观看 Bytebot 操作
• **接管模式（Takeover Mode）**：需要人工协助或配置时可接管桌面
• **密码管理器支持**：可安装 1Password、Bitwarden 等实现自动认证（含 2FA）
• **持久化环境**：安装的程序会保留，供后续任务继续使用

能力示例

完整任务自主性

给出「从我们的供应商门户下载全部发票并整理到一个文件夹」这类任务时，Bytebot 会：打开浏览器 → 逐个访问门户 → 处理认证（含通过密码管理器完成 2FA）→ 把文件下载到本地文件系统 → 整理进文件夹。

文档处理

把文件上传到 Bytebot 桌面后，它可以：将整份 PDF 读入上下文、从复杂文档中抽取数据、跨多个文件交叉比对信息、基于分析创建新文档、处理 API 无法访问的格式。

使用真实应用

Bytebot 不局限于 Web 界面，还可以使用文本编辑器、VS Code、邮件客户端等桌面应用，运行脚本和命令行工具，按需安装新软件，并为特定工作流配置应用。

示例任务（原文示例）

基础类：

• "Go to Wikipedia and create a summary of quantum computing"
• "Research flights from NYC to London and create a comparison document"
• "Take screenshots of the top 5 news websites"

文档处理类：

• "Read the uploaded contracts.pdf and extract all payment terms and deadlines"
• "Process these 5 invoice PDFs and create a summary report"
• "Download and analyze the latest financial report and answer: What were the key risks mentioned?"

多应用工作流类：

• "Download last month's bank statements from our three banks and consolidate them"
• "Check all our vendor portals for new invoices and create a summary report"
• "Log into our CRM, export the customer list, and update records in the ERP system"

编程控制

通过任务 API 创建任务（Python 示例，端口 9991）：

import requests

# Simple task
response = requests.post('http://localhost:9991/tasks', json={
    'description': 'Download the latest sales report and create a summary'
})

# Task with file upload
files = {'files': open('contracts.pdf', 'rb')}
response = requests.post('http://localhost:9991/tasks',
    data={'description': 'Review these contracts for important dates'},
    files=files
)

直接控制桌面（computer-use API，端口 9990）：

# Take a screenshot
curl -X POST http://localhost:9990/computer-use \
  -H "Content-Type: application/json" \
  -d '{"action": "screenshot"}'

# Click at specific coordinates
curl -X POST http://localhost:9990/computer-use \
  -H "Content-Type: application/json" \
  -d '{"action": "click_mouse", "coordinate": [500, 300]}'

配置你的桌面智能体（三步）

1. **部署 Bytebot**：使用下述任一部署方式把 Bytebot 跑起来。

1. **配置桌面**：在 UI 的 Desktop 标签中安装所需程序、设置用于认证的密码管理器、按偏好配置应用、登录希望 Bytebot 访问的网站。

1. **开始派发任务**：用自然语言创建任务，观看 Bytebot 在配置好的桌面上完成它们。

为什么选择自托管

• **数据隐私**：一切运行在你自己的基础设施上
• **完全控制**：按需定制桌面环境
• **没有限制**：使用自己的 AI API Key，不受平台限制
• **灵活**：可安装任意软件、访问任意系统

高级能力

**多 AI 提供商**：通过 LiteLLM 集成接入任意提供商，包括 Azure OpenAI、AWS Bedrock、Ollama 本地模型以及 100+ 其他提供商。

**企业部署**：支持在 Kubernetes 上用 Helm 部署。

社区与贡献

可通过 Discord 获取帮助与讨论，文档位于 docs.bytebot.ai，Bug 与功能请求走 GitHub Issues。项目欢迎 Bug 修复、新功能、文档改进与多语言翻译等贡献；建议先查看已有 issue、就重大改动开 issue 讨论、提交描述清晰的 PR。

许可证

Bytebot 以 Apache 2.0 许可证开源，由 Tantl Labs 与开源社区构建。

— 本文由 AI 根据公开来源辅助整理，命令、版本与许可证请在使用前到原始页面复核。