Fay 数字人框架:连接数字人与大语言模型业务系统的 Agent 框架
Fay 是 xszyou 开源的数字人 Agent 框架,向上适配 2.5D/3D/移动端/PC/网页等各类数字人模型技术,向下接入 OpenAI 兼容接口、DeepSeek 等大语言模型,并可自由更换 TTS、ASR 模型,为单片机、App、网站、大屏及三方业务系统提供数字人交互接口,支持全离线、全时流式、多用户多路并发、MCP 工具管理与主动播报。
社区作者 · zZz
它解决什么问题
项目定位
Fay 数字人框架致力于思考面向终端的数字人落地应用,并通过完整代码把思考结果呈现出来。它向上适配各种数字人模型技术,向下接入各式大语言模型,并且便于更换诸如 TTS、ASR 等模型,为单片机、app、网站提供全面的数字人应用接口。仓库说明中提到,Fay 的三个版本已合并为 1 个版本,以提供更稳定、更全面的功能(配图 1 为项目图标)。
功能特点
- 完全开源,商用免责
- 支持全离线使用
- 全时流式的支持
- 自由匹配数字人模型、大语言模型(openai 兼容接口)、ASR、TTS 模型
- 支持数字人自动播报模式(虚拟教师、虚拟主播、新闻播报)
- 支持任意终端使用:单片机、app、网站、大屏、三方业务系统接入等
- 支持多用户多路并发
- 提供文字交互接口、语音交互接口、数字人驱动接口、管理控制接口、自动播报接口、意图接口
- 支持语音指令灵活配置执行(qa.csv)
- 支持自定义知识库、自定义问答对、自定义人设信息
- 支持唤醒及打断对话
- 支持服务器及单机模式
- 支持机器人表情输出
- 支持 agent 自主决策工具调用
- 基于日程式数字人主动对话
- 支持后台静默启动
- 支持 deepseek 等 thinking llm
- 自我认知提高
- 仿生记忆
- 支持 MCP 工具管理(sse、studio)
- 提供配置管理中心
- 全链路交互互通
界面与配图说明
正文提到提供文字交互接口、语音交互接口、数字人驱动接口、管理控制接口、自动播报接口、意图接口,并支持 MCP 工具管理与配置管理中心。仓库 readme 目录下的配图可用于对照:配图 2(chat.png)为对话交互界面相关截图;配图 3(controller.png)为控制/驱动相关界面;配图 4(mcp.png)对应正文提到的 MCP 工具管理;配图 5(interface.png)对应接口与配置相关界面。各配图的具体功能以仓库实际界面为准。
源码启动方式(摘要)
环境要求 Python 3.12,支持 Windows、macOS、Ubuntu;Ubuntu 需先安装 gcc 及 portaudio。安装依赖后执行
python main.py start -config_center <id> 快速启动(公共资源速度非常慢,建议更换成自己的 key),也可使用提供的镜像。个性化配置需将根目录 system.conf.bak 重命名为 system.conf 并填写内容,随后浏览器访问管理页面 http://127.0.0.1:5000。详细步骤见 installGuide。
高级玩法
使用数字人(非必须)与集成到自家产品(非必须)均需参考官方飞书文档:
- 使用数字人:https://qqk9ntwbcit.feishu.cn/wiki/GHevwqxwfiX4hCk8yJCcoJ54nqg
- 集成到自家产品:https://qqk9ntwbcit.feishu.cn/wiki/Mcw3wbA3RiNZzwkexz6cnKCsnhh
许可证与商用
来源明确标注“完全开源,商用免责”,但未在正文中给出具体许可证名称(例如 MIT、Apache-2.0 等),因此具体许可证类型与商用条款细节需以仓库 LICENSE 文件为准,属待核验信息。
联系与资料
- 交流群及资料教程:关注公众号“fay数字人”(正文提示请先 star 本仓库)
- 商务联系:qq467665317
- 更新日志:https://qqk9ntwbcit.feishu.cn/wiki/UlbZwfAXgiKSquk52AkcibhHngg
- 文档:https://qqk9ntwbcit.feishu.cn/wiki/JzMJw7AghiO8eHktMwlcxznenIg
致谢(来源列出)
- openclaw:提供记忆机制及 skills 设计的参考
- OpenAI Codex:提供稳定的工具调用能力的参考
- FunASR:提供语音识别(ASR)能力
适用对象
希望把数字人能力接入自有终端或业务系统的开发者、需要搭建虚拟教师/虚拟主播/新闻播报类自动播报应用的产品团队、以及需要集成 ASR/TTS 与大模型、并做 MCP 工具调用的 Agent 应用开发者。
— 本文由 AI 根据公开来源辅助整理,命令、版本与许可证请在使用前到原始页面复核。
安装 / 开始使用
准备环境
步骤 1
Python 3.12。
- 支持 Windows、macOS、Ubuntu。
sudo apt update sudo apt install build-essential sudo apt install portaudio19-dev
- 注意:Ubuntu 需要先安装 gcc 及 portaudio:
安装依赖 在项目根目录执行:
pip install -r requirements.txt快速启动
- 本地方式:
python main.py start -config_center d19f7b0a-2b8a-4503-8c0d-1a587b90eb69说明:该命令使用公共资源,速度非常慢,建议更换成自己的 key。
https://www.compshare.cn/images/compshareImage-1cft3sk9gvta?ytag=GPU_fay
- 镜像方式:
个性化配置
- 将根目录 system.conf.bak 重命名为 system.conf。
- 配置 system.conf 里面的内容(正文另提到提供配置管理中心,对应配图 5)。
管理页面 启动后用浏览器访问: http://127.0.0.1:5000
高级玩法(非必须,需参考官方飞书文档)
- 使用数字人:https://qqk9ntwbcit.feishu.cn/wiki/GHevwqxwfiX4hCk8yJCcoJ54nqg
- 集成到自家产品:https://qqk9ntwbcit.feishu.cn/wiki/Mcw3wbA3RiNZzwkexz6cnKCsnhh
首次运行与常见问题提示
- Ubuntu 未安装 gcc / portaudio 时,依赖安装或音频相关功能可能异常,需先执行上面的 apt 命令。
- 直接使用公共 config_center 资源启动“速度非常慢”,建议更换成自己的 key 后再启动。
- 首次运行前务必先完成 system.conf 的生成与填写,否则配置可能不生效。
- 启动成功后通过 http://127.0.0.1:5000 进入管理页面进行后续配置。
- 语音指令可通过 qa.csv 灵活配置执行;数字人接入与三方产品集成均为非必须步骤,按需参考飞书文档。
- 正文未给出的其余安装细节(如特定数字人模型、TTS/ASR 模型的具体接入步骤)待核验,请以官方文档为准。