アイリ VTuber

[试试看] [English Docs]

深受 Neuro-sama 启发

与其他 AI 和 LLM 驱动的 VTuber 开源项目不同，アイリ VTuber 从开始开发的第一天开始就支持多种 Web 技术，涵盖诸如 WebGPU、WebAudio、Web Workers、WebAssembly、WebSocket 等已经广泛应用或仍在大量实验的 API。

这意味着 アイリ VTuber 能够在现代浏览器和设备上运行，甚至能够在移动设备上运行（已经通过 PWA 支持），这为我们（贡献者们）带来了更多的可能性，使我们能够构建和扩展アイリ VTuber 的外部功能，使其更上一层楼，而与此同时也依然给予用户灵活配置的可能性，可以选择性地在不同设备上启用会需要 TCP 连接或其他非 Web 技术的功能，例如连接到 Discord 的语音频道一起开黑，或是和你和你的朋友们一起玩 Minecraft（我的世界）、Factorio（异星工厂）。

Note

我们仍处于早期开发阶段，正在寻求有才华的开发人员加入我们，帮助我们将アイリ VTuber 变为现实。

如果你不熟悉 Vue.js、TypeScript 和这个项目所需的开发工具，也没关系，你可以作为艺术家、设计师、运营策划加入我们，甚至帮助我们启动我们的第一个直播。

即使您是 React 或 Svelte，甚至是 Solid 的忠实粉丝也没关系，我们也欢迎您的加入，您可以自己创建一个子目录，添加您希望在アイリ VTuber 中看到的功能，或想实验性支持的功能。

我们正在寻找的领域（和相关项目）：

Live2D 模型师

VRM 模型师

VRChat 模型设计师

计算机视觉（CV）

强化学习（RL）

语音识别

语音合成

ONNX 推理运行时

Transformers.js

vLLM

WebGPU

Three.js

WebXR (也可以看看我们在 @moeru-ai 组织下另外的这个项目)

如果你已经感兴趣了，为什么不来这里和大家打个招呼呢？Would like to join part of us to build Airi?

当前进度

能够

大脑
- 玩 Minecraft
- 玩 Factorio
- 在 Telegram 聊天
- 在 Discord 聊天
耳朵
- 浏览器音频输入
- Discord 音频输入
- 客户端端语音识别
- 客户端端说话检测
嘴巴
- ElevenLabs 语音合成
身体
- VRM 支持
  - 控制 VRM 模型
- VRM 模型动画
  - 自动眨眼
  - 自动看
  - 空闲眼睛移动
- Live2D 支持
  - 控制 Live2D 模型
- Live2D 模型动画
  - 自动眨眼
  - 自动看
  - 空闲眼睛移动

开发

pnpm i

pnpm dev

原生支持的 LLM API 提供商列表（由 xsai 驱动）

从这个项目诞生的子项目

unspeech: 用于代理 /audio/transcriptions 和 /audio/speech 的代理服务器实现，类似 LiteLLM 但面向任何 ASR 和 TTS
hfup: 帮助部署、打包到 HuggingFace Spaces 的工具集
@proj-airi/drizzle-duckdb-wasm: DuckDB WASM 的 Drizzle ORM driver 驱动
@proj-airi/duckdb-wasm: 让 @duckdb/duckdb-wasm 更好用的封装
@proj-airi/lobe-icons: 为 lobe-icons 漂亮的 AI & LLM 图标制作的 Iconify JSON 封装，支持 Tailwind 和 UnoCSS
@proj-airi/elevenlabs: ElevenLabs API 的 TypeScript 定义
Airi Factorio: 允许 Airi 玩耍 Factorio
Factorio RCON API: Factorio 无头服务器控制台的 RESTful API 封装
autorio: Factorio 自动化库
`tstl-plugin-reload-factorio-mod: 开发时支持热重载 Factorio 模组
🥺 SAD: 自托管和浏览器运行 LLM 的文档和说明

%%{ init: { 'flowchart': { 'curve': 'catmullRom' } } }%%

flowchart TD
  Core("Core")
  Unspeech["unspeech"]
  DBDriver["@proj-airi/drizzle-duckdb-wasm"]
  MemoryDriver["[WIP] Memory Alaya"]
  DB1["@proj-airi/duckdb-wasm"]
  ICONS["@proj-airi/lobe-icons"]
  UI("@proj-airi/stage-ui")
  Stage("Stage")
  F_AGENT("Factorio Agent")
  F_API["Factorio RCON API"]
  F_MOD1["autorio"]
  SVRT["@proj-airi/server-runtime"]
  MC_AGENT("Minecraft Agent")
  XSAI["xsai"]

  subgraph Airi
    DB1 --> DBDriver --> MemoryDriver --> Memory --> Core
    ICONS --> UI --> Stage --> Core
    Core --> STT
    Core --> SVRT
  end

  STT --> |Speaking|Unspeech
  SVRT --> |Playing Factorio|F_AGENT
  SVRT --> |Playing Minecraft|MC_AGENT

  subgraph Factorio Agent
    F_AGENT --> F_API -..- factorio-server
    subgraph factorio-server-wrapper
      subgraph factorio-server
        F_MOD1
      end
    end
  end

  subgraph Minecraft Agent
    MC_AGENT --> Mineflayer -..- minecraft-server
    subgraph factorio-server-wrapper
      subgraph factorio-server
        F_MOD1
      end
    end
  end

  XSAI --> Core
  XSAI --> F_AGENT
  XSAI --> MC_AGENT


%%{ init: { 'flowchart': { 'curve': 'catmullRom' } } }%%

flowchart TD
  subgraph deploy&bundle
    direction LR
    HFUP["hfup"]
    HF[/"HuggingFace Spaces"\]
    HFUP -...- UI -...-> HF
    HFUP -...- whisper-webgpu -...-> HF
    HFUP -...- moonshine-web -...-> HF
  end