nanakura/moeka-project
1
0
Fork 0
Code Issues Pull Requests 1 Actions 1 Packages Projects Releases Wiki Activity
Files
a18f2c4313da8afffbea2f2e4e793bc82577ce38
moeka-project/README.ja-JP.md
T

13 KiB
Raw Blame History

Project AIRI

[Discordサーバーに参加する] [試してみる] [文档]

Neuro-sama に大きな影響を受けました

他のAI駆動のVTuberオープンソースプロジェクトとは異なり、アイリVTuberは開発初日からWebGPU、WebAudio、Web Workers、WebAssembly、WebSocketなどの多くのWeb技術をサポートしています。

これは、アイリVTuberが現代のブラウザやデバイスで動作可能であることを意味し、モバイルデバイスでも動作します（PWAサポート済み）。これにより、私たち（開発者）はアイリVTuberの力を次のレベルに引き上げるための多くの可能性を持ちつつ、ユーザーがTCP接続や他の非Web技術を必要とする機能を有効にする柔軟性を残しています。例えば、Discordのボイスチャネルに接続したり、MinecraftやFactorioを友達と一緒にプレイすることができます。

Note

私たちはまだ開発の初期段階にあり、才能ある開発者を探しています。アイリVTuberを現実のものにするために私たちを助けてください。

Vue.js、TypeScript、またはこのプロジェクトに必要な開発ツールに慣れていなくても大丈夫です。アーティスト、デザイナー、または最初のライブストリームを立ち上げる手助けをすることもできます。

ReactやSvelte、Solidの大ファンであっても歓迎します。アイリVTuberに見たい機能を追加したり、実験したい機能を追加するためのサブディレクトリを開くことができます。

私たちが探している分野（および関連プロジェクト）：

  • Live2Dモデラー
  • VRMモデラー
  • VRChatアバターデザイナー
  • コンピュータビジョン
  • 強化学習
  • 音声認識
  • 音声合成
  • ONNXランタイム
  • Transformers.js
  • vLLM
  • WebGPU
  • Three.js
  • WebXR（@moeru-ai組織の別のプロジェクトもチェックしてください）

興味があるなら、ここで自己紹介してみませんか？ Would like to join part of us to build Airi?

現在の進捗

可能なこと

  • 脳
    • Minecraftをプレイ
    • Factorioをプレイ（進行中ですが、PoCとデモが利用可能）
    • Telegramでチャット
    • Discordでチャット
    • メモリ
      • ブラウザ内データベースサポート（DuckDB WASM | pglite）
      • メモリアラヤ（進行中）
    • ブラウザ内ローカル（WebGPU）推論
  • 耳
    • ブラウザからの音声入力
    • Discordからの音声入力
    • クライアント側の音声認識
    • クライアント側の話し声検出
  • 口
  • 体
    • VRMサポート
      • VRMモデルの制御
    • VRMモデルのアニメーション
      • 自動まばたき
      • 自動視線追従
      • アイドル時の目の動き
    • Live2Dサポート
      • Live2Dモデルの制御
    • Live2Dモデルのアニメーション
      • 自動まばたき
      • 自動視線追従
      • アイドル時の目の動き

開発

このプロジェクトの詳細な開発手順については、CONTRIBUTING.mdを参照してください

pnpm i

ドキュメントサイト

pnpm -F @proj-airi/docs dev

ステージウェブ（airi.moeru.aiのフロントエンド）

pnpm -F @proj-airi/stage-web dev

ステージたまごっち（アイリVTuberのElectronアプリ）

pnpm -F @proj-airi/stage-tamagotchi dev

サポートされているLLM APIプロバイダー（xsaiによって提供）

このプロジェクトから生まれたサブプロジェクト

  • Awesome AI VTuber: AI VTuberと関連プロジェクトのキュレーションリスト
  • unspeech: /audio/transcriptionsと/audio/speechのためのユニバーサルエンドポイントプロキシサーバー、LiteLLMのように、任意のASRとTTSに対応
  • hfup: HuggingFace Spacesへのデプロイとバンドルを支援するツール
  • xsai-transformers: xsAIのための実験的な🤗 Transformers.jsプロバイダー
  • WebAI: Realtime Voice Chat: VAD + STT + LLM + TTSを使用してChatGPTのリアルタイム音声をゼロから実装する完全な例
  • @proj-airi/drizzle-duckdb-wasm: DuckDB WASMのDrizzle ORMドライバー
  • @proj-airi/duckdb-wasm: @duckdb/duckdb-wasmの使いやすいラッパー
  • Airi Factorio: AiriがFactorioをプレイできるようにする
  • Factorio RCON API: FactorioヘッドレスサーバーコンソールのRESTful APIラッパー
  • autorio: Factorio自動化ライブラリ
  • tstl-plugin-reload-factorio-mod: Factorioモッドの開発時にリロードをサポート
  • @velin-dev/ml: Vue SFCとMarkdownを使用してLLMのための管理しやすい状態のプロンプトを書く
  • demodel: さまざまな推論ランタイムからモデルやデータセットをデプロイ、バンドルするためのツール
  • inventory: 中央集権的なモデルカタログとデフォルトプロバイダー設定のバックエンドサービス
  • MCP Launcher: すべての可能なMCPサーバーのための簡単に使用できるMCPビルダー＆ランチャー、Ollamaのようにモデルのためのもの！
  • 🥺 SAD: 自己ホストおよびブラウザで実行されるLLMのためのドキュメントとノート
%%{ init: { 'flowchart': { 'curve': 'catmullRom' } } }%%

flowchart TD
  Core("コア")
  Unspeech["unspeech"]
  DBDriver["@proj-airi/drizzle-duckdb-wasm"]
  MemoryDriver["[WIP] メモリアラヤ"]
  DB1["@proj-airi/duckdb-wasm"]
  ICONS["@proj-airi/lobe-icons"]
  UI("@proj-airi/stage-ui")
  Stage("ステージ")
  F_AGENT("Factorioエージェント")
  F_API["Factorio RCON API"]
  F_MOD1["autorio"]
  SVRT["@proj-airi/server-runtime"]
  MC_AGENT("Minecraftエージェント")
  XSAI["xsai"]

  subgraph Airi
    DB1 --> DBDriver --> MemoryDriver --> Memory --> Core
    ICONS --> UI --> Stage --> Core
    Core --> STT
    Core --> SVRT
  end

  STT --> |話す|Unspeech
  SVRT --> |Factorioをプレイ|F_AGENT
  SVRT --> |Minecraftをプレイ|MC_AGENT

  subgraph Factorioエージェント
    F_AGENT --> F_API -..- factorio-server
    subgraph factorio-server-wrapper
      subgraph factorio-server
        F_MOD1
      end
    end
  end

  subgraph Minecraftエージェント
    MC_AGENT --> Mineflayer -..- minecraft-server
    subgraph factorio-server-wrapper
      subgraph factorio-server
        F_MOD1
      end
    end
  end

  XSAI --> Core
  XSAI --> F_AGENT
  XSAI --> MC_AGENT

%%{ init: { 'flowchart': { 'curve': 'catmullRom' } } }%%

flowchart TD
  subgraph デプロイ＆バンドル
    direction LR
    HFUP["hfup"]
    HF[/"HuggingFace Spaces"\]
    HFUP -...- UI -...-> HF
    HFUP -...- whisper-webgpu -...-> HF
    HFUP -...- moonshine-web -...-> HF
  end

使用されているモデル

類似プロジェクト

オープンソースのもの

非オープンソースのもの

プロジェクトのステータス

Repobeats analytics image

謝辞

スター履歴

Star History Chart

Reference in New Issue View Git Blame Copy Permalink