moeka-project/docs/content/ko/docs/chronicles/version-v0.1.0/index.md

title

title
연대기 v0.1.0

• VRM 프론트엔드 연동 (12월 5일)

  • VRM 대기 애니메이션 (12월 6일)
  • VRM 눈 깜빡임 (12월 7일)

• 입 (6월 8일)

  • unspeech 프로젝트 생성 (12월 13일)
    • TTS 연동 (6월 8일)
    • 11Labs 연동
      • 독립적인 11Labs 패키지로 캡슐화 (12월 3일)

• 청각 (12월 12일)

  • 말하기 버튼 구현 (6월 9일)
  • 오디오 전사
    • 프론트엔드에서 백엔드로 오디오 스트리밍
      • WebSocket 기반 양방향 통신을 위해 socket.io 사용 Socket.IO (6월 10일)
        • Socket.io는 사실 WebSocket 기반이 아니다
          • node.js - What is the major scenario to use Socket.IO - Stack Overflow
          • node.js - Differences between socket.io and websockets - Stack Overflow
        • 프론트엔드는 socket.io-client 패키지 사용, pnpm i socket.io-client
          • WebSocket은 지원이 좋고 Nuxt의 Nitro도 지원한다. How to use with Nuxt | Socket.IO
        • 백엔드는 socket.io 패키지 사용, pnpm i socket.io
        • Nuxt 3와 socket.io
          • richardeschloss/nuxt-socket-io: Nuxt Socket IO - socket.io client and server module for Nuxt
          • javascript - Socket.io websocket not working in Nuxt 3 when in production - Stack Overflow
          • adityar15/nuxt3socket (github.com)
      • 오디오 스트리밍에 WebRTC 사용, VueUse도 이를 지원함
        • Nuxt와 Nitro가 아직 지원하지 않아 일단 보류. 그룹 채팅이나 Discord 용으로 검토해 볼 수 있음.
        • 튜토리얼:
          • Getting started with media devices | WebRTC
          • WebRTC | JavaScript Standard Reference Tutorial
    • Transformers.js + Whisper로 충분함
      • Chrome / Edge가 이제 WebGPU를 지원함
        • 데모가 있음: Real-time Whisper WebGPU - a Hugging Face Space by Xenova (현재는 오픈소스가 아님)
      • Whisper 추론을 브라우저에서 바로 수행할 수 있음
      • WebGPU가 아직 지원되지 않음 (이제 지원됨)
        • 🤗 Transformers.js + ONNX Runtime WebGPU in Chrome extension | by Wei Lu | Medium
      • Node.js CPP Addon을 통해 Whisper.cpp를 임베딩하는 방안 검토
      • whisper.cpp
    • 튜토리얼:
      • Realtime video transcription and translation with Whisper and NLLB on MacBook Air | by Wei Lu | Medium
      • 🤗 Transformers.js + ONNX Runtime WebGPU in Chrome extension | by Wei Lu | Medium
  • Whisper WebGPU 데모 (12월 10일)
  • MicVAD 데모 (12월 11일)
  • MicVAD + ONNX Whisper 실시간 전사 (12월 12일)
  • dcrebbin/oai-voice-mode-chat-mac: Adds realtime chat for ChatGPT Voice Mode [Unofficial]

• 표정 (7월 9일)

  • 프론트엔드 VRM 표정 제어 (12월 7일)

• 다국어 지원

  • UI 다국어 지원
    • feat: basic i18n (#2) (12월 13일)

• UI 최적화

  • Canvas 씬 모바일 대응 (12월 5일)
    • Live2D Viewer 개선 (12월 5일)
    • Live2D 모델 스케일링과 비율 적응 (12월 5일)
  • 화면 안전 영역 (12월 4일)
  • 설정 메뉴 & 오버플로 최적화 (12월 7일)

모델

• VRM
  • @pixiv/three-vrm을 알려 준 kwaa에게 감사드립니다
  • 관련 도구와 플러그인:
    • VRM Add-on for Blender
    • VRM format — Blender Extensions
    • VRM Posing Desktop on Steam
    • Characters Product List | Vket Store
  • 애니메이션 지원: VRM Animation .vrma
    • vrma 스펙
    • 3D Motion & Animation popular doujin goods available online (Booth)
      • Seven VRM animations (.vrma) - VRoid Project - BOOTH
        • VRoid Hub introduces Photo Booth for animation playback! "VRM Animation (.vrma)" now listed on BOOTH, plus 7 free animation files!
        • malaybaku/AnimationClipToVrmaSample: Sample Project to Convert AnimationClip to VRM Animation (.vrma) in Unity