Suzuna — TTS Engine Selection / Irodori-TTS v3 対応仕様

作成日: 2026-05-18

目的

TTS スタジオのバックエンド TTS を AivisSpeech 固定から、ユーザーが TTS エンジンを選択できる設計へ拡張する。初期対応エンジンは既存の AivisSpeech と、別プロセスで起動済みの Irodori-TTS-Server v3 とする。

この仕様書は実装方針のみを定義する。コード変更は含まない。

調査対象

既存コード

外部仕様

Irodori-TTS-Server 公式 README: https://github.com/Aratako/Irodori-TTS-Server

pykakasi API: https://pykakasi.readthedocs.io/ja/latest/api.html

現在の AivisSpeech 連携

エンドポイント

python/routers/tts.py は AivisSpeech の接続先を固定値 http://127.0.0.1:10101 として持つ。

リクエスト形式

現在の TTSRequest は AivisSpeech 前提で、必須フィールドに aivis_speaker_id を持つ。

{
  text: string
  aivis_speaker_id: number
  rvc_model_path?: string
  index_path?: string
  pitch_shift: number
  speed?: number
  speed_scale: number
  pitch_scale: number
  intonation_scale: number
  volume_scale: number
}

生成時は split_text() で 500 文字単位に分割し、各チャンクに対して audio_query と synthesis を呼ぶ。複数チャンクは soundfile と numpy で WAV 結合する。

既存フロー

flowchart TD
  A["TTSPage: テキスト入力"] --> B["POST /tts"]
  B --> C["AivisSpeech /audio_query"]
  C --> D["AivisSpeech /synthesis"]
  D --> E["一時 WAV 保存"]
  E --> F{"RVC モデル指定あり"}
  F -->|あり| G["RVC 変換"]
  F -->|なし| H["そのまま保存"]
  G --> I["履歴 history.json に追加"]
  H --> I

Irodori-TTS-Server v3 API

前提

Suzuna 側では Irodori-TTS-Server を自動起動しない。ユーザーが別プロセスで起動済みとする。

公式 README の既定起動例は http://localhost:8088。OpenAI 互換 API のベース URL は http://localhost:8088/v1。

主なエンドポイント

POST /v1/audio/speech リクエスト

{
  "model": "irodori-tts",
  "input": "こんにちは。",
  "voice": "sample",
  "response_format": "wav",
  "speed": 1.0,
  "irodori": {
    "num_steps": 40,
    "cfg_scale_text": 3.0,
    "cfg_scale_speaker": 5.0,
    "seed": 1234,
    "t_schedule_mode": "linear",
    "sway_coeff": -1.0,
    "chunking_enabled": true,
    "chunk_min_chars": 80
  }
}

AivisSpeech との差分

設計方針

基本方針

TTS 生成後の RVC 変換、保存、履歴管理はエンジン非依存なので維持する。変更点は「テキストからベース WAV bytes を得る」部分に閉じ込める。

flowchart TD
  A["POST /tts"] --> B["設定から TTS エンジン解決"]
  B --> C{"engine"}
  C -->|aivis| D["AivisSpeechEngine.synthesize()"]
  C -->|irodori| E["IrodoriTTSEngine.synthesize()"]
  D --> F["base WAV bytes"]
  E --> F
  F --> G["一時 WAV 保存"]
  G --> H["既存 RVC 変換"]
  H --> I["既存履歴保存"]

抽象インターフェース

Python 側に TTSEngine 抽象を置く。配置候補は python/core/tts_engines.py。python/routers/tts.py から合成ロジックを剥がし、ルーターは API 入出力と履歴処理に集中させる。

class TTSEngine(Protocol):
    id: str
    display_name: str

    async def status(self) -> EngineStatus:
        ...

    async def list_voices(self) -> list[VoiceOption]:
        ...

    async def synthesize(self, req: TTSRequest, settings: TTSSettings) -> bytes:
        ...

共通モデル案

class EngineStatus(BaseModel):
    engine: Literal["aivis", "irodori"]
    connected: bool
    version: str | None = None
    message: str | None = None

class VoiceOption(BaseModel):
    id: str
    name: str
    engine: Literal["aivis", "irodori"]
    styles: list[VoiceStyle] = []

class VoiceStyle(BaseModel):
    id: str
    name: str
    type: str | None = None

エンジン実装

AivisSpeechEngine

既存の挙動を維持する。

IrodoriTTSEngine

Irodori-TTS-Server の OpenAI 互換 API を呼び出す。

Irodori リクエストでは、AivisSpeech 固有の pitch_scale / intonation_scale / volume_scale は送らない。話速のみ speed へ写像する。

API 変更仕様

互換性方針

既存フロントや履歴との互換性のため、aivis_speaker_id は当面残す。ただし新規フィールドとして engine と voice_id を追加する。

既存リクエストに engine がない場合は aivis とみなす。

TTSRequest 変更案

type TTSEngineId = 'aivis' | 'irodori'

interface TTSRequest {
  text: string
  engine?: TTSEngineId

  // AivisSpeech 互換
  aivis_speaker_id?: number

  // Irodori
  voice_id?: string
  irodori?: {
    num_steps?: number
    cfg_scale_text?: number
    cfg_scale_speaker?: number
    seed?: number
    t_schedule_mode?: 'linear' | 'sway'
    sway_coeff?: number
    chunking_enabled?: boolean
    chunk_min_chars?: number
    preprocess_reading?: boolean
  }

  // RVC
  rvc_model_path?: string
  index_path?: string
  pitch_shift: number

  // 共通または AivisSpeech 用
  speed?: number
  speed_scale: number
  pitch_scale: number
  intonation_scale: number
  volume_scale: number
}

新規 / 変更 API

既存の GET /aivis/status と GET /aivis/speakers は互換用に残す。フロント実装後も、外部利用者を壊さないため即削除しない。

設定永続化

保存先

既存の Suzuna 設定ファイルは python/core/dataset_store.py の CONFIG_PATH で管理されている。README でも %APPDATA%/Suzuna/settings.json と説明済みなので、TTS 設定も同じ UTF-8 JSON に追加する。

ユーザー要件の「config.json」は「Suzuna の設定 JSON」として扱い、既存の settings.json を拡張する。別ファイル config.json を新設すると、設定保存先が二重化するため避ける。

スキーマ案

{
  "datasets_dir": "C:\\Users\\...\\Documents\\Suzuna\\datasets",
  "tts": {
    "engine": "aivis",
    "aivis": {
      "base_url": "http://127.0.0.1:10101",
      "speaker_id": 888753760
    },
    "irodori": {
      "base_url": "http://127.0.0.1:8088",
      "model": "irodori-tts",
      "voice_id": "",
      "response_format": "wav",
      "num_steps": 40,
      "cfg_scale_text": 3.0,
      "cfg_scale_speaker": 5.0,
      "chunking_enabled": true,
      "chunk_min_chars": 80,
      "preprocess_reading": false
    }
  }
}

UTF-8 / 文字化け対策

実装時は既存の read_text(encoding="utf-8")、write_text(..., encoding="utf-8")、json.dumps(..., ensure_ascii=False) を踏襲する。UI 文字列は既存ルールどおり日本語のまま維持し、英語化しない。

Irodori の読み前処理

背景

Irodori で漢字読みの誤りが目立つ場合に備え、読み変換をオプション化する。ただし常時ひらがな化すると、漢字表記から得られる文脈・アクセント・語境界情報を失うリスクがあるため、既定は OFF とする。

推奨仕様

実装注意

pykakasi は単純なかな変換であり、固有名詞や文脈依存の読みを完全には解決しない。既存の AivisSpeech ユーザー辞書構想とは別物として扱い、「誤読が減る場合がある補助機能」に留める。

フロントエンド UI 仕様

追加位置

src/pages/TTSPage.tsx の左設定パネル先頭に TTSエンジン セクションを追加する。既存の ベース音声 より上に置く。

エンジン選択

表示文字列は日本語 UI を維持する。

候補:

AivisSpeech 選択時

既存 UI をそのまま表示する。

Irodori 選択時

Irodori 固有の UI に切り替える。

参照音声アップロードは既存の Tauri dialog パターンを使い、WAV音声 フィルタを基本に wav, flac, mp3, m4a, ogg, opus, aac, webm を許可する。

デザインシステム

既存 TTS ページはインライン style で、var(--color-*) / var(--space-*) / var(--radius-md) を使っている。追加 UI も同じトークンを使う。

パネル幅は現状 300px。Irodori 詳細項目が増えるため、横幅を広げず、折りたたみセクションを増やして縦スクロールで吸収する。

履歴仕様

履歴にはエンジン識別子を追加する。既存履歴は engine がないため aivis とみなす。

{
  "id": "abcd1234",
  "engine": "irodori",
  "text": "こんにちは。",
  "voice_id": "sample",
  "aivis_speaker_id": null,
  "rvc_model_path": null,
  "pitch_shift": 0,
  "speed_scale": 1.0,
  "chunk_count": 1,
  "output_path": "...",
  "duration_ms": 1234,
  "created_at": "2026-05-18T..."
}

UI の履歴メタには Irodori / AivisSpeech タグを追加して、どのエンジンで生成したか分かるようにする。

VRAM / パフォーマンス方針

RTX 3070 8GB を想定し、Suzuna 側で Irodori-TTS-Server を起動・ロードしない。並列合成も Suzuna 側から増やさない。

推奨:

実装順序

1. バックエンド分離

1. python/core/tts_engines.py を新設
2. AivisSpeechEngine に既存 _synthesize_aivis_chunk() と status/speakers を移動
3. IrodoriTTSEngine を追加
4. python/routers/tts.py は engine 解決、保存、RVC、履歴だけを担当
5. 既存 /aivis/* API は互換の薄いラッパーとして維持

2. 設定 API

1. dataset_store.py の _load_settings() / _save_settings() を共用
2. GET /tts/settings と PUT /tts/settings を追加
3. 未設定時は AivisSpeech 既定値を返す
4. 保存時は未知キーを破壊しない

3. Irodori 参照音声 API

1. GET /tts/voices?engine=irodori で /v1/audio/voices をプロキシ
2. POST /tts/voices/irodori で multipart upload をプロキシ
3. アップロード後に voice list を再取得

4. フロント型更新

1. TTSEngineId, TTSSettings, TTSVoice, IrodoriOptions を追加
2. TTSRequest の aivis_speaker_id を optional にする
3. TTSEntry に engine と voice_id を追加
4. API client に settings / voices / upload を追加

5. TTSPage 更新

1. エンジン state を追加
2. 初期ロード時に settings と engine status を取得
3. AivisSpeech 選択時は現行 UI を維持
4. Irodori 選択時は参照音声 UI と Irodori 詳細設定を表示
5. generate() で engine ごとの必須条件を検証

テスト観点

AivisSpeech 互換

• engine なしの旧リクエストで従来どおり生成できる
• /aivis/status と /aivis/speakers が従来レスポンスを返す
• 500 文字超の分割と WAV 結合が維持される
• RVC 指定あり / なしの保存結果が変わらない

Irodori

• Irodori 未起動時に未接続表示になる
• /health の接続確認でモデルロードを誘発しない
• 参照音声をアップロードでき、一覧に出る
• POST /tts が /v1/audio/speech に response_format: "wav" で送信される
• voice_id 未選択時は生成ボタンを無効化する。ただし設定で voice: "none" を許可する場合は例外
• 生成後の WAV が既存 AudioPlayer / /audio で再生できる
• RVC 併用時も Irodori → RVC の順に直列実行される

設定

• エンジン選択がアプリ再起動後も復元される
• 既存 datasets_dir が破壊されない
• JSON は UTF-8 / ensure_ascii=False で保存される

UI

• 既存の日本語 UI 文字列を英語へ変更しない
• Irodori 選択時のみ参照音声アップロード欄が表示される
• 300px 設定パネル内でラベルがはみ出さない
• 生成中は二重送信できない

未決事項

参考リンク

• Irodori-TTS-Server README: https://github.com/Aratako/Irodori-TTS-Server
• Irodori-TTS v3 model: https://huggingface.co/Aratako/Irodori-TTS-500M-v3
• pykakasi API: https://pykakasi.readthedocs.io/ja/latest/api.html