論文の概要: Ruby-OPD: Enhancing Pronunciation Controllability and Accuracy for Flow-Matching Text-to-Speech via On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2611.06403v1
- Date: Wed, 04 Nov 2026 12:05:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.102756
- Title: Ruby-OPD: Enhancing Pronunciation Controllability and Accuracy for Flow-Matching Text-to-Speech via On-Policy Distillation
- Title（参考訳）: Ruby-OPD: オンデマンド蒸留によるフローマッチングテキスト音声の発音制御性と精度向上
- Abstract要約: 日本語テキスト音声(TTS)のフローマッチングのための2段階フレームワークを提案する。
まず,テキスト表現を正書法摂動を用いて検討し,表面形状と目標発音を協調的に保存し,信頼性の高い制御を行う。
第二に,大規模テキストのみのコーパスにオンポリシィ蒸留(OPD)を導入し,ペア音声を使わずに生の正書法テキストの発音精度を向上させる。
- 参考スコア（独自算出の注目度）: 4.185321081381552
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Achieving both high pronunciation accuracy and fine-grained controllability remains a central challenge in Japanese text-to-speech (TTS), as Japanese is an unsegmented language mixing logographic Kanji and phonographic Kana with extensive polyphony. Traditional cascaded systems convert text into phoneme sequences via a front-end, ensuring pronunciation control but discarding lexical semantics and prosodic cues in surface orthography. Conversely, recent zero-shot TTS models directly consume raw orthographic text to improve naturalness, yet suffer from polyphone errors and lack explicit pronunciation control. To bridge this gap, we propose a two-stage framework for flow-matching TTS. First, we investigate Ruby text representations with orthography perturbation to jointly preserve surface forms and target pronunciations for reliable control. Second, we introduce On-Policy Distillation (OPD) on large-scale text-only corpora to enhance pronunciation accuracy on raw orthographic text without paired speech. On the Joyo-Kanji-Yomi benchmark, our model achieves 97.13% Accuracy, 2.02% Target PER, 0.70% Sentence PER, and 4.21% Sentence CER under raw text while retaining strong controllability.
- Abstract（参考訳）: 発音精度と微妙な制御性の両方を達成することは、日本語の音声合成における中心的な課題であり、日本語は音韻漢字と音韻仮名を混合した未分類言語である。
従来のカスケードシステムは、テキストをフロントエンドを通じて音素配列に変換し、発音制御を保証するが、表面正書法における語彙意味論や韻律的手がかりを捨てる。
逆に、最近のゼロショットTSモデルは、自然性を改善するために生の正書法テキストを直接消費するが、ポリフォンエラーに悩まされ、明確な発音制御が欠如している。
このギャップを埋めるために、フローマッチングTTSのための2段階のフレームワークを提案する。
まず,テキスト表現を正書法摂動を用いて検討し,表面形状と目標発音を協調的に保存し,信頼性の高い制御を行う。
第二に,大規模テキストのみのコーパスにオンポリシィ蒸留(OPD)を導入し,ペア音声を使わずに生の正書法テキストの発音精度を向上させる。
ジョーヨー・カンジ・ヨミベンチマークでは97.13%の精度,2.02%のターゲットPER,0.70%のセンテンスPER,4.21%のセンテンスCERを実現し,高い制御性を維持した。
関連論文リスト
- Dictionary-Constrained Grapheme-to-Phoneme for Unsegmented Languages from LLM-Annotated Data [4.185321081381552]
Grapheme-to-phoneme (G2P)変換は、生のテキストを音韻形式に変換する。
文脈認識型セグメンテーションに依存しないニューラルG2Pフレームワークを提案する。
本手法は,目標単語読解精度99.62%,目標単語音素誤り率0.32%,文PER0.14%に達する。
論文 参考訳（メタデータ） (2026-09-17T07:16:45Z) - GRAFT: Grafted Reference Audio for Fine-grained Pronunciation in Zero-shot Text-to-Speech [0.21173245847195934]
本稿では,テキストから音声へのニューラル言語モデリングのための単語単位の発音条件付け機構であるGRAFTを提案する。
GRAFTは、選択された単語の発音を短い音声サンプルから制御し、モデル独自の音声トークンを符号化する。
5言語の客観的ベンチマークでは、GRAFTは同じテキストのみのバックボーンに対してターゲット単語の音素誤り率を22～39%削減する。
論文 参考訳（メタデータ） (2026-07-02T14:40:21Z) - Sarashina2.2-TTS: Tackling Kanji Polyphony in Japanese Speech Generation via Data Scaling and Targeted Data Synthesis [33.01612753270029]
日本語中心の音声合成システムであるSarashina2.2-TTSを紹介する。
日本語と英語のバランスの取れた混合データを用いて,約361k時間に訓練を拡大した。
総じて、サラシナ2.2-TTSは、最先端の漢字読み上げ精度を達成し、一般的な文レベルの発音のベースラインと一致させる。
論文 参考訳（メタデータ） (2026-06-24T03:57:21Z) - Optimizing Multilingual Text-To-Speech with Accents & Emotions [0.0]
本稿では,アクセントを付加した新しいTSアーキテクチャを提案する。
本稿では,言語固有の音素アライメント型エンコーダ-デコーダアーキテクチャを統合することで,Parler-TTSモデルを拡張した。
テストでは、アクセント精度が23.7%改善し、ネイティブリスナーによる感情認識精度が85.3%向上した。
論文 参考訳（メタデータ） (2025-06-19T13:35:05Z) - Controllable Emphasis with zero data for text-to-speech [57.12383531339368]
強調音声を簡易かつ効果的に処理する方法は、強調単語の予測持続時間を増加させることである。
これは自然度を7.3%向上させるスペクトログラム修正手法よりもはるかに優れていることを示し、基準女性のen-US音声に対して、文章中の強調された単語の正しさを40%精度で識別する。
論文 参考訳（メタデータ） (2023-07-13T21:06:23Z) - Looking and Listening: Audio Guided Text Recognition [62.98768236858089]
野生におけるテキスト認識は、コンピュータビジョンにおける長年の問題である。
近年の研究では、視覚と言語処理がシーンテキスト認識に有効であることが示唆されている。
しかし、既存のアプローチでは、追加、削除、置換といった編集エラーの解決が依然として大きな課題である。
本稿では,メルスペクトル列予測のためのシンプルで効果的な確率的オーディオデコーダであるAudioOCRを提案する。
論文 参考訳（メタデータ） (2023-06-06T08:08:18Z) - Code-Switching Text Generation and Injection in Mandarin-English ASR [57.57570417273262]
業界で広く使われているストリーミングモデルTransformer-Transducer(T-T)の性能向上のためのテキスト生成とインジェクションについて検討する。
まず、コードスイッチングテキストデータを生成し、テキスト-to-Speech(TTS)変換または暗黙的に音声とテキストの潜在空間を結び付けることによって、T-Tモデルに生成されたテキストを明示的に注入する戦略を提案する。
実際のマンダリン・イングリッシュ音声の1,800時間を含むデータセットを用いて訓練したT-Tモデルの実験結果から,生成したコードスイッチングテキストを注入する手法により,T-Tモデルの性能が著しく向上することが示された。
論文 参考訳（メタデータ） (2023-03-20T09:13:27Z) - DTW-SiameseNet: Dynamic Time Warped Siamese Network for Mispronunciation
Detection and Correction [1.8322859214908722]
本稿では,TTS誤発音検出と修正のタスクのための,高精度でPDA対応の発音学習フレームワークを提案する。
また,三重項損失を伴う動的時間ワープ(DTW)のためのメトリクス学習を用いたDTW-SiameseNetという,新しい誤発音検出モデルを提案する。
人間の評価から,提案手法は音素ベースや音声ベースラインに比べて平均6%の発音精度が向上することが示された。
論文 参考訳（メタデータ） (2023-03-01T01:53:11Z) - Dict-TTS: Learning to Pronounce with Prior Dictionary Knowledge for
Text-to-Speech [88.22544315633687]
ポリホンの曖昧さは, 音声合成システムにおいて, 自然なテキストシーケンスから正確な発音知識を抽出することを目的としている。
オンラインウェブサイト辞書を用いた意味認識型テキスト音声合成モデルであるDict-TTSを提案する。
3つの言語による実験結果から,我々のモデルは発音精度においていくつかの強いベースラインモデルより優れていることが示された。
論文 参考訳（メタデータ） (2022-06-05T10:50:34Z) - Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。
変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。
これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
論文 参考訳（メタデータ） (2021-09-12T04:17:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。