論文の概要: Sarashina2.2-TTS: Tackling Kanji Polyphony in Japanese Speech Generation via Data Scaling and Targeted Data Synthesis

• arxiv url: http://arxiv.org/abs/2606.25369v1
• Date: Wed, 24 Jun 2026 03:57:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.213854
• Title: Sarashina2.2-TTS: Tackling Kanji Polyphony in Japanese Speech Generation via Data Scaling and Targeted Data Synthesis
• Title（参考訳）: サラシナ2.2-TTS:データスケーリングとターゲットデータ合成による日本語音声における漢字ポリフォニーのタックリング
• Abstract要約: 日本語中心の音声合成システムであるSarashina2.2-TTSを紹介する。 日本語と英語のバランスの取れた混合データを用いて,約361k時間に訓練を拡大した。 総じて、サラシナ2.2-TTSは、最先端の漢字読み上げ精度を達成し、一般的な文レベルの発音のベースラインと一致させる。
• 参考スコア（独自算出の注目度）: 33.01612753270029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While large language model (LLM)-based text-to-speech (TTS) systems have achieved high-quality speech synthesis, most existing systems focus on English and Chinese. Japanese, however, remains under-explored, and its unique linguistic challenges, such as widespread context-dependent kanji polyphony, have yet to be adequately tackled. Here we introduce Sarashina2.2-TTS (https://github.com/sbintuitions/sarashina2.2-tts), a Japanese-centric LLM-TTS system that tackles these challenges through a dual approach: data strategy and evaluation methodology. First, we scale training to approximately 361k hours of speech, incorporating a balanced mix of Japanese and English data. Furthermore, we design a targeted data augmentation pipeline covering all 2,136 Joyo (regular-use) kanji designated by Japan's Agency for Cultural Affairs to efficiently address kanji polyphony disambiguation. Second, we introduce the Joyo Kanji Yomi Benchmark (https://github.com/sbintuitions/JoyoKanji-Yomi-Benchmark), covering all 2,136 Joyo kanji and their 4,378 readings. Alongside this benchmark, we propose Kana-CER, a metric that compares synthesized speech against reference readings in the kana space, eliminating orthographic variations to directly measure pronunciation correctness. Experiments demonstrate that our targeted data augmentation significantly improves reading accuracy. Overall, Sarashina2.2-TTS achieves state-of-the-art kanji-level reading accuracy and matches top baselines on general sentence-level pronunciation, while delivering the highest speaker similarity in zero-shot Japanese speech synthesis. Furthermore, cross-lingual evaluation reveals that Sarashina2.2-TTS is the only system that maintains stable Japanese pronunciation regardless of the prompt language, confirming that our balanced training approach improves cross-lingual robustness.
• Abstract（参考訳）: 大規模言語モデル(LLM)に基づく音声合成システム(TTS)は高品質な音声合成を実現しているが、既存のシステムのほとんどは英語と中国語に重点を置いている。 しかし、日本語は未探索であり、文脈に依存した漢字のポリフォニーのような独特の言語的課題はまだ十分に取り組まれていない。 本稿では,データ戦略と評価手法という2つのアプローチにより,これらの課題に対処する日本中心のLLM-TTSシステムであるSarashina2.2-TTS(https://github.com/sbintuitions/sarashina2.2-tts)を紹介する。 まず、日本語と英語のバランスの取れたデータを組み合わせて、約361k時間にトレーニングをスケールする。 さらに,日本の文化庁が指定する2,136の常用漢字を対象とするデータ拡張パイプラインを設計し,漢字多音の曖昧さを効果的に解決する。 次に,2,136の常用漢字と4,378の読みを網羅する常用漢字読解ベンチマークを紹介した。 本ベンチマークと並行して,カナ空間における参照読影に対する合成音声を比較する指標であるKana-CERを提案する。 実験により,対象データの増大により読み出し精度が大幅に向上することが示された。 総じて、サラシナ2.2-TTSは、ゼロショット日本語音声合成において最高の話者類似性を提供しながら、最先端の漢字読み上げ精度を達成し、一般的な文レベル発音のベースラインと一致させる。 さらに,サラシナ2.2-TTSのみが日本語の発音を安定的に維持するシステムであり,バランスの取れた訓練手法が言語間の堅牢性を向上させることが確認された。

関連論文リスト

• MUSCAT: MUltilingual, SCientific ConversATion Benchmark [60.87925076316812]
  多言語音声技術の目標は、異なる言語を話す個人間のシームレスなコミュニケーションを容易にすることである。 この経験を生み出すためには、音声技術は、混合多言語入力、特定の語彙、コードスイッチングといったいくつかの課題に対処する必要がある。 本稿では,これらの課題に対処できるかどうかを問う,現在の音声認識(ASR)システムを評価するための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2026-04-17T10:39:01Z)
• Speech-Worthy Alignment for Japanese SpeechLLMs via Direct Preference Optimization [33.53269135649944]
  SpokenElyza は、ELYZA-tasks-100 から派生した日本語音声の聴力評価のベンチマークである。 そこで本稿では,日本語の音声LLMを適応するための好みに基づくアライメント手法を提案する。
  論文  参考訳（メタデータ） (2026-03-13T01:55:18Z)
• Simultaneous Speech-to-Speech Translation Without Aligned Data [52.467808474293605]
  同時音声翻訳では、ソース音声を対象言語にリアルタイムで翻訳する必要がある。 単語レベルのアライメントを完全に不要にするヒビキゼロを提案する。 Hibiki-Zeroは5つのX-英語タスクの翻訳精度、レイテンシ、音声転送、自然性において最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-11T17:41:01Z)
• RosettaSpeech: Zero-Shot Speech-to-Speech Translation from Monolingual Data [30.27234062544891]
  本稿では,ゼロショット音声音声翻訳(S2ST)のための新規かつ簡易なフレームワークであるRosettaSpeechを紹介する。 本手法はテキストベースのNMTモデルに固有の言語知識を活用するが,パラレル音声対の必要性を極端に排除する。 我々のモデルは、トレーニング中にテキストを中間ブリッジとして使用するが、推論時に直接エンドツーエンドの音声合成モデルとして機能する。
  論文  参考訳（メタデータ） (2025-11-26T02:02:20Z)
• Building Tailored Speech Recognizers for Japanese Speaking Assessment [6.152272170188488]
  我々はアクセントマーカーで音声ラベルを出力する音声認識器を構築した。 日本語は資源に富んでいるが、正確な音素の書き起こしを行うための訓練用データはほとんどない。
  論文  参考訳（メタデータ） (2025-09-25T01:26:11Z)
• ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text Translation [79.66359274050885]
  公的な事前訓練された音声のみのモデルと言語のみのモデルからなる複合アーキテクチャ上に構築された音声言語モデルであるComSLを提案する。 提案手法は,エンドツーエンドの音声-テキスト翻訳タスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-24T07:42:15Z)
• Exploration of Language Dependency for Japanese Self-Supervised Speech Representation Models [18.22157315310462]
  自己教師付き学習(SSL)はモノリンガルだけでなく、言語横断的な設定でも劇的に成功している。 本稿では,単言語モデルとの比較において,言語間モデルの有効性について検討する。 日本語で収集されたラベルのないデータは、何万時間もの英語および/または多言語データで事前訓練された言語間モデルに匹敵する性能を達成するために、どの程度のラベル付きデータが必要であるかを検討する。
  論文  参考訳（メタデータ） (2023-05-09T06:28:10Z)
• Speech-to-Speech Translation For A Real-world Unwritten Language [62.414304258701804]
  本研究では、ある言語から別の言語に音声を翻訳する音声音声翻訳(S2ST)について研究する。 我々は、トレーニングデータ収集、モデル選択、ベンチマークデータセットのリリースからエンドツーエンドのソリューションを提示します。
  論文  参考訳（メタデータ） (2022-11-11T20:21:38Z)
• Linguistically-driven Multi-task Pre-training for Low-resource Neural Machine Translation [31.225252462128626]
  本稿では,日本語を母語とする言語対に対する日本語固有のシーケンス to sequence (JASS) と,英語を含む言語対に対する英語固有のシーケンス to sequence (ENSS) を提案する。 JASSは文節(ぶんせつ)として知られる日本語単位のマスキングとリオーダーに重点を置いており、ENSSは句構造マスキングとリオーダータスクに基づいて提案されている。
  論文  参考訳（メタデータ） (2022-01-20T09:10:08Z)
• Textless Speech-to-Speech Translation on Real Data [49.134208897722246]
  本研究では、ある言語から別の言語への翻訳が可能なテキストなし音声音声翻訳システム(S2ST)を提案する。 マルチ話者ターゲット音声をモデル化し、実世界のS2STデータを用いてシステムを訓練する際の課題に対処する。
  論文  参考訳（メタデータ） (2021-12-15T18:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。