論文の概要: Tone on a Budget: A Reference-Free Metric for Lexical Tone in Massively Multilingual Text-to-Speech
- arxiv url: http://arxiv.org/abs/2609.14817v1
- Date: Sun, 13 Sep 2026 22:18:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.992463
- Title: Tone on a Budget: A Reference-Free Metric for Lexical Tone in Massively Multilingual Text-to-Speech
- Title（参考訳）: 予算のトーン:多言語多言語テキスト音声におけるレキシカルトーンの基準自由度
- Abstract要約: ヨルブでは、ピッチ単独でドクド(夫、中)、ドクド(車、低)、ドクド(馬、高)を分離する。
自動レファレンスフリーのレキシカル-トーン計量であるDunDunを紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In Yorùbá, pitch alone separates \d{o}k\d{o} (husband, Mid), \d{o}k\d{ò} (vehicle, Low), and \d{o}k\d{ó} (hoe, High) -- the diacritics ARE the tone marks. Yet character error rate (CER), the standard automated metric for text-to-speech (TTS), is in practice computed from ASR output that drops those marks: a synthesizer can ace CER and still say vehicle for husband. We introduce DunDun -- named for the dùndún, the Yorùbá talking drum that speaks through pitch alone -- an automated, reference-free lexical-tone metric that needs no tone-labelled corpus. The gold High/Mid/Low sequence is read from the input text's diacritics (in TTS that text exists by construction, so no reference recording is needed); the prediction comes from the audio's pitch track. We validate three ways. Flattening pitch with PSOLA resynthesis collapses DunDun while CER does not move. Inverting High and Low in the answer key of 300 native recordings drives the two-class readout to 0.14, symmetrically below its 0.35 chance level -- a consistency check on the scoring path, not independent evidence. And three native listeners, over 67 blind A/B trials, pick the tone-correct clip 89.6% of the time (95% CI 80.0-94.8; p < 1e-4); whether DunDun tracks those judgements trial by trial is not resolved at this sample size. Applied to a massively multilingual zero-shot TTS model, DunDun shows what CER cannot: Yorùbá tone sits near the native anchor before any Yorùbá fine-tuning (0.567 +/- 0.02 over five decode seeds vs. 0.596; chance 0.33), despite the 21.4% CER the model's own paper reports; and a few hours of clean audio halve CER (5.6% to 2.7% by 5h, 1.7% by 15h) while tone saturates within the hour. On non-tonal Swahili, CER already captures the gains: the metric a language needs is language-dependent. We release the metric and the complete validation protocol.
- Abstract（参考訳）: ヨルバでは、ピッチだけで \d{o}k\d{o} (husband, Mid) と \d{o}k\d{o} (vehicle, Low) と \d{o}k\d{ó} (hoe, High) を分離する。
しかし、文字誤り率(CER)は、テキスト音声(TTS)の標準的な自動測定基準であり、実際にはASR出力から計算され、それらのマークをドロップする。
ダンダン(DunDun) - 音高だけで話すヨルバのドラム、ダンドゥーン(Dundun)に因んで名づけられた名前で、音色のないコーパスを必要としない自動レファレンスフリーのレキシカル-トーンメートル法(reference-free lexical-tone metric)を紹介します。
金のHigh/Mid/Lowシーケンスは入力テキストのダイアクリティカルから読み込まれる(テキストは構築によって存在するので、参照記録は必要ない)。
私たちは3つの方法を検証する。
PSOLAの再合成による平坦なピッチは、CERが動かない間にダンダンを崩壊させる。
300のネイティブレコードの応答キーでハイ・アンド・ローを反転させると、2クラスの読み出しは0.14となり、0.35の確率レベルより対称に下がった。
また、3人のネイティブリスナー(67人以上の盲目A/B臨床試験)は89.6%の音調補正クリップ(95% CI 80.0-94.8; p < 1e-4)を選ぶ。
巨大な多言語ゼロショットTSモデルに適用すると、DunDunはCERに何ができないかを示す: ヨルバ・トーンは5つのデコードシード対0.567 +/- 0.02(0.596; 0.533; 可能性0.33)の前にネイティブアンカーの近くに座っており、21.4%のCERにもかかわらず、モデル自身の論文は報告している。
非トナースワヒリでは、CERが既にゲインを捉えている: 言語に必要なメトリックは言語に依存している。
メトリックと完全なバリデーションプロトコルをリリースします。
関連論文リスト
- Building and Evaluating Fixed-Voice Thai TTS from Synthetic Speech [10.845790025318584]
低リソース設定では、TSのデプロイは通常、コストのかかる推論を伴う大きな音声閉鎖モデルと、コンパクトな固定音声システムのいずれかを選択する必要がある。
プログラム可能なデータソースとして大規模音声閉鎖モデルを用いて、短い音声参照を合成音声で訓練されたコンパクトな固定音声学習者に変換する第3の経路について検討する。
論文 参考訳（メタデータ） (2026-09-03T08:03:58Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - Voice Memory for Agentic Speech Recognition [66.69623133635868]
エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。
同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。
10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
論文 参考訳（メタデータ） (2026-07-29T02:42:56Z) - BlueMagpie-TTS: A Token-Efficient Tokenizer, Language Model, and TTS for Taiwanese-Accent Code-Switching Speech [33.56852513195373]
テキスト音声システム(TTS)は台湾語にはあまり適応していない。
これらの問題は一つのルーツを共有している: テキスト側は台湾の文脈に適応していない。
テキストサイドをボトムアップから処理します。
論文 参考訳（メタデータ） (2026-07-07T09:31:19Z) - LASE: Language-Adversarial Speaker Encoding for Indic Cross-Script Identity Preservation [0.0]
話者エンコーダは、音声が発声されたスクリプトに関係なく、同じ話者を同一に扱うべきである。
オフザシェルフエンコーダは使用せず、失敗はアクセント条件である。
凍結したWavLMベースプラスを2つの損失で訓練した小型プロジェクションヘッドであるLASEを提示する。
論文 参考訳（メタデータ） (2026-05-01T16:46:25Z) - PSP: An Interpretable Per-Dimension Accent Benchmark for Indic Text-to-Speech [0.0]
音素置換プロファイル(Phonme Substitution Profile)は、Indic TTSの音素単位のアクセントベンチマークである。
PSPはアクセントを6つの相補的次元に分解する: 反射崩壊率(RR)、吸入フィデリティ(AF)、母音長フィデリティ(ZF)、フレシェオーディオ距離(FAD)、韻律的シグネチャディペンデンス(PSD)。
論文 参考訳（メタデータ） (2026-04-28T10:28:32Z) - Praxy Voice: Voice-Prompt Recovery + BUPS for Commercial-Class Indic TTS from a Frozen Non-Indic Base at Zero Commercial-Training-Data Cost [0.0]
商用TTSシステムは、ほぼネイティブなIndicオーディオを生成するが、最良のオープンソースベースは、測定された音韻次元でそれらを追従する。
私たちは、Telugu、Tamil、Hindiの商用クラスアウトプットにこのような非インデックスネイティブベースをもたらす、最小限の介入は、どのようなものなのでしょうか?
BUPS(Brahmic Unified Phoneme Space)は7つのIndicスクリプトを決定論的にISO-15919にロマライズし、Chatterboxのラテントークンサがそれらを処理できるようにする。
論文 参考訳（メタデータ） (2026-04-28T09:50:01Z) - ASR2K: Speech Recognition for Around 2000 Languages without Audio [100.41158814934802]
対象言語に音声を必要としない音声認識パイプラインを提案する。
私たちのパイプラインは、音響、発音、言語モデルという3つのコンポーネントで構成されています。
我々は、1909年の言語をCrubadanと組み合わせて、大きな絶滅危惧言語n-gramデータベースを構築した。
論文 参考訳（メタデータ） (2022-09-06T22:48:29Z) - HuBERT: Self-Supervised Speech Representation Learning by Masked
Prediction of Hidden Units [81.53783563025084]
本稿では、BERTのような予測損失に対して、アライメントされたターゲットラベルを提供するオフラインクラスタリングステップを提案する。
提案手法の重要な要素は,マスク領域にのみ予測損失を適用することである。
HuBERTは、より困難なdev-otherおよびtest-other評価サブセットに対して、最大19%と13%の相対的なWER削減を示す。
論文 参考訳（メタデータ） (2021-06-14T14:14:28Z) - Unsupervised Speech Recognition [55.864459085947345]
wav2vec-Uは、ラベル付きデータなしで音声認識モデルを訓練する方法である。
我々は、自己教師付き音声表現を活用して、ラベルなし音声をセグメント化し、これらの表現から相手の訓練を通して音素へのマッピングを学習する。
より大きな英語のLibrispeechベンチマークでは、wav2vec-Uは、わずか2年前の960時間のラベル付きデータに基づいてトレーニングされた最も優れたシステムに匹敵する、他のテストで5.9の単語エラー率を達成した。
論文 参考訳（メタデータ） (2021-05-24T04:10:47Z) - Towards Zero-shot Learning for Automatic Phonemic Transcription [82.9910512414173]
より難しい問題は、トレーニングデータをゼロにする言語のための音素変換器を構築することだ。
我々のモデルは、トレーニングデータなしで、ターゲット言語で見知らぬ音素を認識できる。
標準的な多言語モデルよりも平均して7.7%の音素誤り率を実現している。
論文 参考訳（メタデータ） (2020-02-26T20:38:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。