論文の概要: The Limits of Reference-Free Speech Quality Metrics as Evaluators and Rewards on Modern Text-to-Speech

• arxiv url: http://arxiv.org/abs/2609.13150v1
• Date: Thu, 02 Jul 2026 14:46:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.512912
• Title: The Limits of Reference-Free Speech Quality Metrics as Evaluators and Rewards on Modern Text-to-Speech
• Title（参考訳）: 現代音声合成における評価指標としての基準自由音質尺度の限界とリワード
• Abstract要約: 我々は、参照なし品質予測器を優先最適化のための報酬信号としてテストする。 我々は、各予測器をペアワイズタスクで評価し、スコアの高いクリップがクリップリスナーの好むクリップかどうかを問う。 1つのクリップが可聴性欠陥を持つ場合、予測者はリスナーと一致する傾向がある。
• 参考スコア（独自算出の注目度）: 0.21173245847195934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reference-free quality predictors such as UTMOS, DNSMOS and SCOREQ are the de facto automatic evaluators for text-to-speech (TTS) and are increasingly adopted as reward signals for preference optimization. Both roles presuppose that the predicted score tracks human preference. In this work, we test this assumption across six human-rated corpora spanning the quality range from artifact-rich to defect-free TTS, evaluating each predictor on a pairwise task that asks whether the clip it scores higher is the clip listeners prefer, and we subject interpretable prosodic and signal-processing features to the same protocol. When one clip carries audible defects the predictors tend to agree with listeners. Once both clips are clean, no single predictor reliably identifies the preferred sample, and several fall below the accuracy of simply picking the longest-duration clip. A calibrated composite of complementary signals is the strongest evaluator we test, though on the cleanest audio it recovers only part of the gap to the human ceiling. Additionally, using even an equal-weighted ensemble of metrics helps as a post-training reward, where no calibration data is available. Optimizing a single score with policy optimization induces reward hacking, driving the metric toward its optimum while independent held-out judges and a human listening test deteriorate. The composite reward resists this behavior and tends to improve the model. Our contribution is the evaluation protocol, the predictor scores across these corpora, and the diagnosis of when and why single scores fail.
• Abstract（参考訳）: UTMOS、DNSMOS、SCOREQなどの参照なし品質予測器は、テキスト音声(TTS)のデファクト自動評価器であり、優先最適化のための報酬信号としてますます採用されている。 どちらの役割も、予測されたスコアが人間の好みを追跡することを前提としている。 本研究では,この仮定を,人工物から欠陥のないTSSまでの品質範囲にまたがる6つの評価コーパスで検証し,各予測器に対して,クリップリスナーが好むクリップがより高いかどうかを問うペアワイズタスクで評価し,解釈可能な韻律的特徴と信号処理的特徴を同一プロトコルに適用する。 1つのクリップが可聴性欠陥を持つ場合、予測者はリスナーと一致する傾向がある。 両方のクリップがクリーニングされると、1つの予測器が好みのサンプルを確実に識別し、最も長いデュレーションのクリップを選択できる精度以下になる。 補間信号の校正合成は、私たちがテストする最も強力な評価器ですが、最もクリーンなオーディオでは、人間の天井とのギャップの一部を回復します。 さらに、均等なメトリクスのアンサンブルさえあれば、キャリブレーションデータが入手できないトレーニング後の報酬になる。 ポリシー最適化による単一スコアの最適化は、報酬のハッキングを誘導し、独立したホールトアウトの審査員と人間の聴取テストが劣化している間に、その指標を最適な方向に駆動する。 複合報酬はこの振る舞いに抵抗し、モデルを改善する傾向がある。 我々の貢献は、評価プロトコル、予測器がこれらのコーパスにまたがるスコア、そして、いつ、なぜシングルスコアが失敗したかの診断である。

関連論文リスト

• When Does Predictor-Based RL Align with Human Perception? A Study of Subjective Rewards in Codec-Based Speech Language Models [6.949453644640367]
  Codec-based text-to-speech (TTS) モデルは、言語モデルポストトレーニングを音声生成に適用する。 学習した知覚予測者が、人間の聴取者との整合性を失うことなく、強化学習報酬として機能するかは、まだ不明である。 本研究では,アニメのような話し方,自然性,自由度,覚醒性について学習報酬を用いて検討する。
  論文  参考訳（メタデータ） (2026-08-31T16:14:54Z)
• TuneJury: An Open Metric for Improving Music Generation Preference Alignment [33.898713000368794]
  TuneJuryはテキストから音楽への報酬モデルである。 テキストプロンプトとオーディオクリップから音楽の好みのスコアを予測する。 ホールドアウトテストペアとアウト・オブ・ディストリビューションベンチマークの両方に一般化する。
  論文  参考訳（メタデータ） (2026-06-15T17:39:30Z)
• ANCHOR: Autoregressive Non-intrusive Chunk-Ordered Refinement for Joint Multi-Resolution Speech Quality Modeling [62.983372215479925]
  ストリーミングと生成システムは、部分的なオーディオから漸進的な推定を必要とする。 多分解能オートレタスクとしてインクリメンタルアセスメントを改良したANCHORを提案する。 2秒プレフィックスの48%のPLCMOSエラー削減を含む、部分入力下でのかなりの堅牢性を示す実験。
  論文  参考訳（メタデータ） (2026-06-08T22:46:30Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• SALF-MOS: Speaker Agnostic Latent Features Downsampled for MOS Prediction [1.8862680628828246]
  音声合成の評価は、客観的指標または主観的指標を用いて行うことができる。 Speaker Agnostic Latent Features (SALF)-Mean Opinion Score (MOS)は,5。 畳み込みのシーケンスを用いて、平均二乗誤差(MSE)、線形一致相関係数(LCC)、スピアマンランク相関係数(SRCC)、ケンドールランク相関係数(KTAU)に基づいて、音声サンプルの潜時特徴を得る。
  論文  参考訳（メタデータ） (2025-06-02T10:45:40Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)
• Predicting pairwise preferences between TTS audio stimuli using parallel ratings data and anti-symmetric twin neural networks [24.331098975217596]
  本稿では, 対の波形とそれに対応する選好スコアに基づいて学習した, 反対称双対ニューラルネットワークに基づくモデルを提案する。 大規模なトレーニングセットを得るために,MUSHRAテストから聴取者の評価を,ペア内の刺激が他よりも高く評価された頻度を反映した値に変換する。 MOSスコアの予測を訓練した最先端モデルと比較した。
  論文  参考訳（メタデータ） (2022-09-22T13:34:22Z)
• LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech [67.88748572167309]
  本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。 より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T08:52:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。