論文の概要: ConformalMOS: Uncertainty-Aware MOS Prediction with Conformal Intervals and Ordinal Modeling

• arxiv url: http://arxiv.org/abs/2610.36126v1
• Date: Mon, 26 Oct 2026 18:35:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.192304
• Title: ConformalMOS: Uncertainty-Aware MOS Prediction with Conformal Intervals and Ordinal Modeling
• Title（参考訳）: ConformalMOS: Conformal Intervals と Ordinal Modeling を用いた不確実性を考慮したMOS予測
• Abstract要約: ConformalMOSは、交換性の下で保証されたカバレッジを持つ統計的に有効な予測間隔を生成する。 BVCCデータセットでは、ConformalMOSは、実験的に検証されたカバレッジを提供しながら、競争精度(MSE = 0.08)を達成する。
• 参考スコア（独自算出の注目度）: 0.36944296923226316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurate prediction of human Mean Opinion Scores (MOS) is crucial for evaluating synthetic speech quality in text-to-speech (TTS) and voice conversion (VC). Most MOS predictors output only point estimates and ignore uncertainty, limiting reliability in model selection and deployment. We propose ConformalMOS, a framework that augments MOS prediction with conformal prediction to produce statistically valid prediction intervals with guaranteed coverage under exchangeability, alongside point estimates. During training, MOS labels are modeled in an ordinal-aware manner by converting one-hot targets into Gaussian-smoothed distributions, preserving score ordering. This improves uncertainty calibration, particularly when softmax confidence is overconfident on out-of-distribution speech. On BVCC datasets, ConformalMOS achieves competitive accuracy (MSE = 0.08) while delivering empirically validated coverage, enhancing reliability for real-world TTS and VC deployment.
• Abstract（参考訳）: テキスト音声(TTS)と音声変換(VC)の合成音声品質を評価するためには,人間の平均オピニオンスコア(MOS)の正確な予測が重要である。 ほとんどのOS予測器は点推定のみを出力し、不確実性を無視し、モデル選択とデプロイの信頼性を制限する。 ConformalMOS は,MOS 予測を共形予測で拡張し,可換性で保証された範囲で統計的に有効な予測区間を生成するフレームワークである。 トレーニング中、MOSラベルは、1ホットターゲットをガウススムーズな分布に変換し、スコアオーダを保存することで、順序対応の方法でモデル化される。 これにより不確実性キャリブレーションが向上し、特にオフ・オブ・ディストリビューション・スピーチにおけるソフトマックスの信頼度が過大評価される。 BVCCデータセットでは、ConformalMOSは競争精度(MSE = 0.08)を達成し、実証的に検証されたカバレッジを提供し、現実世界のTSとVCデプロイメントの信頼性を高める。

関連論文リスト

• PrefSQA: Pairwise Preference Prediction for Speech Quality Assessment and the Critical Role of High Quality Datasets [9.149886694683127]
  MOS(Mean opinion score)は音声品質評価に広く用いられているが、スカラーラベルはレーダの変動や聴取試験の違いに敏感である。 優先予測は、リスナーが信号を直接比較し、よりクリーンなラベルを生成するため、この変動を減少させる。 提案するPrefSQAは,不確実性を考慮したロジット,障害対応アテンションヘッド,非マッチング参照比較に基づくモジュールを組み込んだものだ。
  論文  参考訳（メタデータ） (2026-06-17T21:02:33Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• TruthTensor: Evaluating LLMs through Human Imitation on Prediction Market under Drift and Holistic Reasoning [0.0]
  本稿では、推論モデルを測定する新しい再現可能な評価パラダイムであるTrathTensorを紹介する。 我々のフレームワークは前向きで汚染のないタスクに基づいており、実際の予測市場に評価を固定しています。 TruthTensorは、同様の予測精度のモデルがキャリブレーション、ドリフト、リスク感度で著しく変化することを示した。
  論文  参考訳（メタデータ） (2026-01-20T03:11:47Z)
• From Scores to Preferences: Redefining MOS Benchmarking for Speech Quality Reward Modeling [66.22134521383909]
  我々は、多様なMOSデータセットを優先順位比較設定に再構成する統一ベンチマークを導入する。 MOS-RMBenchを基盤として,報酬モデルのための3つのパラダイムを体系的に構築・評価する。 実験の結果,(1)スカラーモデルが最も高い総合的性能を達成し,その精度は74%を超え,(2)ほとんどのモデルでは,人間の音声よりもはるかに悪く,(3)MOSの差が非常に小さいペアで苦戦している,という結果が得られた。 実験結果から, MOS 対応 GRM は細粒度品質の識別を著しく改善し, 最も困難な場合においてスカラーモデルとのギャップを狭めることが明らかとなった。
  論文  参考訳（メタデータ） (2025-10-01T10:27:51Z)
• SALF-MOS: Speaker Agnostic Latent Features Downsampled for MOS Prediction [1.8862680628828246]
  音声合成の評価は、客観的指標または主観的指標を用いて行うことができる。 Speaker Agnostic Latent Features (SALF)-Mean Opinion Score (MOS)は,5。 畳み込みのシーケンスを用いて、平均二乗誤差(MSE)、線形一致相関係数(LCC)、スピアマンランク相関係数(SRCC)、ケンドールランク相関係数(KTAU)に基づいて、音声サンプルの潜時特徴を得る。
  論文  参考訳（メタデータ） (2025-06-02T10:45:40Z)
• Trust, or Don't Predict: Introducing the CWSA Family for Confidence-Aware Model Evaluation [0.0]
  信頼性重み付き選択精度(CWSA)と正規化変種CWSA+を紹介する。 CWSAは、信頼しきい値の下で予測モデルを評価するための原則的で解釈可能な方法を提供する。 CWSAとCWSA+は、信頼度の高いテストにおいて、ニュアンスド障害モードを効果的に検出し、古典的な指標より優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-24T10:07:48Z)
• Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Uncertainty as a Predictor: Leveraging Self-Supervised Learning for Zero-Shot MOS Prediction [40.51248841706311]
  本稿では,低リソース環境における高効率な音質予測のギャップについて論じる。 我々は、wav2vecのような事前訓練された自己教師型学習モデルから得られた不確実性はVoiceMOSスコアと相関することを示した。
  論文  参考訳（メタデータ） (2023-12-25T05:35:28Z)
• Calibrating AI Models for Wireless Communications via Conformal Prediction [55.47458839587949]
  コンフォーマル予測は,通信システムにおけるAIの設計に初めて適用される。 本稿では,形式的校正保証付き決定を生成するAIモデルを得るための一般フレームワークとしての共形予測の適用について検討する。
  論文  参考訳（メタデータ） (2022-12-15T12:52:23Z)
• Investigating Content-Aware Neural Text-To-Speech MOS Prediction Using Prosodic and Linguistic Features [54.48824266041105]
  MOS予測ニューラルモデルに基づく自動合成音声評価の最先端手法について検討した。 MOS予測システムに付加的な入力として韻律的特徴と言語的特徴を含めることを提案する。 すべてのMOS予測システムは、クラウドソースされた自然性MOS評価を備えた、TSSのみのニューラルネットワークであるSOMOSでトレーニングされている。
  論文  参考訳（メタデータ） (2022-11-01T09:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。