論文の概要: CoTTAGE: An Explainable Judge for Text-to-Audio Generation
- arxiv url: http://arxiv.org/abs/2611.17644v1
- Date: Fri, 13 Nov 2026 01:28:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.288568
- Title: CoTTAGE: An Explainable Judge for Text-to-Audio Generation
- Title(参考訳): CoTTAGE: テキスト・ツー・Audio生成の説明可能な判断
- Abstract要約: CoTTAGEは、テキスト関連性(REL)とオーディオ品質(OVL)のための推論に基づく評価器である。
スコアを予測する前にエラーを診断するための音声接地理論を生成し、新たに収集された10万以上のOVLアノテーションがサポートされている。
人間の判断と最先端の相関を達成し、TTA開発を加速するための人間優先の説明を生成する。
- 参考スコア(独自算出の注目度): 57.50910346820955
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Rapid progress in text-to-audio (TTA) generation demands reliable and explainable automatic evaluation. However, existing metrics fail to simultaneously deliver high correlation with human judgments and meaningful, audio-grounded explanations, forcing reliance on labor-intensive human evaluation that bottlenecks model development iteration. To address this, we propose CoTTAGE, a reasoning-based evaluator for text relevance (REL) and audio quality (OVL). Following a reason-then-predict paradigm, CoTTAGE first generates an audio-grounded rationale to diagnose errors before predicting scores. Supported by over 10K newly collected human OVL annotations, CoTTAGE is first trained via supervised fine-tuning and then refined with reinforcement learning using a Thurstone-based preference objective that converts sampled score distributions into pairwise preference probabilities and rewards agreement with rankings derived from human judgments. Across six benchmarks spanning REL and OVL, CoTTAGE achieves state-of-the-art correlation with human judgments while producing human-preferred explanations to accelerate TTA development.
- Abstract(参考訳): テキスト・トゥ・オーディオ(TTA)生成の急速な進歩は信頼性と説明可能な自動評価を要求する。
しかし、既存のメトリクスは、人間の判断と意味のある音声による説明とを同時に行うことができず、ボトルネックが開発イテレーションをモデル化する労働集約的評価に頼らざるを得ない。
そこで本研究では,テキスト関連性(REL)と音質(OVL)の推論に基づく評価手法であるCoTTAGEを提案する。
理由予測パラダイムに従って、CoTTAGEはまず、スコアを予測する前にエラーを診断するオーディオグラウンドの論理を生成する。
新たに収集された10万以上のOVLアノテーションによって支援されたCoTTAGEは、まず教師付き微調整によって訓練され、その後、Thurstoneベースの選好目的を用いて強化学習によって洗練される。
RELとOVLにまたがる6つのベンチマークのうち、CoTTAGEは人間の判断と最先端の相関を達成し、TTA開発を加速する人間優先の説明を生成する。
関連論文リスト
- Prediction-Powered LLM Ranking with Adaptively Collected Human Feedback [8.608570097904266]
予測パワーランキング(PP-Rank)は、予測と人間のフィードバックを組み合わせて精度を向上させるフレームワークである。
PP-Rankは精度を犠牲にすることなく評価コストを大幅に削減できることを示す。
論文 参考訳(メタデータ) (2026-11-09T20:06:11Z) - AQAScore: Evaluating Semantic Alignment in Text-to-Audio Generation via Audio Question Answering [97.52852990265136]
音声対応大規模言語モデルの推論機能を活用するバックボーン非依存評価フレームワークであるAQAScoreを紹介する。
AQAScoreは人格関連性、ペア比較、構成推論タスクを含む複数のベンチマークで評価する。
論文 参考訳(メタデータ) (2026-01-21T07:35:36Z) - RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。
提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。
実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
論文 参考訳(メタデータ) (2025-05-28T14:55:33Z) - Enhancing Paraphrase Type Generation: The Impact of DPO and RLHF Evaluated with Human-Ranked Data [0.0]
パラフレーズ化は、テキストの単純化、機械翻訳、質問応答などのアプリケーションを強化する意味を持つ。
既存のパラフレーズ型生成法は、自動化されたメトリクスと限定的な人手によるトレーニングデータに依存するため、人間の嗜好に反することが多い。
本研究は,人間のランク付けされたパラフレーズ型データセットを活用し,モデル出力と人間の判断を直接整合させるためにDPO(Direct Preference Optimization)を統合することで,このギャップに対処する。
論文 参考訳(メタデータ) (2025-05-28T07:52:18Z) - Towards Robust Assessment of Pathological Voices via Combined Low-Level Descriptors and Foundation Model Representations [39.31175048498422]
本研究では,声質評価ネットワーク (VOQANet) を提案する。
また,低レベル音声記述子であるjitter,shimmer,haronics-to-noise ratio(HNR)とSFMをハイブリッド表現に組み込んだVOQANet+を導入する。
以上の結果から,特に患者レベルでの母音による入力は,音声属性を抽出する発話の長大さに優れることがわかった。
論文 参考訳(メタデータ) (2025-05-27T15:48:17Z) - T2I-Eval-R1: Reinforcement Learning-Driven Reasoning for Interpretable Text-to-Image Evaluation [60.620408007636016]
T2I-Eval-R1は,大まかな品質スコアのみを用いて,オープンソースのMLLMを訓練する新しい強化学習フレームワークである。
提案手法では,グループ相対政策最適化を命令調整プロセスに統合し,スカラースコアと解釈可能な推論チェーンの両方を生成する。
論文 参考訳(メタデータ) (2025-05-23T13:44:59Z) - NaturalSpeech: End-to-End Text to Speech Synthesis with Human-Level
Quality [123.97136358092585]
我々は、ベンチマークデータセット上で人間レベルの品質を実現するNaturalSpeechと呼ばれるTSシステムを開発した。
具体的には、波形生成のための変分オートエンコーダ(VAE)を利用する。
LJSpeechデータセットを用いた実験により,提案したNaturalSpeechは文レベルでの人間の記録に対して-0.01CMOSを達成した。
論文 参考訳(メタデータ) (2022-05-09T16:57:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。