論文の概要: Multi-Dimensional Prosody Judgment For Live Streaming Speech Synthesis
- arxiv url: http://arxiv.org/abs/2609.20124v1
- Date: Thu, 17 Sep 2026 12:20:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.256718
- Title: Multi-Dimensional Prosody Judgment For Live Streaming Speech Synthesis
- Title(参考訳): ライブストリーム音声合成のための多次元韻律判断法
- Abstract要約: Live-ProsodyJudge (LPJ) はジェミニからQwen3-Omniに蒸留した対価評価器である。
Decoupled Live-ProsodyJudge (D-LPJ)は独立に分離された次元判断を生成する。
ベスト・オブ・8のTS候補選考トーナメントでは、LPJに選ばれた発声は85.29%の高信頼のケースでヒトのトップ3に入る。
- 参考スコア(独自算出の注目度): 6.596178230275046
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evaluating live streaming speech synthesis (TTS) requires assessing fine-grained, highly expressive prosody such as emotion, intonation, and energy which traditional MOS predictors fail to capture. While proprietary Large Language Models (LLMs) like Gemini can evaluate these aspects, they are too costly for massive inference and reinforcement learning feedback. To address this, we first introduce Live-ProsodyJudge (LPJ), a cost-effective pairwise evaluator distilled from Gemini into Qwen3-Omni. However, we identify a critical flaw in standard multi-dimensional evaluation: verdict coupling. The judge tends to lazily align all individual dimension scores with its overall preference, collapsing a rich multi-dimensional rubric into a single preference bit. To resolve this, we further propose Decoupled-Live-ProsodyJudge (D-LPJ). D-LPJ eliminates the overall verdict target to prevent blind following, masks uncertain pair-dimensions during Supervised Fine-Tuning(SFT), and introduces a novel span-local GRPO strategy that applies normalized advantages strictly to their corresponding rationale spans. Evaluated on highly curated human-annotated test sets, 10 sample balanced-order LPJ achieves higher point accuracy than a single Gemini call, while D-LPJ successfully produces independent,decoupled dimension judgments. Furthermore, in a Best-of-8 TTS candidate selection tournament, the LPJ-selected utterance falls within the human top-3 in 85.29% of high-confidence cases, demonstrating its efficacy for fine-grained TTS preference optimization.
- Abstract(参考訳): ライブストリーミング音声合成(TTS)の評価には、感情、イントネーション、伝統的なMOS予測器が捉えられないエネルギーといった、きめ細かい、表現力の高い韻律を評価する必要がある。
GeminiのようなプロプライエタリなLarge Language Model(LLM)はこれらの側面を評価することができるが、大規模な推論と強化学習フィードバックにはコストがかかりすぎる。
そこで我々はまず,ジェミニからQwen3-Omniに蒸留した費用対評価器であるLive-ProsodyJudge (LPJ)を紹介した。
しかし, 標準多次元評価における重要な欠陥は, 検証結合である。
審査員は、すべての個々の次元のスコアをその全体的嗜好と遅延的に一致させ、リッチな多次元のルーリックを単一の選好ビットに分解する傾向がある。
これを解決するために、さらにDecoupled-Live-ProsodyJudge (D-LPJ)を提案する。
D-LPJは、ブラインドフォロー防止のための全体的な判定対象を排除し、スーパーバイザードファインチューニング(SFT)中の不確実なペアディメンジョンをマスクし、対応する合理的スパンに厳密に正規化された優位性を適用する新しい局所GRPO戦略を導入する。
高度にキュレートされた人型アノテートテストセットを評価したところ、10個のサンプルバランス付きLPJは1つのGemini呼び出しよりも高い点精度を達成する一方、D-LPJは独立に分離された次元の判断を成功させることができた。
さらに、ベスト8のTS候補選択トーナメントでは、高信頼症例の85.29%において、LPJ選択された発話がヒトのトップ3に該当し、微粒なTS選好最適化の有効性を示す。
関連論文リスト
- JudgeStealer: Extracting LLM Judging Capabilities across Evaluation Protocols [27.45301899307822]
JUDGESTEALERは、ポイントワイドスコアリング、ペアワイド比較、リストワイドランキングプロトコル間での判定機能を複製する、クエリ効率のよいモデル抽出フレームワークである。
強力なクロスプロトコル契約を利用してポイントワイズスコアを取得し、それらを追加の被害者クエリなしでペアワイズとリストワイズに変換する。
既存の抽出基準を73.3%、87.0%、71.6%まで上回り、それぞれポイントワイド、ペアワイド、リストワイドで評価されている。
論文 参考訳(メタデータ) (2026-08-27T11:28:32Z) - Quantifying and Auditing LLM Evaluation via Positive--Unlabeled Learning [4.114698130306098]
大規模言語モデル(LLM)は、スケーラブルな評価のための裁判官として、ますます使われています。
LLMは、意味的品質から切り離された体系的なバイアスを示す。
人間の監督は費用がかかり、典型的には選択的であり、信頼できる肯定的な判断を下すが、ほとんどの出力は損なわれず、品質が混ざり合っている可能性がある。
論文 参考訳(メタデータ) (2026-06-17T13:26:04Z) - EmoLoom-2B: Fast Base-Model Screening for Emotion Classification and VAD with Lexicon-Weak Supervision and KV-Off Evaluation [14.702916401734916]
EmoLoom-2Bは2Bパラメータ以下の小さな言語モデルを、感情分類とValence-Arousal-Dominance予測のための高速なスクリーニング候補に変換する。
プロトコルに忠実で公平な評価を保証するため,単一入力出力契約の下でデータのロード,トレーニング,推論を統一する。
論文 参考訳(メタデータ) (2026-01-03T08:25:58Z) - Beyond Single-Reward: Multi-Pair, Multi-Perspective Preference Optimization for Machine Translation [44.04325848740683]
M2PO: マルチペア, マルチパースペクティブ・パラメータ最適化について紹介する。
我々のフレームワークは、より堅牢な信号を生成するマルチパースペクティブ報酬エンジンを統合している。
挑戦的なWMT21-22ベンチマークでは、M2POは既存の選好最適化手法を大幅に上回っている。
論文 参考訳(メタデータ) (2025-10-15T11:30:49Z) - Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。
ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。
我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
論文 参考訳(メタデータ) (2025-04-20T19:05:59Z) - Crowd Comparative Reasoning: Unlocking Comprehensive Evaluations for LLM-as-a-Judge [90.8674158031845]
提案するクラウド・ベース・コンピレーション・アセスメントは,提案するクラウド・レスポンスを,候補の応答と比較するための追加のクラウド・レスポンスを導入する。
このプロセスはLLM-as-a-Judgeを効果的に誘導し、より詳細なCoT判定を提供する。
提案手法は, 高い品質のCoTを製造し, 蒸留を判断し, 拒絶サンプリングにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2025-02-18T03:31:06Z) - Language Model Preference Evaluation with Multiple Weak Evaluators [89.90733463933431]
PGEDは,複数のモデルに基づく評価器を用いて嗜好グラフを構築し,非循環的非競合性評価結果に対してこれらのグラフをアンサンブルし,デノテーズする手法である。
1)評価のためのモデルランキング、2)テスト時間スケーリングのための応答選択、3)モデル微調整のためのデータ選択である。
論文 参考訳(メタデータ) (2024-10-14T01:57:25Z) - Preference Ranking Optimization for Human Alignment [90.6952059194946]
大規模言語モデル(LLM)は、しばしば誤解を招くコンテンツを含み、それらを人間の価値と整合させる必要性を強調している。
人間のフィードバックからの強化学習(RLHF)が、このアライメントを達成するために採用されている。
我々は、人間のアライメントのための微調整LDMのための効率的なSFTアルゴリズムとして、優先度ランク付け最適化(PRO)を提案する。
論文 参考訳(メタデータ) (2023-06-30T09:07:37Z) - Large Language Models are not Fair Evaluators [60.27164804083752]
候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。
この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。
この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-29T07:41:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。