論文の概要: What Do Audio-Language Judges of Generated Music Listen For? Four Probes with Controls from Expert Ratings

• arxiv url: http://arxiv.org/abs/2610.13247v1
• Date: Fri, 09 Oct 2026 08:56:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.487143
• Title: What Do Audio-Language Judges of Generated Music Listen For? Four Probes with Controls from Expert Ratings
• Title（参考訳）: 音楽聴取者の音声言語判断 : 専門家による4つの評価
• Abstract要約: オープンオーディオ言語モデルは、生成された音楽の裁判官として使用される。 それぞれをテストする4つのプローブを提案し、そのうち3つは人間の評価から計算した制御に対して読み取る。 MusicEvalの2,748のクリップの5つの公開審査員に適用し、最後の2つをSongEvalの曲に当てはめます。
• 参考スコア（独自算出の注目度）: 0.12277343096128711
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open audio-language models are used as judges of generated music: given a clip and its text prompt, the model rates the clip, and the judge is validated by how well its ratings correlate with expert ratings. The correlation does not show what the judge responds to: the music, the text prompt, or the way the question is asked. We propose four probes that test each of these, three of them read against a control computed from the human ratings: removing the audio, replacing the clip with another model's clip for the same prompt, swapping the order of two clips in pairwise judging, and rewording the instruction. We apply them to five open judges on all 2,748 clips of MusicEval, and the last two to the SongEval songs. Without audio, no judge exceeds what the prompt alone predicts from the human ratings, and for prompt alignment every judge falls below it. With audio, every judge follows the clip it hears when rating prompt alignment, two do when rating musical quality, and the strongest judge's quality score tracks the experts' alignment rating more than their quality rating. The pairwise verdicts of the four smaller judges follow the position of a clip in the pair (its slot) rather than its quality on both rating sets. For musical quality, rewording the instruction moves the correlation of most judges as much as changing the judge. MusicEval's prompt assignment bounds any prompt-only judge at the model level. We recommend reporting the four probes with every music judge.
• Abstract（参考訳）: オープンオーディオ言語モデルは、生成された音楽の判断に使用される: クリップとそのテキストプロンプトが与えられたら、そのモデルはクリップを評価し、審査員は、その評価が専門家のレーティングとどのように相関するかによって検証される。 相関関係は、判事が応答するもの、すなわち音楽、テキストプロンプト、質問の仕方を示すものではない。 これらをそれぞれテストする4つのプローブを提案し、そのうち3つは人間の評価から計算した制御に対して読み上げ、音声を除去し、クリップを他のモデルのクリップに置き換えて同じプロンプトに置き換え、ペアで2つのクリップの順序を判断し、命令をリワードする。 MusicEvalの2,748のクリップの5つの公開審査員に適用し、最後の2つをSongEvalの曲に当てはめます。 音声がなければ、アクセントだけで人間の評価から何を予測するかを超える判事はいない。 オーディオでは、全ての審査員が、アライメントを早めるときに聞くクリップ、音楽のクオリティを評価するときに行う2つ、そして最強の審査員のクオリティスコアは、品質評価よりも専門家のアライメント評価を追跡する。 4人の小さな裁判官のペアの評定は、両方の評価セットの品質よりも、ペア(スロット)におけるクリップの位置に従う。 音楽的品質において、命令の言い換えは、ほとんどの裁判官の相関を、審査員を変えるのと同じくらい動かす。 MusicEvalのプロンプト代入は、モデルレベルでのプロンプトのみの判断を制限します。 我々は、すべての音楽審査員と4つの調査を報告することを推奨する。

関連論文リスト

• When the Judge Acts: Auditing VLM-Guided Image Selection on Culturally Situated Prompts [0.0]
  視覚言語モデル(VLM)は、複数の生成された画像の中から最高のものを選ぶ審査員としての役割を担っている。 我々は、返却された画像と、判事が見たことのない人間の評価と、同じ候補からランダムに選択した画像を比較し、すべての決定を、再注文された候補と繰り返す。
  論文  参考訳（メタデータ） (2026-10-01T07:40:33Z)
• YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality [74.61395664600597]
  我々は,記号プランニングにより,フロンティア品質の象徴的およびオーディオ音楽生成を統一するYuE2を紹介する。 1つのAR-NAR Mixture-of-Transformers (MoT)は、まずメロディとハーモニーを指定する可読性スコアを書き、セマンティックミュージックトークンに拡張し、フルソングオーディオとして実現する。 専門家の聞き取りは、プロプライエタリな曲のジェネレータとの競争力をさらに確立し、Suno v4.5よりも8のベストを保ち、Suno v5に対してほぼバランスの取れた好みを与える。
  論文  参考訳（メタデータ） (2026-09-27T16:55:13Z)
• Do Audio Language Models Use Paralinguistic Evidence? Counterfactual Audits for Response Evaluation [21.291909657115607]
  パラ言語的応答評価のための対実監査を導入する。 各監査項目は、感情、韻律、あるいは感情的なシフトのタイミングを変化させながら固定された転写文を保持する。 これにより、異なる判断失敗の原因を特定する有用な診断状態が得られる。
  論文  参考訳（メタデータ） (2026-08-07T02:24:12Z)
• Auditing Protocol-Level Shortcuts in Large Audio Language Model Judges for Speech Evaluation [35.33202492428442]
  大規模な音声言語モデル(LALM)は、音声評価のための自動判断器としてますます使われている。 人間の評価に対する高い合意は、彼らの判断がオーディオに根拠があることを保証するものではない。 LALMにおけるこのようなプロトコルレベルのショートカットを3つの共通デプロイメントプロトコルで評価する。
  論文  参考訳（メタデータ） (2026-07-15T06:10:53Z)
• How Sensitive Are Safety Benchmarks to Judge Configuration Choices? [5.94231111588812]
  HarmBenchのような安全ベンチマークは、モデル応答を有害または安全と分類する判断に頼っている。 判定モデルと判定プロンプトの組み合わせは,一般に一定の実装の詳細として扱われる。 審査員モデルの定式化により, 評価された有害応答率を最大24.2%にシフトした。
  論文  参考訳（メタデータ） (2026-04-27T05:59:59Z)
• Audio-Aware Large Language Models as Judges for Speaking Styles [123.36224336701237]
  音声認識型大言語モデル(ALLM)を自動判断器として用いて音声の話し方を評価する。 4つの音声言語モデル(SLM)を用いて2つのタスクを完了し、人間とALMを用いてSLMの応答を判断する。 以上の結果から,現在のSLM,GPT-4o-audioでさえも,発話スタイルの制御や自然な対話生成に改善の余地があることが示唆された。
  論文  参考訳（メタデータ） (2025-06-06T11:05:48Z)
• Validating LLM-as-a-Judge Systems under Rating Indeterminacy [65.137380612741]
  評価の不確定性の下でLLM-as-a-judgeシステムを検証するための枠組みを提案する。 本研究では, 強制選択評価指示に応答する際の評価の不確定性を人間とLLMがどう解決するかの相違が, 偏見の検証に大きく寄与することを示した。
  論文  参考訳（メタデータ） (2025-03-07T22:09:47Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。