論文の概要: Do Audio Language Models Use Paralinguistic Evidence? Counterfactual Audits for Response Evaluation

• arxiv url: http://arxiv.org/abs/2608.06718v2
• Date: Wed, 12 Aug 2026 18:57:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 14:00:09.384131
• Title: Do Audio Language Models Use Paralinguistic Evidence? Counterfactual Audits for Response Evaluation
• Title（参考訳）: 音声言語モデルはパラ言語的エビデンスを利用するか?
• Abstract要約: パラ言語的応答評価のための対実監査を導入する。 各監査項目は、感情、韻律、あるいは感情的なシフトのタイミングを変化させながら固定された転写文を保持する。 これにより、異なる判断失敗の原因を特定する有用な診断状態が得られる。
• 参考スコア（独自算出の注目度）: 21.291909657115607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio-language models (ALMs) are increasingly used as judges for speech-to-speech systems, but a judge that receives audio may not actually use paralinguistic evidence. We introduce counterfactual audits for paralinguistic response evaluation. Each audit item holds the transcript fixed while varying affect, prosody, or the timing of an affective shift, forcing a valid judge to track the audio cue rather than lexical content or response style. We evaluate ALM judges using a native one-context judgment protocol and a contrastive recoverability control, then further decompose each item into its constituent perception and response-mapping skills. This yields useful diagnostic states that identify different sources of judge failures. Across Gemini, GPT, and open audio models, we find that contrastive success often overstates native judge reliability, and that similar aggregate accuracies can hide different failure modes. These results suggest that ALM judges should not be evaluated by accuracy alone, instead requiring thorough behavioral audits before deployment.
• Abstract（参考訳）: 音声言語モデル(ALMs)は音声合成システムの審査員として使われることが多いが、音声を受信する審査員はパラ言語学的証拠を実際に使用しない可能性がある。 パラ言語的応答評価のための対実監査を導入する。 各監査項目は、感情、韻律、または感情シフトのタイミングを変化させながら固定された転写文を保持し、有効な判断者は、語彙内容や応答スタイルよりもオーディオキューを追跡せざるを得ない。 我々は,ALMの判断プロトコルとコントラスト的回復性制御を用いて,ALMの判定結果を評価し,各項目をその構成的知覚と応答マッピングのスキルに分解する。 これにより、異なる判断失敗の原因を特定する有用な診断状態が得られる。 Gemini、GPT、オープンオーディオモデル全体では、コントラスト的な成功はネイティブな判断の信頼性を過大評価することが多く、類似の集計精度は異なる障害モードを隠す可能性がある。 これらの結果から,ALMの判断は精度だけでは評価されるべきではなく,展開前に徹底的な行動監査を必要とすることが示唆された。

関連論文リスト

• Hear2Act: Benchmarking When Prosody Should Change What an Assistant Does [27.909684871924004]
  本稿では,テキストと音声アシスタントの統一評価プロトコルであるHear2Actを紹介する。 我々は、転写、音声、および関心状態アクセスに基づく意思決定を評価する。 語彙的証拠が不十分な場合には韻律が重要であることを示す。
  論文  参考訳（メタデータ） (2026-08-20T00:16:36Z)
• Auditing Protocol-Level Shortcuts in Large Audio Language Model Judges for Speech Evaluation [35.33202492428442]
  大規模な音声言語モデル(LALM)は、音声評価のための自動判断器としてますます使われている。 人間の評価に対する高い合意は、彼らの判断がオーディオに根拠があることを保証するものではない。 LALMにおけるこのようなプロトコルレベルのショートカットを3つの共通デプロイメントプロトコルで評価する。
  論文  参考訳（メタデータ） (2026-07-15T06:10:53Z)
• LLM Judges Can Be Too Generous When There Is No Reference Answer [4.33144664431421]
  判断モデルでは, 基準解が存在しない場合には, 誤答を過度に繰り返す傾向がある。 また、このプロンプトに参照回答情報を追加することで、審査モデルの正しい/間違った判断を最大85%下げることを示す。 本研究は, LLM審査員を基準意識で評価し, 基準無条件で確実に使用する前に, 基準無条件で評価する必要性を強調した。
  論文  参考訳（メタデータ） (2026-07-14T15:31:33Z)
• Bias in the Loop: Auditing LLM-as-a-Judge for Software Engineering [0.0]
  大規模な言語モデルは、コードのアーティファクトを評価するために裁判官としてますます使われています。 現在のプラクティスには、信頼性とバイアスの原則的な説明が欠けている。 計測ファーストレンズを用いたLCM-as-a-Judgeの符号化について検討する。
  論文  参考訳（メタデータ） (2026-04-18T02:35:05Z)
• C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning [0.6138671548064355]
  大型言語モデル (LLMs) は、チェーン・オブ・ソート (CoT) 推論の判断としてますます使われている。 C2-Faithは、因果性(各ステップは以前の文脈から論理的に従うのか? 二つの因果検出,因果ステップの定位,カバレッジスコアの3つの課題において,フロンティア判事の評価を行った。
  論文  参考訳（メタデータ） (2026-03-05T13:36:47Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• SAM Audio Judge: A Unified Multimodal Framework for Perceptual Evaluation of Audio Separation [52.468945848774844]
  本稿では,人間の介入なしに音声の分離を評価できる自動システムの必要性に対処する。 提案した評価指標であるSAM Audio Judge (SAJ) は, マルチモーダルな細粒度参照自由度尺度である。 SAJは3つのオーディオドメイン(音声、音楽、一般的な音声イベント)と3つのインプット(テキスト、視覚、スパン)をサポートし、4つの異なる評価次元をカバーする。
  論文  参考訳（メタデータ） (2026-01-27T15:29:02Z)
• Validating LLM-as-a-Judge Systems under Rating Indeterminacy [65.137380612741]
  評価の不確定性の下でLLM-as-a-judgeシステムを検証するための枠組みを提案する。 本研究では, 強制選択評価指示に応答する際の評価の不確定性を人間とLLMがどう解決するかの相違が, 偏見の検証に大きく寄与することを示した。
  論文  参考訳（メタデータ） (2025-03-07T22:09:47Z)
• Judge as A Judge: Improving the Evaluation of Retrieval-Augmented Generation through the Judge-Consistency of Large Language Models [68.92020689188887]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) に対する幻覚を緩和する効果を証明している。 既存の自動評価メトリクスは、トレーニングと評価の間にRAGモデルによって生成されたアウトプットを正確に評価することはできない。 本稿では,RAGモデルのより正確な評価を実現するため,LCMの強化を目的とした判断一貫性(ConsJudge)手法を提案する。
  論文  参考訳（メタデータ） (2025-02-26T04:50:43Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• From Calculation to Adjudication: Examining LLM judges on Mathematical Reasoning Tasks [11.01213914485374]
  数学的推論タスクにおいて,大規模言語モデル (LLM) について検討する。 本分析により,判定性能と候補モデルタスク性能との間に強い相関関係が明らかになった。 その結果、音声の一部タグのような単純な特徴を用いて、LLM判断者の行動を予測することができるかどうかを検証した。
  論文  参考訳（メタデータ） (2024-09-06T10:09:41Z)
• The Decisive Power of Indecision: Low-Variance Risk-Limiting Audits and Election Contestation via Marginal Mark Recording [51.82772358241505]
  リスクリミット監査(リスクリミット監査、RLA)は、大規模な選挙の結果を検証する技術である。 我々は、効率を改善し、統計力の進歩を提供する監査の新たなファミリーを定めている。 新しい監査は、複数の可能なマーク解釈を宣言できるように、キャストボイトレコードの標準概念を再考することで実現される。
  論文  参考訳（メタデータ） (2024-02-09T16:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。