論文の概要: A Plausible Explanation Is Enough to Mislead Multimodal Judges

• arxiv url: http://arxiv.org/abs/2610.22631v1
• Date: Thu, 15 Oct 2026 20:38:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.663327
• Title: A Plausible Explanation Is Enough to Mislead Multimodal Judges
• Title（参考訳）: マルチモーダル・ジャッジ(M&A)の過小評価
• Abstract要約: 視覚質問応答(VQA)スタイルのベンチマークであるJを導入する。 明確な正当化と連鎖論理は、誤った回答の拒絶を12.7と13.8のパーセンテージで減少させる。 平均的差別性に明確な変化を伴わずに、決定基準の受け入れに向けた重要な平均シフトを見いだす。
• 参考スコア（独自算出の注目度）: 10.074937425593342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) increasingly serve as judges in training and evaluation pipelines, often assessing answers together with explanations. Although AI judges are sensitive to textual factors, it remains unclear whether ordinary plausible explanations can sway judgments requiring visual verification. We introduce JUPE, a visual-question-answering (VQA)-style benchmark that fixes answers while varying explanations. Across 14 MLLM judges, ordinary explanations that sound plausible mislead judges, with effects comparable on average to deliberately persuasive arguments. Plain justifications and chain-of-thought rationales reduce rejection of incorrect answers by 12.7 and 13.8 percentage points, respectively. We call this failure plausibility capture. Using signal detection theory, we find a significant mean shift in decision criterion toward acceptance, without a clear change in mean discriminability. Explanations sway judgments across domains, explanation generators, and judging protocols, while tested mitigations offer limited, model-dependent protection. Such shifts can inflate performance estimates when judges evaluate answers with explanations.
• Abstract（参考訳）: マルチモーダルな大規模言語モデル(MLLM)は、トレーニングや評価パイプラインの審査員としての役割を担い、しばしば説明とともに回答を評価する。 AIの判断はテキストの要素に敏感だが、通常の妥当な説明が視覚的検証を必要とする判断を妨げうるかどうかは不明だ。 本稿では,視覚質問応答(VQA)スタイルのベンチマークであるJUPEを紹介する。 14人以上のMLLM判事は、疑わしい判断を下すという一般的な説明をし、その効果は故意に説得力のある議論に匹敵する。 単純な正当化と連鎖論理は、それぞれ12.7ポイントと13.8ポイントの誤った回答の拒絶を減少させる。 私たちはこの失敗を可否把握と呼ぶ。 信号検出理論を用いることで, 決定基準が受容に向かって, 識別可能性の明確な変化を伴わずに, 決定基準の有意な平均シフトを見いだすことができた。 説明はドメイン、説明ジェネレータ、判断プロトコルをまたいだ判断を妨げ、一方、テスト緩和は限定的なモデルに依存した保護を提供する。 このようなシフトは、審査員が説明書で回答を評価すると、パフォーマンスの見積を膨らませる。

関連論文リスト

• Reasoning Jury: Multi-Model Consensus for Evaluating Reasoning Traces [8.727904788574602]
  Reasoning Jury は、単一の裁判官を LLM の陪審員に置き換えるシステムである。 Reasoning Juryでは、推論の痕跡とその重大さの欠陥は、熟考を通して表面化される。 オープンウェイトモデルの陪審員によるReasoning Juryは、フロンティアモデルを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2026-08-12T21:00:22Z)
• Mitigating Perceptual Judgment Bias in Multimodal LLM-as-a-Judge via Perceptual Perturbation and Reward Modeling [35.945096782147864]
  MLLMの裁判官は、視覚的証拠がテキストの手がかりと矛盾する場合、知覚的に正しい答えに対して、もっともらしい物語に報いる傾向がある。 本稿では,最小限に編集された反事実応答を構成するPerceptually Perturbed Judgmentデータセットを提案する。 我々は、構造化GRPOベースの報酬とバッチレベルの目標を組み合わせた統一的なトレーニングフレームワークを開発し、明示的なペアワイドラベルを使わずにコヒーレントなグローバルオーダを実現する。
  論文  参考訳（メタデータ） (2026-06-01T17:59:46Z)
• How Long Reasoning Chains Influence LLMs' Judgment of Answer Factuality [9.19183567561999]
  大規模言語モデル(LLM)は、人間の評価のためのスケーラブルなサロゲートとして広く採用されているが、そのような判断は依然として不完全であり、表面レベルの偏見に影響を受けやすい。 推論可能なモデルの増加に伴い、ジェネレータの推論内容を判断者に公開することで、よりリッチな情報を提供し、判定精度を向上させるための自然な候補となる。 弱い裁判官は存在を推論することで容易に揺れるが、強い裁判官は情報的証拠として推論を部分的に活用できる。
  論文  参考訳（メタデータ） (2026-04-08T07:21:18Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• MR. Judge: Multimodal Reasoner as a Judge [23.787019892923784]
  本稿では,Multimodal Reasoner as a judge (MR. judge) を提案する。 各応答にスコアを直接割り当てる代わりに、判断過程を推論に着想を得た多重選択問題として定式化する。 この推論プロセスは、判断の解釈性を向上するだけでなく、MLLM審査員のパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2025-05-19T17:37:39Z)
• Reasoning Court: Combining Reasoning, Action, and Judgment for Multi-Hop Reasoning [17.829990749622496]
  Reasoning Court(RC)は、ReActのような反復的推論と検索の手法を拡張した新しいフレームワークである。 RCはタスク固有の微調整なしで、最先端のショットプロンプト手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-04-14T00:56:08Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。