論文の概要: Mitigating Perceptual Judgment Bias in Multimodal LLM-as-a-Judge via Perceptual Perturbation and Reward Modeling
- arxiv url: http://arxiv.org/abs/2606.02578v1
- Date: Mon, 01 Jun 2026 17:59:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:32.569647
- Title: Mitigating Perceptual Judgment Bias in Multimodal LLM-as-a-Judge via Perceptual Perturbation and Reward Modeling
- Title（参考訳）: 多モードLPM-as-a-Judgeにおける知覚摂動とリワードモデリングによる知覚判断バイアスの緩和
- Authors: Seojeong Park, Jiho Choi, Junyong Kang, Seonho Lee, Jaeyo Shin, Hyunjung Shim,
- Abstract要約: MLLMの裁判官は、視覚的証拠がテキストの手がかりと矛盾する場合、知覚的に正しい答えに対して、もっともらしい物語に報いる傾向がある。
本稿では,最小限に編集された反事実応答を構成するPerceptually Perturbed Judgmentデータセットを提案する。
我々は、構造化GRPOベースの報酬とバッチレベルの目標を組み合わせた統一的なトレーニングフレームワークを開発し、明示的なペアワイドラベルを使わずにコヒーレントなグローバルオーダを実現する。
- 参考スコア（独自算出の注目度）: 35.945096782147864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent multimodal large language models have demonstrated strong reasoning ability, yet their reliability as automated evaluators remains limited by a critical weakness: when visual evidence conflicts with textual cues, MLLM judges tend to reward plausible narratives over perceptually correct answers. We identify and systematically analyze this phenomenon, which we term Perceptual Judgment Bias. Through controlled visual perturbations, existing multimodal judges frequently anchor on the response text instead of their own visual perception, leading to inconsistent and non-verifiable evaluations. To address this issue, we introduce the Perceptually Perturbed Judgment Dataset, which constructs minimally edited counterfactual responses that isolate perceptual errors and enable verifiable supervision. Building on this dataset, we develop a unified training framework that combines a structured GRPO-based reward with a batch-ranking objective, achieving coherent global ordering without explicit pairwise labels. Experiments across diverse MLLM-as-a-Judge benchmarks show that our approach substantially improves perceptual fidelity, ranking coherence, and alignment with human evaluation. Our results establish a scalable and generalizable pathway for training multimodal judges that are perceptually grounded, interpretable, and robust to visual-reasoning conflicts.
- Abstract（参考訳）: 最近のマルチモーダルな大規模言語モデルは、強力な推論能力を示しているが、自動評価器としての信頼性は、重要な弱点によって制限されている: 視覚的証拠がテキストの手がかりと矛盾する場合、MLLMの裁判官は、知覚的に正しい答えに対して、もっともらしい物語に報酬を与える傾向がある。
知覚判断バイアス(Perceptual Judgment Bias)と呼ばれるこの現象を同定し,系統的に解析する。
制御された視覚摂動を通して、既存のマルチモーダル判事は、自身の視覚的知覚ではなく、応答テキストにしばしば係留し、一貫性のない、検証不可能な評価をもたらす。
この問題に対処するために、知覚的エラーを分離し、検証可能な監視を可能にする、最小限に編集された反事実応答を構築するPerceptually Perturgment Judgment Datasetを導入する。
このデータセットに基づいて、構造化GRPOベースの報酬とバッチレベルの目標を組み合わせた統一的なトレーニングフレームワークを構築し、明示的なペアワイドラベルを使わずにコヒーレントなグローバルオーダを実現する。
MLLM-as-a-Judgeベンチマークを用いて行った実験から,本手法は知覚的忠実度,ランキングコヒーレンス,人間評価との整合性を大幅に改善することが示された。
本研究は,視覚的な対立に対して知覚的基盤を持ち,解釈可能で,頑健なマルチモーダル・ジャッジを訓練するための,スケーラブルで一般化可能な経路を確立した。
関連論文リスト
- Evaluating Interactive Reasoning in Large Language Models: A Hierarchical Benchmark with Executable Games [20.896576101848655]
本稿では,推論を積極的証拠獲得と信条更新として扱う,推論評価のための多ターン対話型フレームワークを提案する。
フレームワークを474の実行可能なゲームのベンチマークとしてインスタンス化し、それぞれ5つの難易度に対応する5つの固定構成探索空間で評価する。
その結果、ベンチマークは高い差別性を示し、成功率だけでなく相互作用効率にも大きな違いが明らかとなった。
論文 参考訳（メタデータ） (2026-05-26T09:12:30Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - GRASP: Deterministic argument ranking in interaction graphs [65.66879897437157]
全体的判断はモデル間不一致に悩まされていることを示す。
この不安定性は、議論の複雑な相互作用構造を1つの不透明なスコアに崩壊させることから生じる。
安定な局所的相互作用判断をグローバルなランキングに集約する決定論的なフレームワークであるGRASPを提案する。
論文 参考訳（メタデータ） (2026-05-18T21:49:02Z) - LLM-as-Judge for Semantic Judging of Powerline Segmentation in UAV Inspection [8.949920712232585]
本研究では,大型言語モデル(LLM)を意味判断として使用し,ドローン搭載モデルによる電力線分割結果の信頼性を評価することの実現可能性について検討する。
LLMは、視覚的信頼性が低下するにつれて、信頼性の適切な低下を示しながら、同一条件下で非常に一貫した分類学的判断を生成する。
論文 参考訳（メタデータ） (2026-04-07T03:16:44Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - When Wording Steers the Evaluation: Framing Bias in LLM judges [23.16746081917015]
大規模言語モデル(LLM)は、プロンプトのフレーズによって異なる応答を生成することが知られている。
本研究では, 4つの高い評価課題に対して, フレーミングスキューモデルによる判断を意図的に行う方法について検討する。
14人以上の審査員がフレーミングに対する明らかな感受性を観察し、モデルファミリーは合意や拒絶に対して明確な傾向を示した。
論文 参考訳（メタデータ） (2026-01-20T02:48:10Z) - Evaluating and Mitigating LLM-as-a-judge Bias in Communication Systems [32.83708359216193]
大規模言語モデル(LLM)は、コミュニケーションシステムにおけるコンテンツの品質を自律的に評価するために、ますます使われている。
本稿では,2つのLLM-as-a-judgeモデルにおける判定バイアスをポイントワイド評価条件下で系統的に検討する。
我々は,実践的なコミュニケーションシナリオにおいて,公平かつ信頼性の高いAIを確保するための4つの潜在的な緩和戦略を提案する。
論文 参考訳（メタデータ） (2025-10-14T12:52:29Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。
CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
論文 参考訳（メタデータ） (2025-07-12T01:34:24Z) - Aspect-Guided Multi-Level Perturbation Analysis of Large Language Models in Automated Peer Review [36.05498398665352]
自動ピアレビューにおいて,大規模言語モデル(LLM)の堅牢性を評価するために,アスペクト誘導多段階摂動フレームワークを提案する。
我々のフレームワークは、ピアレビュープロセスペーパー、レビュー、そして、いくつかの品質面における反論の3つの重要な要素における摂動を探求する。
論文 参考訳（メタデータ） (2025-02-18T03:50:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。