論文の概要: Do MLLM Judges Judge the Edit? Auditing Bias in Image Editing Evaluation with Verified Quality Preservation

• arxiv url: http://arxiv.org/abs/2610.01670v1
• Date: Thu, 01 Oct 2026 13:30:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.150365
• Title: Do MLLM Judges Judge the Edit? Auditing Bias in Image Editing Evaluation with Verified Quality Preservation
• Title（参考訳）: MLLM審査員は編集を判断するか? 品質保証による画像編集評価におけるバイアスの検証
• Abstract要約: 本稿では,品質を検証した反ファクトなベンチマークであるEditJudgeBiasを紹介する。 次に、5人のMLLM審査員を3つの相補的な次元で監査する。 実験では、品質維持の手がかりが全ての裁判官を自分の騒音から遠ざけることが示されている。
• 参考スコア（独自算出の注目度）: 22.61134091832281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) are increasingly used as automated judges for instruction-based image editing and as reward signals for model training. However, systematically auditing whether these judges are influenced by cues irrelevant to editing quality is challenging because visual interventions may themselves alter the quality being evaluated. A judgment shift can therefore be attributed to bias only when the intervention is verified to preserve the underlying editing quality. To address this challenge, we introduce EditJudgeBias, a counterfactual benchmark with verified quality preservation, comprising 1,196 real editing samples and 13 cues injected across four evaluation sites. We verify quality preservation for the requested edit using calibrated multimodal validators, controls, and human inspection. We then audit five MLLM judges along three complementary dimensions: invariance to quality-preserving cues, agreement with human judgments, and stability of pairwise preferences. Importantly, observed shifts are evaluated against each judge's own zero-dose and re-query noise floors rather than against zero. Experiments show that quality-preserving cues move every judge beyond its own noise. Fabricated majority opinions increase ratings, irrelevant visual elements cause larger shifts than whole-image manipulations, and swapping candidate order reverses up to 60.9% of pairwise decisions. Edit-region cues also tend to reduce human agreement. The three measures characterize judges differently, showing that robustness cannot be captured by a single metric.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、命令ベースの画像編集のための自動判断器や、モデルトレーニングのための報酬信号として用いられることが多い。 しかし,視覚的介入が評価される品質を変化させる可能性があるため,これらの判断が編集品質とは無関係な手がかりに影響されているかどうかを体系的に監査することは困難である。 したがって、評価シフトは、基礎となる編集品質を維持するために介入が検証された場合にのみバイアスに起因する可能性がある。 この課題に対処するために,1,196個の実編集サンプルと4つの評価部位に13個のキューを注入した,検証された品質保持の正当性ベンチマークであるEditJudgeBiasを紹介した。 我々は、校正されたマルチモーダル検証器、制御器、人体検査を用いて、要求された編集品質の保存を検証する。 次に、5人のMLLM審査員を3つの相補的な次元に沿って監査する。 重要なことは、各審査員のゼロドーズと再クエリのノイズフロアに対して、ゼロに対してではなく、観測されたシフトを評価することである。 実験では、品質維持の手がかりが全ての裁判官を自分の騒音から遠ざけることが示されている。 ファブリケードされた多数意見は評価を高め、無関係な視覚要素は全体像操作よりも大きなシフトを引き起こし、候補順序の交換は対の判断の60.9%まで逆転する。 編集領域の手がかりは、人間の合意を減少させる傾向がある。 3つの尺度は、裁判官を異なる特徴付け、ロバスト性は単一のメートル法で取得できないことを示す。

関連論文リスト

• Can We Trust LLM Judges: A Study of Capability-Dependent Biases and Multi-Judge Ensemble for Bias Calibration [0.5294698352039444]
  より現実的なユースケースを反映した絶対スコアリングタスクについて検討する。 モデルのタスク精度は、その判断精度を強く予測することを示す。 より有能な試験モデルは、すべての裁判官からより寛大な判断を受ける。
  論文  参考訳（メタデータ） (2026-09-10T00:25:39Z)
• Do Audio Language Models Use Paralinguistic Evidence? Counterfactual Audits for Response Evaluation [21.291909657115607]
  パラ言語的応答評価のための対実監査を導入する。 各監査項目は、感情、韻律、あるいは感情的なシフトのタイミングを変化させながら固定された転写文を保持する。 これにより、異なる判断失敗の原因を特定する有用な診断状態が得られる。
  論文  参考訳（メタデータ） (2026-08-07T02:24:12Z)
• Evaluating Image Editing with LLMs: A Comprehensive Benchmark and Intermediate-Layer Probing Approach [48.01137214342501]
  テキスト誘導画像編集手法の体系的評価のためのベンチマークであるTIEditを紹介する。 信頼性の高い主観的評価を得るために、20人の専門家が採用され、307,200人の主観的評価が得られる。 さらに,隠蔽表現の中間層探索により編集品質を推定するLCMベースの評価器であるEditProbeを提案する。
  論文  参考訳（メタデータ） (2026-03-20T09:05:10Z)
• Human-Aligned MLLM Judges for Fine-Grained Image Editing Evaluation: A Benchmark, Framework, and Analysis [95.89328387635176]
  画像編集のための細粒度マルチモーダル大言語モデル (MLLM)-as-a-Judge フレームワークを提案する。 本稿では,人間の判断,MLLMに基づく評価,モデル出力,従来のメトリクスを統合した人為的評価ベンチマークを提案する。
  論文  参考訳（メタデータ） (2026-02-13T15:34:32Z)
• Validating LLM-as-a-Judge Systems under Rating Indeterminacy [65.137380612741]
  評価の不確定性の下でLLM-as-a-judgeシステムを検証するための枠組みを提案する。 本研究では, 強制選択評価指示に応答する際の評価の不確定性を人間とLLMがどう解決するかの相違が, 偏見の検証に大きく寄与することを示した。
  論文  参考訳（メタデータ） (2025-03-07T22:09:47Z)
• Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge [24.206975650221732]
  本研究では,LLM審査員の位置バイアスをペアワイドおよびリストワイド比較設定で評価する。 偏見に寄与する判断レベル、候補レベル、タスクレベルを識別する。
  論文  参考訳（メタデータ） (2024-06-12T01:12:28Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。