論文の概要: Forged Peer Judgments Mislead Multimodal LLM Judge Panels: Source-Blind Anchoring and Panel-Consensus Verification
- arxiv url: http://arxiv.org/abs/2608.07920v1
- Date: Sat, 08 Aug 2026 04:55:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.563002
- Title: Forged Peer Judgments Mislead Multimodal LLM Judge Panels: Source-Blind Anchoring and Panel-Consensus Verification
- Title（参考訳）: 先行ピアジャッジメントミスリードマルチモーダルLCMジャッジパネル:ソースブラインドアンカリングとパネルコンセンサス検証
- Abstract要約: 独立した視覚的判断を求めることは、自己とピアフレーミングの両方の下で大きなアンカーリングギャップを生み出す。
本稿では,個別に収集した盲票に対する引用を相互にチェックするパネル合意検証を導入する。
- 参考スコア（独自算出の注目度）: 9.710464466895521
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal LLM judge panels can cross-reference peers, but a quoted peer judgment may itself be untrusted. We expose source-blind anchoring as a text-level attack surface in vision-language model (VLM) panels. Quoting independent visual judgments creates large anchoring gaps (19--26 percentage points) under both self and peer framing. A matched-content, label-only control changes the broken rate by only $-0.17$pp (95\% CI $[-0.68,0.35]$), showing that the self/peer label itself does not explain the effect. Under our tested construction, deliberately generated, concise wrong quotes overturn originally-correct verdicts 1.5--2.7$\times$ more often than naturally occurring wrong peer statements, with bootstrap 95\% CIs excluding parity across two datasets and seven VLM judges. Because the two statement populations differ in selection and form, this ratio measures differential damage under the tested attack rather than a provenance-only causal effect. We then introduce panel-consensus verification, which cross-checks a quote against independently collected blind votes. It blocks 84.9\% of fabricated attacks, cuts their net harm by 97.5\%, and preserves the positive but statistically inconclusive point estimate for genuine peer information under leave-one-out re-verification. These results identify a low-cost attack surface and a concrete defense for safer multimodal collaborative evaluation.
- Abstract（参考訳）: マルチモーダルLLM判定パネルは相互参照ピアが可能であるが、引用されたピア判断自体が信頼できないかもしれない。
我々は、視覚言語モデル(VLM)パネルにおいて、テキストレベルの攻撃面としてソースブレンドアンカリングを公開する。
独立した視覚的判断を引用すると、自己とピアフレーミングの両方の下で大きなアンカーリングギャップ(19～26ポイント)が生じる。
一致したラベルのみの制御は、壊れたレートをわずか$-0.17$pp (95\% CI $[-0.68,0.35]$)で変更し、セルフ/ピアラベル自体が効果を説明できないことを示す。
テストされた構成では、意図的に生成され、不正な引用が元の正しい判断を覆す 1.5--2.7$\times$ は、自然に発生する間違ったピアステートメントよりも多く、ブートストラップ95\% CIは、2つのデータセットと7つのVLMジャッジでパリティを除いた。
2つのステートメントの個体群は、選択と形態が異なるため、この比率は、前立腺のみの因果効果ではなく、テスト攻撃下での差分損傷を測定する。
次にパネル合意検証を導入し、独立して収集された盲票に対する引用を相互にチェックする。
84.9 %の不正攻撃をブロックし、純害を 97.5 % に減らし、再検証の際、真のピア情報を統計的に不確定に見積もる。
これらの結果から, 低コストな攻撃面と, より安全なマルチモーダル協調評価のためのコンクリートディフェンスが同定された。
関連論文リスト
- Difference-in-Differences on a Censored Rating Scale Can Manufacture an Effect: Evidence from a Pre-Registered LLM-Judge Audit [15.81584544074437]
LLM審査員の聴取は、一致した条件を対比することでバイアスを認定する。
このエンドポイントは、報告するスケールでは特定されない。
我々は,そのメカニズムをクローズドな形で導き,その貢献が監査の自己評価から測定可能であることを示す。
論文 参考訳（メタデータ） (2026-08-27T16:10:16Z) - Blind to the Pivotal Vote: Aggregate Independence Metrics Miss Where Verification Actually Helps [9.710464466895521]
多数派の置換規則は、クエリの16.2%でシグナルを呼び出しながら、全体的な精度を82.44%から85.62%に向上させる。
HumanEval+/MBPP+では、16.2%のクエリでシグナルを呼び出しながら、多数派の置換規則が全体の精度を82.44%から85.62%に引き上げている。
論文 参考訳（メタデータ） (2026-08-07T08:14:46Z) - Social Pressure Breaks Majority Voting in LLM Safety Panels [1.6734502292933282]
一般的なアプローチは、個々のミスを修正するためにモデルのパネルから判断を組み合わせることである。
我々はこのリスクを制御された2ラウンドの実験で研究する。
誤りラベルのピアメッセージは、平均的なレビューアラームレートを上昇させる。
論文 参考訳（メタデータ） (2026-08-05T03:51:12Z) - More Debate, Same Evidence: Structural Limits of Homogeneous Multi-Agent Groundedness [1.9036571490366498]
6つの公的な事実検証ベンチマーク上で,同質な3エージェントパネルの評価を行った。
固定された単一エージェント参照に対して、システムレベルの精度差は、+8.5$から$4.4$パーセンテージポイントまで様々である。
論文 参考訳（メタデータ） (2026-07-31T19:40:15Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳（メタデータ） (2026-07-29T15:55:31Z) - Dual-Branch Cross-Projection Debiasing through Diffusion-based Disentanglement [66.67463557274358]
バイアス付きデータセットに基づいてトレーニングされた基礎モデルは、しばしばターゲットラベルと非因果属性の間の急激な相関に依存する。
信頼誘導概念マイニング(CBCM:Confidence-guided Concept Mining)を導入し,属性アノテーションを使わずに信頼性の高いスプリアス属性を同定する。
本稿では,目標と突発的な表現を2つのブランチに分離するプロンプトチューニングフレームワークであるDual-branch Cross-projection Debiasing (DCD)を提案する。
論文 参考訳（メタデータ） (2026-06-23T05:28:47Z) - Nine Judges, Two Effective Votes: Correlated Errors Undermine LLM Evaluation Panels [0.0]
LLM-as-a-judgeパネルは複数のモデルからの投票を集計する。
私たちは、その信頼性が独立投票の理想にどの程度劣るかを定量化します。
論文 参考訳（メタデータ） (2026-05-28T11:48:17Z) - Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges [65.92623263645139]
LLM審査員を誤解させるためにセマンティクスを保存する編集を学習するブラックボックスの敵対的フレームワークであるBITEを紹介する。
BITEは65%を超える攻撃成功率を獲得し、9ポイントのスケールでスコアを1-2ポイント上げる。
LLM-as-a-judgeパラダイムの根本的な弱点を明らかにし,ロバストでアタック・アウェアな評価を動機づけた。
論文 参考訳（メタデータ） (2026-05-24T05:24:09Z) - BiAxisAudit: A Novel Framework to Evaluate LLM Bias Across Prompt Sensitivity and Response-Layer Divergence [22.315546054051143]
大規模言語モデルのバイアス監査は、EU AI Actなどのガバナンスフレームワーク内で運用されている。
このプロトコルでは、各バイアススコアを2つの軸上での信頼性推定とともに報告する。
論文 参考訳（メタデータ） (2026-05-09T16:26:49Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳（メタデータ） (2026-02-04T15:13:35Z) - Dependence-Aware Label Aggregation for LLM-as-a-Judge via Ising Models [55.94503936470247]
大規模なAI評価は、審査員を含む、$K$アノテータからのバイナリ判断を集約することにますます依存している。
ほとんどの古典的なメソッドは、アノテータが条件的に独立であると仮定するが、真のラベルは$Yin0,1$であり、この仮定は LLM の審査員によってしばしば違反される。
我々はIsingグラフィカルモデルと潜在因子に基づく依存認識モデルの階層構造を通してラベルアグリゲーションを研究する。
論文 参考訳（メタデータ） (2026-01-29T21:26:50Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳（メタデータ） (2024-11-05T01:11:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。