論文の概要: Do Multimodal LLMs See Before They Read? Diagnosing Contextual Sycophancy
- arxiv url: http://arxiv.org/abs/2609.00067v1
- Date: Sun, 30 Aug 2026 16:19:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:35.817078
- Title: Do Multimodal LLMs See Before They Read? Diagnosing Contextual Sycophancy
- Title（参考訳）: マルチモーダルなLLMは読む前に見えますか?
- Abstract要約: 外部テキストは、マルチモーダルな大言語モデルにおける矛盾する画像証拠をオーバーライドすることができる。
視覚的エビデンス,コモンセンス先行,外部テキストを独立に変化させる998ケースの診断を導入し,この障害が発生した場合,コンテキストブラインドされた視覚的目撃者を中心に情報境界を移動させることで探索する。
- 参考スコア（独自算出の注目度）: 16.47414821115537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: External text can override conflicting image evidence in multimodal large language models, a failure we call multimodal contextual sycophancy. We introduce a 998-case diagnostic that independently varies visual evidence, commonsense priors, and external text, and probe when this failure arises by moving the information boundary around a context-blind visual witness. On abnormal images paired with Gemini-generated false text, GPT-5.1 scores 7.9% under joint conditioning, 49.7% when the context-blind witness report is scored directly, 63.7% under a matched two-call witness-arbiter pipeline that exposes the witness to the text, and 84.2% under System-2 Visual Arbitration (S2VA), which withholds the text from the witness. Across six models, S2VA improves over the direct witness report by 19.7 to 44.1 points, with all paired 95% confidence intervals excluding zero. The best information boundary is not uniform: textual context scaffolds some models, and a GPT-4o-regenerated subset changes the relative ordering of joint conditioning, Witness-Only, and S2VA. Contextual sycophancy is therefore sensitive to when text is introduced, as well as to the model and context source.
- Abstract（参考訳）: 外部テキストは、マルチモーダルな大言語モデルにおける矛盾する画像証拠をオーバーライドすることができる。
視覚的エビデンス,コモンセンス先行,外部テキストを独立に変化させる998ケースの診断を導入し,この障害が発生した場合,コンテキストブラインドされた視覚的目撃者を中心に情報境界を移動させることで探索する。
ジェミニが生成した偽造テキストと組み合わせた異常画像では、GPT-5.1は共同条件下で7.9%、文脈盲検者報告が直接採点された場合49.7%、一致した2回の証人/証人パイプラインで63.7%、証人からのテキストを保留するSystem-2 Visual Arbitration (S2VA) で84.2%である。
6つのモデルで、S2VAは直接証人報告を19.7から44.1ポイント改善し、ゼロを除く95%の信頼区間が対になった。
テキストコンテキストはいくつかのモデルをスキャフォールドし、GPT-4o再生サブセットはジョイントコンディショニング、Witness-Only、S2VAの相対順序を変更する。
したがって、コンテキストサイコファシーは、テキストが導入された時やモデルやコンテキストソースに敏感である。
関連論文リスト
- When Seeing Overrides Knowing: Visual Dominance and Deferral-Based Method for Personalized Safety in VLMs [54.95635713318535]
視覚言語モデル(VLM)は、一般的に妥当な応答が特定のユーザにとって安全でない場合、ハイテイクな設定でデプロイされることが多い。
マルチモーダルシステムにおけるパーソナライズされた安全性の問題について検討し,MPS-Benchを紹介した。
我々は、ほとんど常に(86-99%)直接応答し、コンテキストの欠如を求めるのではなく、パーソナライズされた安全性において2.6/5を超えないことを発見した。
このメカニズムにより、双方向の相互変調を用いてクエリがいつ要求されるかを予測する軽量な入力モニタであるPRISMを提案する。
論文 参考訳（メタデータ） (2026-09-03T03:58:56Z) - T2LSC-Bench: Benchmarking Localized Semantic Control in Text-to-Image Generation [30.939965668317967]
製品ラベリング、署名、インターフェースデザインでは、予め定義された主題のアイデンティティや周囲のシーンセマンティクスを変更することなく、指定されたテキストを含む領域内でターゲットテキストをレンダリングすべきである。
既存のビジュアルテキストベンチマークでは、可読性、スペル精度、レイアウトを評価しており、この種のセマンティックリークはほとんど検討されていない。
T2LSC-Benchは、50の被験者と1200のプロンプトケースからなる制御された診断ベンチマークであり、6つのモデルで7,160の画像が得られた。
デュアルブランチプロトコルは、OCR-VLMテキスト検証と構造化VLM意味判断を組み合わせて、テキスト・アット・アンカー精度(TAA)、意味的主題保存(Semantic Subject Preservation)を測定する。
論文 参考訳（メタデータ） (2026-09-02T08:02:40Z) - Beyond the Verdict: Evidence-Aligned Evaluation of Visual Prompt-Injection Guardrails [16.132019583543254]
評定のみの評価は、視覚言語モデル(VLM)がその決定を支持するビジュアルエビデンスを使用したかどうかを明らかにしていない。
VLMは、画面上のテキストがユーザ命令と矛盾するかどうかを判断する。
我々はMind2Web-Injectionを紹介し,9,954枚のインストラクション・スクリーンショット・ペアと命令・リレーショナル・ラベル,ピクセル・エクササイズ・エビデンス・ボックス,マッチングされたイメージ・サイド・カウンターファクトのベンチマークを行った。
論文 参考訳（メタデータ） (2026-09-02T07:03:03Z) - SIGNPOST-Bench: Benchmarking Text-Vision Conflict Resolution in Multimodal Large Language Models [9.496555964908188]
マルチモーダル大規模言語モデル(MLLM)は、視覚とテキストの組み合わせによって現実の場面で基礎となる予測を行う。
SIGNPOST-Benchは,テキストビジョンのコンフリクト分解能を評価するための,制御されたデファクト・デファクト・ベンチマークである。
論文 参考訳（メタデータ） (2026-08-04T21:55:47Z) - Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach [52.92973028971813]
ビデオレベルのアンビバレンスとヘシタシー認識のための単一のテキスト中心マルチモーダルアプローチを提案する。
提案手法は,テキスト中心のマルチモーダル融合モデルを用いて,言語的,音響的,顔的,シーン的特徴を組み合わせたものである。
行動共生/衛生(BAH)コーパスの実験は、テキストが最強の単調なモダリティであることを確認した。
論文 参考訳（メタデータ） (2026-07-16T08:04:23Z) - ITPEval: Benchmarking Formal Translation Across Interactive Theorem Provers [77.95933562142014]
ITPEvalは、4つの主要なIPP間で自動形式証明翻訳を評価するための最初のベンチマークである。
itpevalは、状態が分離されたウォームバックエンドを備えた、統合されたマルチITP認証インフラストラクチャです。
論文 参考訳（メタデータ） (2026-07-07T22:05:55Z) - VisualLeakBench: Auditing the Fragility of Large Vision-Language Models against PII Leakage and Social Engineering [14.756677328512907]
VisualLeakBenchは、OCRインジェクションとContextual PII Leakageに対してLVLMを監査するための評価スイートである。
8種類のPII型を持つ合成逆画像1,000枚を用いて,実世界の実画像50枚に検証を行った。
我々は、再現可能な堅牢性と、デプロイメント関連視覚言語システムの安全性評価のためのデータセットとコードをリリースする。
論文 参考訳（メタデータ） (2026-03-11T05:47:24Z) - Do Images Speak Louder than Words? Investigating the Effect of Textual Misinformation in VLMs [17.56537230934894]
Vision-Language Models (VLM)は、Visual-Question-Answering (VQA)ベンチマークで強力なマルチモーダル推論能力を示している。
これらのモデルが、誤解を招くテキストのプロンプトに対して脆弱であることを示し、しばしば矛盾するテキストを支持する明確な視覚的証拠をオーバーライドしている。
論文 参考訳（メタデータ） (2026-01-27T05:04:38Z) - CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。
ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文 参考訳（メタデータ） (2025-10-02T02:14:33Z) - Stated Preference for Interaction and Continued Engagement (SPICE): Evaluating an LLM's Willingness to Re-engage in Conversation [0.0]
Stated Preference for Interaction and Continued Engagement (SPICE)は、大規模言語モデルにYESまたはNO質問をすることで引き起こされる単純な診断信号である。
10-interactionstimul setによる3-tone(親しみやすい,不明瞭,嫌悪感)を用いた実験では,4つのフレーミング条件で4つのオープンウェイトチャットモデルを検証した。
友好的な相互作用は継続をほぼ一様に好んだ(97.5% YES)が、虐待的相互作用は断念を強く好んだ(17.9% YES)
論文 参考訳（メタデータ） (2025-09-10T22:34:17Z) - RepreGuard: Detecting LLM-Generated Text by Revealing Hidden Representation Patterns [50.401907401444404]
大規模言語モデル(LLM)は、誤用を防止し、信頼できるAIシステムを構築するために不可欠である。
本稿では,統計量に基づく効率的な検出手法であるRepreGuardを提案する。
実験結果から、RepreGuardは、平均94.92%のAUROCですべてのベースラインでID(in-distriion)とOOD(OOD)の両方のシナリオでパフォーマンスが向上していることが示された。
論文 参考訳（メタデータ） (2025-08-18T17:59:15Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳（メタデータ） (2024-11-05T01:11:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。