論文の概要: When Irrelevant Text Matters: Affine Margin Shifts in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2608.19208v2
• Date: Tue, 01 Sep 2026 04:21:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.264709
• Title: When Irrelevant Text Matters: Affine Margin Shifts in Multimodal Large Language Models
• Title（参考訳）: テキストが重要でないとき:マルチモーダル大言語モデルにおけるアフィン・マージンシフト
• Abstract要約: 無関係なテキストが様々なベンチマークでモデル予測を常にバイアスしているのを観察する。 我々の分析は、文脈自由な文脈のアフィン規則性に従うような、頑健な幾何学的正則性を明らかにしている。 これらの所見はMLLMにおける無関係な文脈効果のマージンレベルの診断的見地を提供する。
• 参考スコア（独自算出の注目度）: 28.678246023804537
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) are frequently exposed to auxiliary textual context, the impact of which on visually grounded tasks remains underexplored. In this paper, we investigate the influence of task-irrelevant context by formulating it as a controlled intervention within a binary visual judgment framework. By maintaining an invariant prompt structure while varying auxiliary inputs, we observe that irrelevant text consistently biases model predictions across diverse benchmarks. To move beyond performance metrics, we characterize this sensitivity through a decision margin defined by the log-probability difference between binary candidates. Our analysis reveals a robust geometric regularity: contextconditioned margins follow a consistent affine transformation of their context-free counterparts. This finding demonstrates that irrelevant context does not manifest as unstructured stochastic noise but as a estimable distortion of model preference. We further interpret the fitted affine parameters as metrics for visual commitment preservation and directional answer bias. These findings provide a margin-level diagnostic view of irrelevant-context effects in MLLMs and offer a basis for future studies on noisy-context robustness
• Abstract（参考訳）: MLLM(Multimodal large language model)はしばしば補助的なテキストコンテキストに晒されるが、視覚的に接地されたタスクに対する影響は未解明のままである。 本稿では,二元的視覚判断枠組みにおける制御的介入として定式化することにより,タスク非関連文脈の影響について検討する。 補助的な入力の変化を伴って不変なプロンプト構造を維持することにより、無関係なテキストは様々なベンチマークでモデル予測を常にバイアスする。 性能指標を超えて、バイナリ候補間のログ確率差によって定義される決定マージンによって、この感度を特徴付ける。 文脈条件付きマージンは、文脈自由なマージンの一貫したアフィン変換に従う。 この発見は、無関係な文脈が非構造的確率ノイズとして現れるのではなく、モデル嗜好の推定可能な歪みとして現れることを示した。 さらに、アフィンパラメータを視覚的コミットメントの保存と方向性の回答バイアスの指標として解釈する。 これらの知見はMLLMにおける無関係なコンテキスト効果のマージンレベルの診断を提供し、ノイズ-コンテキストの堅牢性に関する将来の研究の基盤を提供する。

関連論文リスト

• The Illusion of Robustness: Aggregate Accuracy Hides Prediction Flips under Task-Irrelevant Context [76.36635039699112]
  大規模言語モデル(LLM)は、タスク入力に長く、部分的には関係のないコンテキストが伴うような、コンテキストに富んだ環境にますますデプロイされる。 現状のモデルはしばしば、集合レベルでのタスク非関連コンテキストに対して頑健に見える。 しかし、この集合安定性は、指数当たりの不安定性を著しくマスクする。
  論文  参考訳（メタデータ） (2026-07-14T17:01:12Z)
• A Multimodal Dataset for Visually Grounded Ambiguity in Machine Translation [53.06004926782424]
  VIDA(Visually-Dependent Ambiguity)は2500の慎重にキュレートされたインスタンスのデータセットで、注釈付きソーススパンの解決には視覚的証拠が必要である。 また,LLM-as-a-judge分類器を用いて,アノテートされた曖昧な表現がスパンレベルで正しく解決されているかどうかを検証する。
  論文  参考訳（メタデータ） (2026-05-03T19:55:06Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models [16.328341121232484]
  文脈介入の効果を測定するために因果効果推定手法を適用した。 本研究はトランスフォーマーの無関係な変化に対する堅牢性と影響の高い変化に対する感受性について検討する。
  論文  参考訳（メタデータ） (2024-04-03T10:22:35Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。