論文の概要: Taming Visual Neglect: A Variational Information Bottleneck Framework for Adaptive Attention in Multimodal In-Context Learning
- arxiv url: http://arxiv.org/abs/2608.23570v1
- Date: Sun, 14 Jun 2026 11:06:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.326685
- Title: Taming Visual Neglect: A Variational Information Bottleneck Framework for Adaptive Attention in Multimodal In-Context Learning
- Title（参考訳）: マルチモーダル・インテクスト学習における適応的注意のための変分情報ボットネック・フレームワーク「タミング・ビジュアル・ネグレクト」
- Abstract要約: 大規模視覚言語モデルは、コンテキスト内学習能力が強いが、なぜ視覚コンテキストがマルチモーダルICLの理解に役立っているのかは、いまだ不明である。
本稿では,インフォメーション・ボトルネックの原理を用いて二分法を解く情報理論フレームワークVIB-ICLを提案する。
視覚情報が冗長である場合、視覚的コンテキストの無視は、しばしば障害モードと見なされるが、インフォメーション・ボトルネック最適解であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large vision-language models exhibit strong in-context learning (ICL) capabilities, yet when and why visual context helps multimodal ICL remains poorly understood. Empirical studies show a puzzling dichotomy: models sometimes effectively leverage visual demonstrations, yet often neglect them entirely. We propose VIB-ICL, an information-theoretic framework that resolves this dichotomy through the Information Bottleneck principle. We introduce the Cross-Modal Information Gain (CMIG), which quantifies the additional mutual information that visual context provides about the target beyond textual context. We derive a generalization bound showing that multimodal ICL's excess risk over text-only ICL is governed by the CMIG, proving that multimodal ICL provably outperforms text-only ICL when visual information is non-redundant. We further prove that visual context neglect, often viewed as a failure mode, is the Information Bottleneck-optimal solution when visual information is redundant, yielding a closed-form Attention Reallocation Principle that prescribes how visual attention weights should be adaptively adjusted. We instantiate this principle in the VIB-ICL algorithm, which estimates CMIG via variational bounds and dynamically reallocates attention. Experiments on five benchmarks demonstrate consistent improvements of up to 4.7\% accuracy gains and 35\% reduction in required demonstrations, validating our theoretical predictions.
- Abstract（参考訳）: 大規模視覚言語モデルは、強力なコンテキスト内学習(ICL)能力を示すが、なぜ視覚コンテキストがマルチモーダルICLの理解に役立っているのかは、いまだ不明である。
モデルは時に視覚的なデモンストレーションを効果的に活用するが、完全に無視することが多い。
本稿では,この二分法をインフォメーション・ボトルネックの原理によって解決する情報理論フレームワークVIB-ICLを提案する。
本稿では,テキスト・コンテキストを超えたターゲットに視覚的コンテキストが与える付加的な相互情報を定量化するクロスモーダル・インフォメーション・ゲイン(CMIG)を提案する。
我々は,マルチモーダル ICL のテキストオンリー ICL に対する過剰なリスクがCMIG によって管理されていることを示す一般化を導出し,視覚情報が非冗長である場合に,多モーダル ICL がテキストオンリー ICL を確実に上回ることを示す。
さらに、視覚的コンテキストの無視は、しばしば失敗モードと見なされる、視覚的情報が冗長である場合のインフォメーション・ボトルネック最適解であり、視覚的注意重みを適応的に調整する方法を規定する、クローズドフォームのアテンション・レロケーション原理が生じることを証明している。
我々はこの原理をVIB-ICLアルゴリズムでインスタンス化し、変分境界によってCMIGを推定し、注意を動的に再配置する。
5つのベンチマークの実験では、最大4.7 %の精度向上と必要なデモの35 %の削減が一貫した改善を示し、理論的な予測を検証した。
関連論文リスト
- Enhancing Multimodal In-Context Learning via Inductive-Deductive Reasoning [65.15766304205657]
In-context Learning (ICL) は、大規模なモデルをいくつかの例を使ってタスクに適応させるが、視覚言語モデル(VLM)への拡張は脆弱である。
我々の分析によると、基本的な限界は帰納的ギャップにあり、モデルはしばしば欠陥のある推論から正しい答えを導き出す。
帰納的帰納的プロセスとしてマルチモーダル ICL を再構成する枠組みを導入する。
論文 参考訳（メタデータ） (2026-05-04T09:18:19Z) - ACT Now: Preempting LVLM Hallucinations via Adaptive Context Integration [71.21097024566285]
LVLM(Large-Language Models)はしばしば深刻な幻覚に悩まされる。
既存の緩和戦略は、視覚的焦点を強化するか、強い先行を抑えるために、言語的、単一段階の状態に依存している。
本研究では,適応的な文脈情報の統合を通じて幻覚を緩和する学習自由推論介入手法であるAdaptive Context in VisionTegration (ACT)を提案する。
論文 参考訳（メタデータ） (2026-04-01T14:49:50Z) - Predictive Regularization Against Visual Representation Degradation in Multimodal Large Language Models [84.94288033791346]
我々は,MLLMにおける視覚的表現の劣化という,広範にわたる課題を明らかにするために,詳細な診断分析を行う。
我々は,この現象を,単一のテキスト生成目標によって引き起こされる視覚的犠牲とみなし,そのモデルが解答生成の最適化のためにその視覚的忠実度を損なう。
本研究では,初期視覚特性を予測するために,劣化した中間特徴を強制的に予測し,MLLMの内部表現に固有の視覚特性を維持するための予測正則化を提案する。
論文 参考訳（メタデータ） (2026-03-21T13:10:37Z) - What do vision-language models see in the context? Investigating multimodal in-context learning [2.1119217917006234]
インコンテキスト学習(ICL)により、大規模言語モデルでは、パラメータ更新なしで実演例からタスクを学習することができる。
視覚言語モデル(VLM)におけるICLの体系的研究について述べる。
我々は、設計、アーキテクチャの選択、トレーニング戦略がマルチモーダルICLにどのように影響するかを分析する。
論文 参考訳（メタデータ） (2025-10-28T11:55:24Z) - True Multimodal In-Context Learning Needs Attention to the Visual Context [69.63677595066012]
MLLM(Multimodal Large Language Models)は、新しいタスクに適応したMICL(Multimodal In-Context Learning)を実現する。
現在のMLLMは、視覚的手がかりを無視し、テキストパターンを過度に無視する傾向にあり、真のマルチモーダル適応よりも単なるテキスト模倣に繋がる。
視覚的コンテキストへのモデルへの参加を促す,効率的な微調整戦略であるDynamic Attention Reallocation (DARA)を紹介した。
論文 参考訳（メタデータ） (2025-07-21T17:08:18Z) - Illusion or Algorithm? Investigating Memorization, Emergence, and Symbolic Processing in In-Context Learning [50.53703102032562]
大規模トランスフォーマー言語モデル(LM)は、Webスケールデータによる次世代の予測のみを訓練することで、幅広いタスクを解決できる。
この能力の背後にあるメカニズムは、ICL(In-context Learning)と呼ばれ、議論の余地があり、理解が不十分なままである。
論文 参考訳（メタデータ） (2025-05-16T08:50:42Z) - Exploring Implicit Visual Misunderstandings in Multimodal Large Language Models through Attention Analysis [21.869968563545736]
我々は、暗黙的な視覚的誤解(IVM)を定義し、MLLMは視覚的入力を完全に理解することなく正しい回答を提供する。
IVMの定量化には,スケール非依存の計量,テクスチャータテンションの精度,新しいベンチマークを導入する。
我々は、より微細な粒度にアプローチを拡張し、その効果を単調なシナリオで実証する。
論文 参考訳（メタデータ） (2025-05-15T17:52:40Z) - Multimodal Contrastive In-Context Learning [0.9120312014267044]
本稿では,Large Language Models (LLMs) における勾配なしインコンテキスト学習 (ICL) の理解を高めるために,新しいマルチモーダルコントラスト型インコンテキスト学習フレームワークを提案する。
まず、実世界におけるICLの対照的な解釈を示し、ICLの差別化要因としてキー値表現の距離を示す。
第2に、実世界のデータセットに対するマルチモーダル入力フォーマットにおけるバイアスに対処する分析フレームワークを開発する。
第3に、ヘイトフルミームの検出の有効性を示すICLのオンザフライアプローチを提案する。
論文 参考訳（メタデータ） (2024-08-23T10:10:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。