論文の概要: Mind What Matters for Reasoning: Aligning Cross-Modal Attention via Selective Probability Mass Concentration
- arxiv url: http://arxiv.org/abs/2609.29940v1
- Date: Thu, 24 Sep 2026 15:05:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:10.039635
- Title: Mind What Matters for Reasoning: Aligning Cross-Modal Attention via Selective Probability Mass Concentration
- Title（参考訳）: 推論に何が重要か:選択確率質量濃度による横断的注意の調整
- Abstract要約: マルチモーダルな大規模言語モデル (MLLM) は視覚的推論タスクにおいて高い性能を達成するが、幻覚や言語先行への過度な依存は伴わない。
既存のアプローチは主に推論指向の監督や推論時の戦略を通じて推論を改善する。
本研究では,接地応答型頭部を識別し,テキスト・ツー・イメージの注意を選択的に調整する訓練フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 20.617578822182043
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal large language models (MLLMs) achieve strong performance on visual reasoning tasks, yet remain prone to hallucinations and over-reliance on language priors, often generating answers without adequately using task-relevant visual evidence. Existing approaches primarily improve reasoning through reasoning-oriented supervision or inference-time strategies. In this work, we study a complementary question: can multimodal reasoning be improved by strengthening implicit visual grounding without directly supervising the reasoning process? Motivated by the functional specialization of attention heads, we investigate whether reasoning can be improved by guiding only the heads most responsive to visual evidence grounding. We propose Selective Probability Mass Concentration (sPMC), a training framework that identifies grounding-responsive heads and selectively regularizes their text-to-image attention. sPMC treats normalized attention over visual tokens as a spatial probability distribution and encourages the probability mass to be assigned to semantically relevant regions using segmentation-derived spatial priors. Adaptive Head Selection restricts this guidance to visually responsive heads while leaving the remaining heads unconstrained to preserve their complementary functions. Across 6 multimodal benchmark suites, sPMC achieves an average zero-shot improvement of 3% and gains of up to 11.3% across multiple MLLMs while regularizing only 3%-15% of their attention heads. These results demonstrate that targeted guidance of sparse and implicit visual evidence pathways can directly improve multimodal reasoning.
- Abstract（参考訳）: マルチモーダルな大規模言語モデル (MLLM) は視覚的推論タスクにおいて高いパフォーマンスを達成するが、ハロシン化や言語先行への過度な依存は相変わらず、多くの場合、タスク関連の視覚的証拠を適切に使わずに答えを生成する。
既存のアプローチは主に推論指向の監督や推論時の戦略を通じて推論を改善する。
本研究は,暗黙的な視覚的接地を強化することで,推論プロセスを直接監督することなく,マルチモーダル推論を改善することができるか,という相補的な疑問を考察する。
本研究の目的は,視覚的エビデンスに最も敏感な頭部のみを誘導することにより,推論を改善することができるかどうかを検討することである。
本研究では,SPMC(Selective Probability Mass concentration)を提案する。
sPMCは、視覚トークンに対する正規化された注意を空間的確率分布として扱い、セグメンテーション由来の空間的先行値を用いて、確率質量を意味的に関連する領域に割り当てることを奨励する。
アダプティブ・ヘッド・セレクション(Adaptive Head Selection)は、このガイダンスを視覚的に応答する頭部に制限するが、残りの頭部は相補的な機能を維持するために拘束されない。
6つのマルチモーダルベンチマークスイートで、sPMCは平均的なゼロショット改善を3%達成し、複数のMLLMで最大11.3%向上した。
これらの結果は,スパースと暗黙の視覚的エビデンス経路の目標誘導が,マルチモーダル推論を直接的に改善できることを示す。
関連論文リスト
- See Only When Needed: Context-Aware Attention Intervention for Mitigating Hallucinations in LVLMs [81.71384150441163]
大規模視覚言語モデル(LVLM)のためのコンテキスト認識注意介入(CAI)を提案する。
CAIは必要なときのみ2軸選択によってシーズを強制する。
複数のLVLMバックボーンとベンチマークの実験は、CAIが最先端の幻覚緩和を達成することを示している。
論文 参考訳（メタデータ） (2026-06-29T06:35:47Z) - VisionPulse: Dynamic Visual Sparsity for Efficient Multimodal Reasoning [15.03674139835036]
推論中に段階的に視覚的トークンを抽出するフレームワークであるVisionPulseを提案する。
VisionPulseは、推論中に視覚的間隔を強制することにより、関連する視覚的証拠を保持しながら冗長な視覚的コンテキストをフィルタリングし、推論トレースを自然に短縮する。
論文 参考訳（メタデータ） (2026-05-29T15:51:12Z) - Deeper Thought, Weaker Aim: Understanding and Mitigating Perceptual Impairment during Reasoning in Multimodal Large Language Models [15.851502442699]
MLLM(Multimodal large language model)はしばしば、拡張推論モードの下で知覚障害に悩まされる。
多段階の推論において、モデルの視覚的注意が散らばり、疑問関連領域から遠ざかって、視覚的入力に効果的に焦点をあてる。
本研究では,エントロピー・フォーカス基準に基づいて視覚的頭部を選択する学習自由な視覚領域誘導注意(VRGA)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-15T02:21:05Z) - Head-Aware Visual Cropping: Enhancing Fine-Grained VQA with Attention-Guided Subimage [4.771792258699647]
我々は,注目ヘッドの選択的に洗練されたサブセットを活用することにより,視覚的接地を改善する訓練不要な方法であるtextbfHead Visual Cropping (HAVC) を提案する。
複数の微細なVQAベンチマークの実験は、HAVCが最先端の収穫戦略を一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-01-30T02:46:55Z) - ITSELF: Attention Guided Fine-Grained Alignment for Vision-Language Retrieval [7.809330758164896]
我々は,暗黙的局所アライメントのための注意誘導フレームワークITSELFを紹介する。
GRAB(Guarded Representation with Attentive Bank)はその中核として、モデル自身の注意を高可用性トークンの注意力銀行に変換する。
また,ロバスト選択のための多層アテンション(MARS)を導入し,各層に注意を集中させ,多様性を意識したトップk選択を行う。
論文 参考訳（メタデータ） (2026-01-03T01:19:36Z) - Mitigating Hallucination in Multimodal Reasoning via Functional Attention Control [17.712786361140818]
幻覚は依然として持続的な失敗モードであり、誤った推論連鎖と視覚的内容の誤解釈として現れている。
本研究は,注目頭部が段階的分割を示し,浅い頭部が主に知覚に役立ち,深い頭部が象徴的推論に傾いていることを観察する。
本稿では,2段階の軽量で解釈可能な機能的頭部識別とクラス言語再スケーリングを提案する。
論文 参考訳（メタデータ） (2025-10-11T16:54:41Z) - CoFFT: Chain of Foresight-Focus Thought for Visual Language Models [61.34272727005052]
フォレスト・フォーカス思考の連鎖(英語: Chain of Foresight-Focus Thought, CoFFT)は、人間の視覚的認知をエミュレートすることによって視覚的推論を強化する訓練のないアプローチである。
これらの段階は反復的に機能し、推論が視覚的焦点を導き、視覚的焦点がその後の推論を知らせる相互依存サイクルを生成する。
Qwen2.5-VL、InternVL-2.5、Llava-Nextを使った複数のベンチマークでの実証結果では、3.1-5.8%が一貫したパフォーマンス向上を示し、計算オーバーヘッドは増大した。
論文 参考訳（メタデータ） (2025-09-26T07:46:30Z) - Ground-R1: Incentivizing Grounded Visual Reasoning via Reinforcement Learning [96.01617809845396]
Ground-R1は、明示的なエビデンスや合理的アノテーションを必要とせずに、基礎的な視覚的推論を可能にする強化学習フレームワークである。
グラウンドR1は優れた性能を示し、不確実性認識、空間認識、反復的洗練などの創発的な認知行動を示す。
論文 参考訳（メタデータ） (2025-05-26T17:51:47Z) - Identifying and Evaluating Inactive Heads in Pretrained LLMs [74.93559410792646]
本研究では,頭部の不活性度を計測する13のスコア関数の分類法を提案する。
平均して12%以上の注意頭は活動せず、特定の文脈で改善することができる。
スコア分布を測定することで、注意行動に対する洞察が得られることを示す。
論文 参考訳（メタデータ） (2025-04-04T19:28:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。