論文の概要: DICA: Dual-Indicator Guided Contrastive Alignment in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2607.23944v1
• Date: Mon, 27 Jul 2026 02:40:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.290418
• Title: DICA: Dual-Indicator Guided Contrastive Alignment in Multimodal Large Language Models
• Title（参考訳）: DICA:マルチモーダル大言語モデルにおけるコントラストアライメントを誘導するデュアルインデックス
• Abstract要約: 本研究ではDICA(Dual-Indicator Guided Contrastive Alignment)を提案する。 DICAは、視覚的注意エントロピー(VAE)と出力画像相関(OIC)の2つの情報理論的指標を追跡する。
• 参考スコア（独自算出の注目度）: 13.261187830239797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human visual reasoning typically follows a coarse-to-fine attention process, starting from global scene understanding and gradually focusing on question-relevant regions. However, multimodal large language models may deviate from this pattern due to attention drift and the underutilization of visual evidence, which can lead to hallucinations. To mitigate these issues, this study proposes a Dual-Indicator Guided Contrastive Alignment (DICA), which tracks two information-theoretic indicators during inference: Visual Attention Entropy (VAE), which reflects the concentration of visual attention, and Output Image Correlation (OIC), which measures the dependence of generated outputs on the visual input. An abnormal increase in VAE or a decrease in OIC corresponds to different failure modes, which trigger targeted contrastive alignment to restore visual grounding. Experimental results across multiple benchmarks demonstrate that DICA consistently outperforms existing approaches and substantially reduces hallucinations, highlighting the effectiveness of indicator-driven intervention in improving multimodal inference reliability. The code is publicly available at https://github.com/BGWH123/DICA/.
• Abstract（参考訳）: 人間の視覚的推論は通常、グローバルなシーン理解から始まり、質問関連領域に徐々に焦点をあてる、粗大な注意プロセスに従う。 しかし、多モーダルな言語モデルは、注意の漂流と視覚的証拠の未利用により、このパターンから逸脱し、幻覚につながる可能性がある。 これらの問題を緩和するために、視覚的注意の集中を反映した視覚的注意エントロピー(VAE)と、視覚的入力に対する出力の依存性を測定する出力画像相関(OIC)という2つの情報理論的指標を追跡するDICA(Dual-Indicator Guided Contrastive Alignment)を提案する。 VAEの異常増加やOICの低下は、異なる障害モードに対応し、視覚的接地を回復するためにターゲットのコントラストアライメントを誘導する。 複数のベンチマークでの実験結果から、DICAは既存のアプローチを一貫して上回り、幻覚を大幅に減らし、マルチモーダル推論の信頼性を向上させるための指標駆動的介入の有効性を強調した。 コードはhttps://github.com/BGWH123/DICA/で公開されている。

関連論文リスト

• Disentangling Semantic Attention from Structural Bias in the Attention Manifold [61.68044165974505]
  MLLM(Multimodal Large Language Models)は、意味的に非形式的な視覚トークンに対して不均等な注意を払っている。 本研究では,SPAR(Saliency-guided Purification and Adaptive Redistribution)を導入した。
  論文  参考訳（メタデータ） (2026-07-27T05:30:19Z)
• Model Guides You How to Draw: Adaptive Visual Gating for Unified Multimodal Reasoning [43.37915637521463]
  統合マルチモーダル推論のための学習自由適応型視覚ゲーティング手法を提案する。 AdaViGは、初期の視覚生成段階で、各トリガされた視覚ステップを動的に評価し、両方の信号が弱いときにそれを中止する。
  論文  参考訳（メタデータ） (2026-07-10T22:03:01Z)
• Cognitive Pivot Points and Visual Anchoring: Unveiling and Rectifying Hallucinations in Multimodal Reasoning Models [65.57985131861399]
  幻覚は、しばしば高いエントロピー状態を示す認知的分岐点と強く相関している。 本稿では,視覚的に認識可能な推論機能の内部化を目的とした,軽量で総合的なトレーニングパラダイムであるV-STARを提案する。
  論文  参考訳（メタデータ） (2026-04-11T13:59:05Z)
• Focus Matters: Phase-Aware Suppression for Hallucination in Vision-Language Models [8.304027910542446]
  大規模視覚言語モデル(LVLM)における視覚エンコーダの内部的注意ダイナミクスについて検討する。 分析の結果,幻覚の挙動は集中期において注目度が低いトークンに特に敏感であることが判明した。 本稿では、フォーカスフェーズにおいて、このようなトークンを選択的に抑制する軽量な推論時間介入を提案する。
  論文  参考訳（メタデータ） (2026-04-04T02:46:58Z)
• Revealing and Enhancing Core Visual Regions: Harnessing Internal Attention Dynamics for Hallucination Mitigation in LVLMs [67.69730908817321]
  LVLMの内部ポジティブ・アテンション・ダイナミクス(PAD)は、注意シンクの歪みの下で自然に意味的にコアとなる視覚領域を明らかにする。 PADE(Positive Attention Dynamics Enhancement)は、意味的にコアとなる視覚領域を識別するためのPADマップを構築する訓練不要の注意介入である。
  論文  参考訳（メタデータ） (2026-02-17T13:08:06Z)
• Attention-space Contrastive Guidance for Efficient Hallucination Mitigation in LVLMs [9.043999205886658]
  大きな視覚言語モデルにおける幻覚は、言語が視覚的証拠を支配するときにしばしば起こる。 本稿では,視覚言語と言語のみの注意経路を構築するために,自己注意層内で動作するシングルパス機構であるContrastive Guidance(ACG)を提案する。 ACGは、計算コストを大幅に削減しつつ、最先端の忠実さとキャプション品質を達成する。
  論文  参考訳（メタデータ） (2026-01-20T08:04:18Z)
• Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection [49.26064449816502]
  本研究では,テキスト・視覚バイアスと共起バイアスに対処するために,グラディエントベースのインフルエンス・アウェア制約付きデコーディング(GACD)手法を提案する。 GACDは幻覚を効果的に低減し、MLLM出力の視覚的接地を改善する。
  論文  参考訳（メタデータ） (2025-09-03T08:13:52Z)
• IKOD: Mitigating Visual Attention Degradation in Large Vision-Language Models [20.036659182106806]
  本稿では,LVLM(Large Vision-Language Models)が,シーケンス長の増大に伴って幻覚が増大する長期バイアスを示すことを示す。 我々は、より画像中心のシーケンスを生成する協調デコーディング戦略である、イメージアテンション誘導キー値マージcOllaborative Decoding (IKOD)を提案する。
  論文  参考訳（メタデータ） (2025-08-05T14:05:15Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。