論文の概要: Beyond Dominant Patches: Spatial Credit Redistribution For Grounded Vision-Language Models

• arxiv url: http://arxiv.org/abs/2602.22469v1
• Date: Wed, 25 Feb 2026 23:08:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.441616
• Title: Beyond Dominant Patches: Spatial Credit Redistribution For Grounded Vision-Language Models
• Title（参考訳）: 支配的パッチを超えて: 接地型視覚ランゲージモデルのための空間的信用再分配
• Abstract要約: 視覚言語モデル(VLM)は、入力画像から欠落したオブジェクトを幻覚させる。 SCR(Spatial Credit Redistribution)は,高アテンションソースパッチから隠れ状態のアクティベーションをそのコンテキストに再分配する,トレーニング不要な推論時間介入である。 SCRはPOPE-Adversarialで幻覚を4.7-6.0ポイント減らし、CHAIR-sを3.7-5.2ポイント減らし(42-1%)、CHAIR-iを2.7-4.4ポイント減らし(44-8%)、CIDErを0.8ポイント減らした。
• 参考スコア（独自算出の注目度）: 0.7919969809015935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) frequently hallucinate objects absent from the input image. We trace this failure to spatial credit collapse: activation credit concentrating on sparse visual patches in early transformer layers, which suppresses contextual evidence and increases reliance on language priors. We introduce Spatial Credit Redistribution (SCR), a training-free inference-time intervention that redistributes hidden-state activation from high-attention source patches to their context, guided by low-entropy inputs. We evaluate six model families (Chameleon, LLaVA, and Qwen, including both Qwen-VL and Qwen2-VL) at scales of 7B, 13B, and 30B, on POPE and CHAIR benchmarks. SCR reduces hallucination by ~4.7-6.0 percentage points on POPE-Adversarial, cuts CHAIR-s by 3.7-5.2 percentage points (42-51 percent relative), and CHAIR-i by 2.7-4.4 percentage points (44-58 percent relative), and preserves CIDEr within 0.8 percentage points. Gains are largest for low-entropy inputs, consistent with the theoretical framework. SCR incurs only 43-56 ms overhead (small models: +43-46 ms; large models: +54-56 ms), roughly 3-6 times lower than OPERA and VCD and 1.3-1.7 times lower than OVCD (+72 ms), while Pareto-dominating all three on both hallucination rate and CIDEr, making it practical for real-time settings. A controlled ablation confirms that attention-guided source selection is essential: replacing it with uniform random selection reduces hallucination rate gains from ~4.7-6.0 percentage points to only ~2.6-3.4 percentage points, pointing to credit-collapse as the key driver.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、入力画像から欠落したオブジェクトを幻覚させる。 アクティベーションクレジットは,初期トランスフォーマー層における粗い視覚パッチに集中しており,文脈的証拠を抑え,言語先行への依存を増大させる。 SCR(Spatial Credit Redistribution)は、低エントロピー入力によって誘導される、高アテンションソースパッチからの隠れ状態の活性化をそれらのコンテキストに再分配する訓練不要な推論時間介入である。 我々は,POPEおよびCHAIRベンチマークを用いて,Qwen-VLおよびQwen2-VLを含む6種類のモデルファミリー(Chameleon,LLaVA,Qwen)を7B,13B,30Bのスケールで評価した。 SCRはPOPE-Adversarialで幻覚を4.7-6.0ポイント減らし、CHAIR-sを3.7-5.2ポイント減らし(42-1%)、CHAIR-iを2.7-4.4ポイント減らし(44-8%)、CIDErを0.8ポイント減らした。 利得は、理論的な枠組みと一致する低エントロピー入力に対して最大である。 SCRは43-56msのオーバーヘッド(小型モデル:+43-46ms、大型モデル:+54-56ms)しか発生せず、OPERAやVCDの約3-6倍、OVCDの約1.3-1.7倍(+72ms)、パレートは幻覚とCIDErの両方で3つすべてを支配しており、リアルタイム設定に実用的である。 均一なランダム選択に置き換えることで、幻覚率の上昇が ~4.7-6.0 から ~2.6-3.4 まで減少し、クレジット崩壊をキードライバーとしている。

関連論文リスト

• Beyond Language Priors: Diagnosing and Fixing Visual-Origin Hallucinations in Multimodal LLM [37.0916688511164]
  視覚的特徴抽出と画像とテキストの埋め込みの誤調整から幻覚が生じる視覚的オリジン幻覚の証拠を提示する。 本稿では、この問題を修正するために、ACFT(Adversarial Contrastive Fine-Tuning)を提案する。 ACFTは、LLaVA、MiniGPT-4、Qwen2.5-VLにまたがるPOPE、MME、および4つの記述レベル幻覚ベンチマークの最先端性能を達成する。
  論文  参考訳（メタデータ） (2026-08-31T18:38:24Z)
• Hallucination Mitigation for Large Vision-Language Models via Implicit Feature Stabilization [11.087363456274737]
  LVLM(Large Vision-Language Models)は、画像にないオブジェクト、属性、シーンを柔軟に記述する。 この障害の一部は、その表現の計測可能な性質、特徴不安定と結びついており、ここでは、入力の温和なセマンティクス保存の摂動が、学習された埋め込みに大きな変化をもたらす。 既存の安定性をモチベーションとしたリメディエーションは、遅延ステアリングや制約付きデコーディングを通じて推論時に介入し、クエリ毎に支払いを行うという意味で明確である。 摂動不変性は、微調整中にモデル重みに組み込まれ、デプロイ時に余分に実行されるものはない。
  論文  参考訳（メタデータ） (2026-08-30T17:39:38Z)
• See Only When Needed: Context-Aware Attention Intervention for Mitigating Hallucinations in LVLMs [81.71384150441163]
  大規模視覚言語モデル(LVLM)のためのコンテキスト認識注意介入(CAI)を提案する。 CAIは必要なときのみ2軸選択によってシーズを強制する。 複数のLVLMバックボーンとベンチマークの実験は、CAIが最先端の幻覚緩和を達成することを示している。
  論文  参考訳（メタデータ） (2026-06-29T06:35:47Z)
• To See or To Please: Uncovering Visual Sycophancy and Split Beliefs in VLMs [1.9349092719498848]
  Tri-Layer Diagnostic Frameworkは、潜在異常検出、ビジュアル必要スコア、コンペティションスコアという3つのメトリクスを通じて幻覚ソースをアンハングルする。 我々の分類では、69.6%のサンプルが視覚的シコファンシーを示しており、モデルは視覚異常を検知するが、ユーザーの期待を満足させるために幻覚を与える。
  論文  参考訳（メタデータ） (2026-03-19T00:15:05Z)
• CaTok: Taming Mean Flows for One-Dimensional Causal Image Tokenization [122.88484422855934]
  本稿では,MeanFlowデコーダを備えた1次元因果画像トークンであるCaTokを紹介する。 時間間隔でトークンを選択することで、CaTokは高速なワンステップ生成と高忠実なマルチステップサンプリングの両方をサポートする因果1D表現を学ぶ。 実験により、CaTokはImageNet再構成の最先端の結果を達成し、0.75 FID、22.53 PSNR、0.674 SSIMに達した。
  論文  参考訳（メタデータ） (2026-03-06T16:39:17Z)
• Look Carefully: Adaptive Visual Reinforcements in Multimodal Large Language Models for Hallucination Mitigation [51.743225614196774]
  マルチモーダル大言語モデル (MLLM) は視覚言語推論において顕著な進歩を遂げている。 彼らは幻覚に弱いままであり、そこで生成されたコンテンツは視覚的証拠から逸脱する。 近年の視覚強調法では、復号時に視覚トークンを補強することでこの問題に対処しようとしている。 本稿では,MLLMのトレーニングフリーフレームワークであるAdaptive Visual Reinforcement (AIR)を提案する。
  論文  参考訳（メタデータ） (2026-02-27T14:18:51Z)
• Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation [95.89924101984566]
  GPM(Global Prior Memory)とLCM(Local Consistency Memory)を備えたデュアルメモリVLAフレームワークOptimusVLAを紹介する。 GPMはガウスノイズを意味論的に類似した軌道から取得したタスクレベルの先行値に置き換える。 LCMは、時間的コヒーレンスと軌道の滑らかさを強制する学習された一貫性制約を注入する。
  論文  参考訳（メタデータ） (2026-02-22T15:39:34Z)
• Hallucination Begins Where Saliency Drops [18.189047289404325]
  幻覚は、前の出力トークンが次のトークンの予測に対して低い正当性を示すときにしばしば起こる。 LVLMs-Saliencyは,各出力トークンの視覚的グラウンドリング強度を定量化する,勾配認識型診断フレームワークである。 本手法は, 流速とタスク性能を保ちながら幻覚率を大幅に低減し, 堅牢かつ解釈可能なソリューションを提供する。
  論文  参考訳（メタデータ） (2026-01-28T05:50:52Z)
• Gated Sparse Attention: Combining Computational Efficiency with Training Stability for Long-Context Language Models [0.0]
  Gated Sparse Attention (GSA)はスパースとゲートの双方の利点を実現するアーキテクチャである。 GSAは、有界で解釈可能な選択スコアを生成するシグモイドアクティベーションを備えたゲート雷インデクサを組み込んでいる。
  論文  参考訳（メタデータ） (2026-01-12T20:33:39Z)
• Toward More Reliable Artificial Intelligence: Reducing Hallucinations in Vision-Language Models [0.0]
  視覚言語モデル(VLM)は、しばしば幻覚的コンテンツを生成するが、画像の内容に関する誤った主張である。 本稿では,不確実性誘導による視覚的再認識によってVLMの応答を反復的に改善することのできる,トレーニング不要な自己補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-08T13:58:46Z)
• MapReduce LoRA: Advancing the Pareto Front in Multi-Preference Optimization for Generative Models [52.32146943039743]
  人間のフィードバックからの強化学習は、生成モデルと人間の美学と知覚的嗜好を高度に一致させる。 MapReduce LoRA と Reward-aware Token Embedding (RaTE) の2つの補完手法を紹介する。 我々のフレームワークは、モダリティにまたがる新しい最先端のマルチ参照アライメントのレシピを定めている。
  論文  参考訳（メタデータ） (2025-11-25T18:49:21Z)
• PruneHal: Reducing Hallucinations in Multi-modal Large Language Models through Adaptive KV Cache Pruning [87.35309934860938]
  大型言語モデル(MLLM)における幻覚は、視覚トークンに割り当てられた注意不足と強く関連している。 我々は、適応的なKVキャッシュプルーニングを活用し、重要な視覚情報に焦点をあてるトレーニングフリーでシンプルで効果的な方法である textbfPruneHal を提案する。
  論文  参考訳（メタデータ） (2025-10-22T02:41:07Z)
• Token-Level Inference-Time Alignment for Vision-Language Models [58.41370989069588]
  VLM(Vision-Language Models)は、現代のマルチモーダルインテリジェンスの重要なバックボーンとなっている。 本稿では,基本VLMを凍結し,その分布を近似する報酬モデルをトレーニングする軽量フレームワークTITAを提案する。 推測中、暗黙の選好信号は報酬モデルと目標VLMの対数確率比として抽出され、密集した自己回帰フィードバックが得られる。
  論文  参考訳（メタデータ） (2025-10-20T09:58:03Z)
• Cross-Layer Attention Probing for Fine-Grained Hallucination Detection [6.83291363146574]
  幻覚検出のための新しいアクティベーション・プロブリング技術であるCLAP(Cross-Layer Attention Probing)を提案する。 実験により,CLAPは脱コード応答と高温度でサンプリングされた応答の両方のベースラインと比較して幻覚検出を改善することが示された。 CLAPは、アウト・オブ・ディストリビューションを適用しても高い信頼性を維持する。
  論文  参考訳（メタデータ） (2025-09-04T14:37:34Z)
• Cure or Poison? Embedding Instructions Visually Alters Hallucination in Vision-Language Models [12.215295420714787]
  VLM(Vision-Language Models)はしばしば幻覚に悩まされる。 本稿では,画像に直接テキスト命令を埋め込むシンプルな方法であるPrompt-in-Imageを提案する。 本手法は,3つのオープンソースVLM (Qwen2.5-VL, LLaVA-1.5, InstructBLIP) で評価する。
  論文  参考訳（メタデータ） (2025-08-03T09:11:18Z)
• SCISSOR: Mitigating Semantic Bias through Cluster-Aware Siamese Networks for Robust Classification [16.633948320306832]
  ショートカット学習は、モデル一般化をアウト・オブ・ディストリビューションデータに損なう。 本稿では,SCISSOR(Semantic Cluster Intervention for Suppressing ShORtcut)を提案する。 コンピュータビジョンではChest-XRay,Not-MNIST,NLPタスクではGYAFC,Yelpの4つのベンチマークでSCISSORを評価した。
  論文  参考訳（メタデータ） (2025-06-17T14:49:29Z)
• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)
• Mitigating Object Hallucination via Concentric Causal Attention [71.27325347912823]
  物体の幻覚は回転位置と密接に結びついていることを示す。 RoPEは、広く採用されている位置依存モデリング設計である。 簡易かつ効果的な位置アライメント戦略であるConcentric Causal Attention (CCA)を提案する。
  論文  参考訳（メタデータ） (2024-10-21T11:54:53Z)
• MM-Vet v2: A Challenging Benchmark to Evaluate Large Multimodal Models for Integrated Capabilities [146.4724093405187]
  MM-Vet v2は、"image-text sequence understanding"と呼ばれる新しい"image-text sequence understanding"機能を含んでいる。 MM-Vet v2を用いて大規模マルチモーダルモデルのベンチマークを行った結果,Claude 3.5 Sonnetはスコア71.8の最良のモデルであり,スコア71.0のGPT-4oより若干優れていた。
  論文  参考訳（メタデータ） (2024-08-01T17:59:54Z)
• Coordinate Transformer: Achieving Single-stage Multi-person Mesh Recovery from Videos [91.44553585470688]
  ビデオから複数人の3Dメッシュを回収することは、バーチャルリアリティーや理学療法などにおけるグループ行動の自動認識に向けた重要な第一歩である。 本稿では,複数人物の時空間関係を直接モデル化し,同時にエンドツーエンドでマルチ・メッシュ・リカバリを行うコーディネート・トランスフォーマーを提案する。 3DPWデータセットの実験では、CoordFormerが最先端の精度を大幅に向上し、MPJPE、PAMPJPE、PVEの計測値でそれぞれ4.2%、8.8%、そして4.7%を上回った。
  論文  参考訳（メタデータ） (2023-08-20T18:23:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。