論文の概要: Steer Where It Matters: Token-Level Visual-Sensitivity Steering for LVLMs Hallucination Mitigation

• arxiv url: http://arxiv.org/abs/2606.07647v1
• Date: Tue, 02 Jun 2026 08:23:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:05.18447
• Title: Steer Where It Matters: Token-Level Visual-Sensitivity Steering for LVLMs Hallucination Mitigation
• Title（参考訳）: 注意点:LVLMの幻覚緩和のためのToken-Level視覚感度ステアリング
• Authors: Ruipeng Zhang, Zhihao Li, C. L. Philip Chen, Tong Zhang,
• Abstract要約: 幻覚緩和のためのTLVS(Token-Level Visual-Sensitivity Steering)を提案する。 このメカニズムはキャリブレーションのための最小限のトレーニングしか必要とせず、様々な視覚言語モデルに適用できる。 POPE, AMBER, CHAIR (COCO), MMHal, HallusionBenchなどのベンチマークでTLVSを評価し, 従来のステアリング法よりも一貫した改善が見られた。
• 参考スコア（独自算出の注目度）: 59.80828456543202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large vision language models (LVLMs) have made rapid advancements and are deployed across various applications, yet hallucinations remain a major challenge. Activation steering is appealing due to its minimal training overhead and controllability at inference time. However, we found that during autoregressive decoding, visual conditioning affects token prediction sparsely and locally across decoding steps, and many existing methods that average image-versus-no-image differences over the entire sequence dilute these critical signals, yielding low signal-to-noise ratio steering directions. Additionally, many existing methods apply a fixed steering strength, which misallocates the intervention budget, over-perturbs non-critical tokens, and can cause instability. To address these limitations, we propose Token-Level Visual-Sensitivity Steering (TLVS) for hallucination mitigation. Our approach first extracts token-level steering vectors and refines them, and then applies fine-grained, visual-sensitivity-adaptive steering only where it matters. This lightweight, plug-and-play mechanism requires only minimal training for calibration and can be applied across diverse vision-language models. It modulates the steering strength at each decoding step, selectively suppressing hallucination-prone spans while preserving evidence-grounded content. We evaluate TLVS on several benchmarks, including POPE, AMBER, CHAIR (COCO), MMHal, and HallusionBench, demonstrating consistent improvements over previous steering methods.
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)は急速に進歩し、様々なアプリケーションに展開しているが、幻覚は依然として大きな課題である。 アクティベーションステアリングは、最小限のトレーニングオーバーヘッドと推論時の制御性のために魅力的である。 しかし, 自己回帰復号処理において, 視覚条件がトークン予測を緩やかに, 局所的に変化させることが判明した。 さらに、多くの既存手法が固定ステアリング強度を適用しており、これは介入予算を誤って配置し、非臨界トークンを過度に摂動させ、不安定を引き起こす可能性がある。 これらの制約に対処するために,幻覚軽減のためのToken-Level Visual-Sensitivity Steering (TLVS)を提案する。 提案手法は,まずトークンレベルのステアリングベクトルを抽出し,それらを洗練し,さらに粒度の高い視覚感度適応ステアリングを重要箇所のみ適用する。 この軽量なプラグアンドプレイ機構は、キャリブレーションの最小限のトレーニングしか必要とせず、様々な視覚言語モデルに適用できる。 復号ステップごとに操舵強度を変調し、エビデンス・グラウンドド・コンテンツを保持しながら幻覚症状のスパンを選択的に抑制する。 POPE, AMBER, CHAIR (COCO), MMHal, HallusionBenchなどのベンチマークでTLVSを評価し, 従来のステアリング法よりも一貫した改善が見られた。

関連論文リスト

• HTDC: Hesitation-Triggered Differential Calibration for Mitigating Hallucination in Large Vision-Language Models [0.7252027234425333]
  Hesitation-Triggered Differential Inference (HTDC)は、標準のフルブランチ推論を保存するトレーニング不要のデコードフレームワークである。 Hesitation-Triggered Differential Inference は、強いタスク精度を維持しながら、常に幻覚を減少させる。
  論文  参考訳（メタデータ） (2026-04-13T22:47:27Z)
• Look Carefully: Adaptive Visual Reinforcements in Multimodal Large Language Models for Hallucination Mitigation [51.743225614196774]
  マルチモーダル大言語モデル (MLLM) は視覚言語推論において顕著な進歩を遂げている。 彼らは幻覚に弱いままであり、そこで生成されたコンテンツは視覚的証拠から逸脱する。 近年の視覚強調法では、復号時に視覚トークンを補強することでこの問題に対処しようとしている。 本稿では,MLLMのトレーニングフリーフレームワークであるAdaptive Visual Reinforcement (AIR)を提案する。
  論文  参考訳（メタデータ） (2026-02-27T14:18:51Z)
• AdaVBoost: Mitigating Hallucinations in LVLMs via Token-Level Adaptive Visual Attention Boosting [58.47431497789902]
  LVLM(Large Vision-Language Models)における幻覚を緩和するための有望な方向として、視覚的注意力増強が出現している。 本稿では,AdaVBoostを提案する。AdaVBoostはトークンレベルの視覚的注意力を高めるフレームワークで,各世代でどれだけの注意力を高めるかを適応的に決定する。 AdaVBoostは,複数のLVLMおよび幻覚ベンチマークにおいて,ベースライン法よりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2026-02-14T04:44:37Z)
• AMPS: Adaptive Modality Preference Steering via Functional Entropy [66.69992693275061]
  本稿では,各モータリティの情報提供量を定量化し,ステアリングに対するサンプル固有の感受性を明らかにするインスタンス認識診断指標を提案する。 実験結果から, インスタンス認識のステアリングは, 従来のステアリングよりもモダリティの嗜好の調整に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-02-13T02:29:06Z)
• Hallucination Begins Where Saliency Drops [18.189047289404325]
  幻覚は、前の出力トークンが次のトークンの予測に対して低い正当性を示すときにしばしば起こる。 LVLMs-Saliencyは,各出力トークンの視覚的グラウンドリング強度を定量化する,勾配認識型診断フレームワークである。 本手法は, 流速とタスク性能を保ちながら幻覚率を大幅に低減し, 堅牢かつ解釈可能なソリューションを提供する。
  論文  参考訳（メタデータ） (2026-01-28T05:50:52Z)
• Beyond Single Models: Mitigating Multimodal Hallucinations via Adaptive Token Ensemble Decoding [41.828387997311474]
  LVLM(Large Vision-Language Models)は画像キャプションや視覚的質問応答といったマルチモーダルタスクにおいて,近年顕著な成果を上げている。 それらは、まだ存在しない、または誤認されたオブジェクトの記述を生成する、オブジェクト幻覚の傾向にある。 本稿では,複数のLVLMからの予測を集約することで幻覚を緩和する,学習不要でトークンレベルのアンサンブルフレームワークであるAdaptive Token Ensemble Decoding (ated)を提案する。
  論文  参考訳（メタデータ） (2025-10-21T06:11:24Z)
• Mitigating Hallucination of Large Vision-Language Models via Dynamic Logits Calibration [8.192590936983347]
  LVLM(Large Vision-Language Models)はマルチモーダル理解において大きな進歩を見せている。 視覚的な入力に反する幻覚、すなわちテキストの生成によってしばしば妨げられる。 既存のトレーニング不要のデコード戦略には、重大な制限がある。 本稿では,テキスト生成と推論時の視覚的エビデンスを整合させる新しいトレーニングフリーデコードフレームワークであるDynamic Logits (DLC)を紹介する。
  論文  参考訳（メタデータ） (2025-06-26T17:35:40Z)
• Attention Reallocation: Towards Zero-cost and Controllable Hallucination Mitigation of MLLMs [62.9348974370985]
  約ゼロの余剰コストで幻覚を緩和するための注意再配置(AttnReal)を提案する。 我々のアプローチは,MLLMの注意分布が,歴史的出力トークンによって特徴が支配されるという重要な観測によって動機付けられている。 この観測に基づいて、AttnRealは出力トークンからの過剰な注意をリサイクルし、それを視覚トークンに再配置することで、MLLMの言語優先への依存を軽減します。
  論文  参考訳（メタデータ） (2025-03-11T11:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。