論文の概要: Locate-then-Sparsify: Attribution Guided Sparse Strategy for Visual Hallucination Mitigation

• arxiv url: http://arxiv.org/abs/2603.16284v1
• Date: Tue, 17 Mar 2026 09:16:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.191781
• Title: Locate-then-Sparsify: Attribution Guided Sparse Strategy for Visual Hallucination Mitigation
• Title（参考訳）: Locate-then-Sparsify:Atribution Guided Sparse Strategy for Visual Hallucination Mitigation
• Authors: TianTian Dang, Chao Bi, Shufan Shen, Jinzhe Liu, Qingming Huang, Shuhui Wang,
• Abstract要約: 機能ステアリングのためのLate-Then-Sparsify(LTS-FS)と呼ばれるプラグアンドプレイフレームワークを提案する。 各層の幻覚関係に応じて操舵強度を制御する。 我々の枠組みは、強い性能を維持しながら幻覚を効果的に緩和する。
• 参考スコア（独自算出の注目度）: 68.41785694664011
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite the significant advancements in Large Vision-Language Models (LVLMs), their tendency to generate hallucinations undermines reliability and restricts broader practical deployment. Among the hallucination mitigation methods, feature steering emerges as a promising approach that reduces erroneous outputs in LVLMs without increasing inference costs. However, current methods apply uniform feature steering across all layers. This heuristic strategy ignores inter-layer differences, potentially disrupting layers unrelated to hallucinations and ultimately leading to performance degradation on general tasks. In this paper, we propose a plug-and-play framework called Locate-Then-Sparsify for Feature Steering (LTS-FS), which controls the steering intensity according to the hallucination relevance of each layer. We first construct a synthetic dataset comprising token-level and sentence-level hallucination cases. Based on this dataset, we introduce an attribution method based on causal interventions to quantify the hallucination relevance of each layer. With the attribution scores across layers, we propose a layerwise strategy that converts these scores into feature steering intensities for individual layers, enabling more precise adjustments specifically on hallucination-relevant layers. Extensive experiments across multiple LVLMs and benchmarks demonstrate that our LTS-FS framework effectively mitigates hallucination while preserving strong performance.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)の大幅な進歩にもかかわらず、幻覚を発生させる傾向は信頼性を損なうとともに、より広範な実用的展開を制限する。 幻覚緩和法の中では,LVLMの誤出力を推論コストを増大させることなく低減する,有望な手法として機能ステアリングが出現する。 しかし、現在の手法では全ての層に一様の機能ステアリングを適用している。 このヒューリスティック戦略は、層間の違いを無視し、幻覚とは無関係な層を破壊し、最終的には一般的なタスクのパフォーマンス低下につながる可能性がある。 本稿では,各レイヤの幻覚的関連性に応じて操舵強度を制御する Locate-Then-Sparsify for Feature Steering (LTS-FS) というプラグイン・アンド・プレイ・フレームワークを提案する。 まずトークンレベルと文レベルの幻覚を含む合成データセットを構築した。 本データセットに基づいて,各層の幻覚関係を定量化するための因果介入に基づく帰属手法を提案する。 本研究は,各層間の属性スコアを用いて,これらのスコアを個々の層に対する特徴的ステアリング強度に変換することによって,幻覚関連層に特異的なより正確な調整を可能にする階層的戦略を提案する。 複数のLVLMおよびベンチマークにわたる大規模な実験により、LTS-FSフレームワークは、強い性能を維持しながら幻覚を効果的に緩和することを示した。

関連論文リスト

• HIME: Mitigating Object Hallucinations in LVLMs via Hallucination Insensitivity Model Editing [6.021803204524807]
  LVLM(Large Vision-Language Models)は、マルチモーダル理解機能を示す。 LVLMはオブジェクト幻覚を起こす傾向があり、モデルでは存在しないオブジェクトや属性の誤った事実情報を記述している。 HIME(Halucination Insensitivity Model Editing)は,隠れた特徴を選択的に修正し,幻覚を抑制する階層適応的な重み編集手法である。
  論文  参考訳（メタデータ） (2026-02-21T04:16:17Z)
• SHALE: A Scalable Benchmark for Fine-grained Hallucination Evaluation in LVLMs [52.03164192840023]
  LVLM(Large Vision-Language Models)は、いまだ幻覚に悩まされている。 本稿では,スケーラブルで制御可能で多様な評価データを生成する自動データ構築パイプラインを提案する。 我々は,忠実度と事実性幻覚の両方を評価するためのベンチマークであるSHALEを構築した。
  論文  参考訳（メタデータ） (2025-08-13T07:58:01Z)
• Mitigating Hallucinations via Inter-Layer Consistency Aggregation in Large Vision-Language Models [3.9464481148889354]
  層集約(DCLA)による層間整合性を用いた復号化機構を提案する。 提案手法は,従来のレイヤから表現を集約することで動的セマンティック参照を構築し,階層間の一貫性を強制するために意味的に逸脱したレイヤを補正する。 MMEやPOPEのような幻覚ベンチマークの実験では、DCLAはLVLMの信頼性と性能を高めつつ、幻覚を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2025-05-18T10:15:42Z)
• The Mirage of Performance Gains: Why Contrastive Decoding Fails to Mitigate Object Hallucinations in MLLMs? [51.476751660784174]
  そこで我々は,一連の素早い改善手法を導入し,その性能を対照的な復号化技術に対して評価する。 実験結果から, 対照的な復号化における性能向上は, 幻覚の緩和という目的とは無関係であることが判明した。
  論文  参考訳（メタデータ） (2025-04-14T09:25:37Z)
• CHAIR -- Classifier of Hallucination as Improver [1.397828249435483]
  トークンの各層からの内部ロジットを分析し,幻覚を検出するための教師付きフレームワークであるCHAIR(Classifier of Hallucination As ImproveR)を紹介する。 本手法は,すべての層にまたがるトークンロジットから,最大,最小,平均,標準偏差,傾斜といった,コンパクトな特徴セットを抽出し,過剰に収まることなく効果的な幻覚検出を可能にする。
  論文  参考訳（メタデータ） (2025-01-05T12:15:02Z)
• Layer Importance and Hallucination Analysis in Large Language Models via Enhanced Activation Variance-Sparsity [5.854247492297834]
  本稿では,アクティベーション・ヴァリタンス・スパーシリティスコア(AVSS)を用いて,まず層の重要性を考察する。 AVSSを基盤として,レイヤ間の幻覚の適合性を評価するための改良版を提案する。 この改良されたアプローチは、Halucination-Specific Activation Variance(HSAV)とHalucination-Specific Sparsity(HSS)メトリクスを導入し、Halucination-prone層の正確な識別を可能にする。
  論文  参考訳（メタデータ） (2024-11-15T09:33:47Z)
• Alleviating Hallucinations in Large Vision-Language Models through Hallucination-Induced Optimization [123.54980913741828]
  大規模ビジュアル言語モデル(LVLM)は、マルチモーダルデータの理解において、例外的な能力を示した。 彼らは必然的に幻覚に悩まされ、生成されたテキストと対応するイメージを切断する。 現在の視覚的コントラスト復号法のほとんどは、視覚的不確実性情報を導入して幻覚を緩和しようとするものである。 しかし、彼らは幻覚トークンを正確に誘導するのに苦労し、幻覚を緩和する効果を著しく制限した。
  論文  参考訳（メタデータ） (2024-05-24T08:46:31Z)
• Dual Stage Stylization Modulation for Domain Generalized Semantic Segmentation [39.35385886870209]
  In the Adversarial Semantic Hallucination+ framework。 本手法は,各画素に対する意味情報を活用することにより,画素単位の幻覚強度を適応的に調整する。 提案手法の有効性を,公開されているセマンティックセグメンテーションベンチマークデータセットの総合的な実験により検証する。
  論文  参考訳（メタデータ） (2023-04-18T23:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。