論文の概要: HIME: Mitigating Object Hallucinations in LVLMs via Hallucination Insensitivity Model Editing
- arxiv url: http://arxiv.org/abs/2602.18711v1
- Date: Sat, 21 Feb 2026 04:16:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-24 17:42:02.255872
- Title: HIME: Mitigating Object Hallucinations in LVLMs via Hallucination Insensitivity Model Editing
- Title（参考訳）: HIME:幻覚不感モデル編集によるLVLMにおける物体の幻覚の緩和
- Authors: Ahmed Akl, Abdelwahed Khamis, Ali Cheraghian, Zhe Wang, Sara Khalifa, Kewen Wang,
- Abstract要約: LVLM(Large Vision-Language Models)は、マルチモーダル理解機能を示す。
LVLMはオブジェクト幻覚を起こす傾向があり、モデルでは存在しないオブジェクトや属性の誤った事実情報を記述している。
HIME(Halucination Insensitivity Model Editing)は,隠れた特徴を選択的に修正し,幻覚を抑制する階層適応的な重み編集手法である。
- 参考スコア（独自算出の注目度）: 6.021803204524807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Vision-Language Models (LVLMs) have demonstrated impressive multimodal understanding capabilities, yet they remain prone to object hallucination, where models describe non-existent objects or attribute incorrect factual information, raising serious concerns for reliable real-world deployment. While fine-tuning is a commonly adopted mitigation strategy, its high computational cost and practical difficulty motivate the need for training-free alternatives, among which model editing has recently emerged as a promising direction. However, indiscriminate editing risks disrupting the rich implicit knowledge encoded in pre-trained LVLMs, leading to a fundamental question: how much intervention is necessary at each layer to suppress hallucinations while preserving pre-trained knowledge? To address this question, we present a systematic analysis of LVLM decoders built on three widely used large language model backbones-Qwen, LLaMA, and Vicuna-revealing clear layer-wise differences in susceptibility to object hallucination. Building on these insights, we introduce the Hallucination Insensitivity Score (HIS), a principled metric that quantifies each layer's sensitivity to hallucination and provides guidance for targeted intervention. Leveraging HIS, we propose Hallucination Insensitivity Model Editing (HIME), a simple yet effective layer-adaptive weight editing approach that selectively modifies latent features to suppress hallucinations while preserving pre-trained knowledge. Extensive experiments demonstrate that HIME reduces hallucinations by an average of 61.8% across open-ended generation benchmarks, including CHAIR, MME, and GPT-4V-aided evaluation, without introducing additional parameters, inference-time latency, or computational overhead.
- Abstract（参考訳）: LVLM(Large Vision-Language Models)は、印象的なマルチモーダル理解能力を示しているが、オブジェクト幻覚の傾向にある。
微調整は一般的に採用されている緩和戦略であるが、その高い計算コストと実用上の難しさは、トレーニング不要な代替手段の必要性を動機付けている。
しかし、未分化な編集リスクは、事前学習されたLVLMに符号化された豊富な暗黙の知識を妨害し、基礎的な疑問へと繋がる: 事前学習された知識を維持しながら幻覚を抑制するために各層にどの程度の介入が必要か?
そこで本研究では,広範に使用されている3つの大規模言語モデルバックボーン(Qwen,LLaMA,Vicuna)上に構築されたLVLMデコーダの系統的解析を行った。
これらの知見に基づいて,各層の幻覚に対する感受性を定量化し,目標とした介入のガイダンスを提供する原理的尺度である幻覚性感性スコア(HIS)を導入する。
HISを応用したHalucination Insensitivity Model Editing (HIME) は,学習前の知識を保ちながら幻覚を抑えるために潜在特徴を選択的に修正する,シンプルで効果的な層適応的な重み編集手法である。
大規模な実験により、HIMEはCHAIR、MME、GPT-4Vによる評価を含むオープンエンド世代ベンチマークの平均61.8%の幻覚を、追加のパラメータや推論時間遅延、計算オーバーヘッドを導入することなく減少させることが示された。
関連論文リスト
- Mitigating Hallucinations in Large Vision-Language Models by Self-Injecting Hallucinations [73.37711261605271]
幻覚緩和法は主に嗜好アライメントに基づいており、嗜好データ収集には外部の人間のアノテーションや補助モデルが必要である。
本稿では,外部依存を伴わない幻覚を緩和する新規で一般化可能な手法である自己注入による自律的選好アライメント(APASI)を提案する。
APASIはターゲットのLVLMを利用して、生成した応答に幻覚を自己注入し、好みのレベルが異なるペアの応答を生成する。
論文 参考訳（メタデータ） (2025-09-14T14:26:53Z) - SHALE: A Scalable Benchmark for Fine-grained Hallucination Evaluation in LVLMs [52.03164192840023]
LVLM(Large Vision-Language Models)は、いまだ幻覚に悩まされている。
本稿では,スケーラブルで制御可能で多様な評価データを生成する自動データ構築パイプラインを提案する。
我々は,忠実度と事実性幻覚の両方を評価するためのベンチマークであるSHALEを構築した。
論文 参考訳（メタデータ） (2025-08-13T07:58:01Z) - Mitigating Hallucination in VideoLLMs via Temporal-Aware Activation Engineering [83.63437999696954]
大規模言語モデル(MLLM)における幻覚は、ビデオ領域において重要かつ未適応な課題として持続する。
本稿では,幻覚に敏感なモジュールを適応的に識別し,操作するビデオLLMのための時間認識型アクティベーションエンジニアリングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-19T08:12:06Z) - Mitigating Hallucinations via Inter-Layer Consistency Aggregation in Large Vision-Language Models [3.9464481148889354]
層集約(DCLA)による層間整合性を用いた復号化機構を提案する。
提案手法は,従来のレイヤから表現を集約することで動的セマンティック参照を構築し,階層間の一貫性を強制するために意味的に逸脱したレイヤを補正する。
MMEやPOPEのような幻覚ベンチマークの実験では、DCLAはLVLMの信頼性と性能を高めつつ、幻覚を効果的に低減することを示した。
論文 参考訳（メタデータ） (2025-05-18T10:15:42Z) - HalluLens: LLM Hallucination Benchmark [49.170128733508335]
大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。
本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
論文 参考訳（メタデータ） (2025-04-24T13:40:27Z) - Efficient Contrastive Decoding with Probabilistic Hallucination Detection - Mitigating Hallucinations in Large Vision Language Models - [1.2499537119440245]
効率的なコントラストデコーディング(ECD)は、確率的幻覚検出を利用して、推定時に出力分布を文脈的に正確な解へとシフトする単純な方法である。
実験の結果,LCDは幻覚を効果的に軽減し,LVLMベンチマークの性能や計算時間に対して最先端の手法より優れることがわかった。
論文 参考訳（メタデータ） (2025-04-16T14:50:25Z) - Mitigating Hallucinations in Large Vision-Language Models with Internal Fact-based Contrastive Decoding [5.424048651554831]
内部Fact-based Contrastive Decoding (IFCD)は、大規模視覚言語モデル(LVLM)の推論過程における幻覚の緩和と抑制を目的としている。
IFCDはLVLMの出力を校正し、最終予測から幻覚ロジットを効果的に除去する。
実験の結果, IFCD はPOPE では平均9% の精度向上, MME では8% の精度向上を実現し, オブジェクトレベルの幻覚と属性レベルの幻覚の両方を著しく軽減することがわかった。
論文 参考訳（メタデータ） (2025-02-03T05:08:35Z) - Iter-AHMCL: Alleviate Hallucination for Large Language Model via Iterative Model-level Contrastive Learning [16.883679810267342]
幻覚に対処するための反復モデルレベルのコントラスト学習(Iter-AHMCL)
本稿では,幻覚に対処するイテレーティブモデルレベルのコントラスト学習(Iter-AHMCL)を提案する。
論文 参考訳（メタデータ） (2024-10-16T00:15:40Z) - Alleviating Hallucinations in Large Vision-Language Models through Hallucination-Induced Optimization [123.54980913741828]
大規模ビジュアル言語モデル(LVLM)は、マルチモーダルデータの理解において、例外的な能力を示した。
彼らは必然的に幻覚に悩まされ、生成されたテキストと対応するイメージを切断する。
現在の視覚的コントラスト復号法のほとんどは、視覚的不確実性情報を導入して幻覚を緩和しようとするものである。
しかし、彼らは幻覚トークンを正確に誘導するのに苦労し、幻覚を緩和する効果を著しく制限した。
論文 参考訳（メタデータ） (2024-05-24T08:46:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。