論文の概要: Hallucination Mitigation for Large Vision-Language Models via Implicit Feature Stabilization

• arxiv url: http://arxiv.org/abs/2608.29924v1
• Date: Sun, 30 Aug 2026 17:39:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.118851
• Title: Hallucination Mitigation for Large Vision-Language Models via Implicit Feature Stabilization
• Title（参考訳）: 突発的特徴安定化による大規模視覚言語モデルの幻覚軽減
• Abstract要約: LVLM(Large Vision-Language Models)は、画像にないオブジェクト、属性、シーンを柔軟に記述する。 この障害の一部は、その表現の計測可能な性質、特徴不安定と結びついており、ここでは、入力の温和なセマンティクス保存の摂動が、学習された埋め込みに大きな変化をもたらす。 既存の安定性をモチベーションとしたリメディエーションは、遅延ステアリングや制約付きデコーディングを通じて推論時に介入し、クエリ毎に支払いを行うという意味で明確である。 摂動不変性は、微調整中にモデル重みに組み込まれ、デプロイ時に余分に実行されるものはない。
• 参考スコア（独自算出の注目度）: 11.087363456274737
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Vision-Language Models (LVLMs) are prone to hallucinations: they fluently describe objects, attributes, and scenes that are not in the image. We connect part of this failure to a measurable property of their representations, feature instability, where mild semantics-preserving perturbations of the input cause large changes in the learned embeddings; hallucination rates rise together with this variability. Existing stability-motivated remedies are explicit, in the sense that they intervene at inference time through latent steering or constrained decoding, and pay for it on every query. We propose implicit stabilization instead: perturbation-invariance is built into the model weights during fine-tuning, and nothing extra runs at deployment. Our framework, INFUSE, first stabilizes visual and textual representations around perturbation-averaged and ground-truth anchors, then aligns the stabilized representations across modalities with bidirectional contrastive objectives. We prove that the anchor's root-mean-square deviation from the perturbation-mean representation shrinks at rate $1/\sqrt{K}$ in the number of views, and that under a Lipschitz decoder, this bounds how much any perturbation can change the model's hallucination behavior. On LLaVA-1.5, LLaVA-1.6, and Qwen3-VL-8B-Instruct, INFUSE reduces AMBER CHAIR by 46-63% relative to each base model, improves ObjHal, MMHal, HallusionBench, and POPE, and preserves VQA-v2 and TextVQA, all with no inference-time overhead.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、画像にないオブジェクト、属性、シーンを精通的に記述し、幻覚を起こす傾向がある。 この障害の一部は、その表現の可測性、特徴不安定性に結びついており、ここでは、入力の温和なセマンティクス保存による摂動が、学習した埋め込みに大きな変化を引き起こす。 既存の安定性をモチベーションとするリメディエーションは、遅延ステアリングや制約付きデコーディングを通じて推論時に介入し、クエリ毎に支払いを行うという意味で明確である。 摂動不変性は、微調整中にモデル重みに組み込まれ、デプロイ時に余分に実行されるものはない。 我々のフレームワーク INFUSE は、まず、摂動平均および接地トラスアンカーの周囲の視覚的およびテキスト的表現を安定化し、その安定化された表現を、両方向のコントラスト的目的に照らし合わせる。 摂動平均表現からのアンカーのルート平均二乗偏差が、ビュー数で1/\sqrt{K}$で減少し、リプシッツデコーダの下では、どんな摂動がモデルの幻覚的振る舞いを変えるかが境界であることを示す。 LLaVA-1.5、LLaVA-1.6、Qwen3-VL-8B-Instructでは、INFUSEはAMBER CHAIRを各ベースモデルに対して46～63%削減し、ObjHal、MMHal、HalusionBench、POPEを改善し、VQA-v2とTextVQAを保存している。

関連論文リスト

• Beyond Language Priors: Diagnosing and Fixing Visual-Origin Hallucinations in Multimodal LLM [37.0916688511164]
  視覚的特徴抽出と画像とテキストの埋め込みの誤調整から幻覚が生じる視覚的オリジン幻覚の証拠を提示する。 本稿では、この問題を修正するために、ACFT(Adversarial Contrastive Fine-Tuning)を提案する。 ACFTは、LLaVA、MiniGPT-4、Qwen2.5-VLにまたがるPOPE、MME、および4つの記述レベル幻覚ベンチマークの最先端性能を達成する。
  論文  参考訳（メタデータ） (2026-08-31T18:38:24Z)
• Wiener Representation Filtering for VLM Hallucination Suppression [45.33665443468439]
  本稿では,言語バックボーンの表現空間で動作する,訓練のないポストホック表現編集手法を提案する。 隠れ状態を真と幻覚のフィルター成分の重ね合わせとしてモデル化することにより、ウィナー型推定器を導出する。 LLaVA1.53、MiniGPT-4、Gemma POPE、mOwl2の実験では、物体の幻覚が一貫した減少を示した。
  論文  参考訳（メタデータ） (2026-08-08T14:51:17Z)
• MM-Snowball: Evaluating and Mitigating Hallucination Snowballing in Multimodal Multi-Turn Dialogue [98.58433916474472]
  MM-Snowballは,対話内における幻覚雪球の診断のための最初のベンチマークである。 本稿では,この劣化に対処するために,コンフリクト・アウェア・ビジュアル・リクティフィケーション(CAVR)を提案する。
  論文  参考訳（メタデータ） (2026-05-30T08:53:34Z)
• Mitigating Object Hallucinations in Vision-Language Models through Region-Aware Attention Recalibration [7.647944993041615]
  本研究では,急激な乱れに頼らずに,動的に意味的ドリフトを補正する学習自由推論手法を提案する。 様々な注意点にまたがる不規則な統計的中間点を計算することにより、信頼性の高い視覚表現のための安定なアンカーを確立する。 この再校正プロセスは、生成頻度と言語前兆を完全に保ちながら、視覚的意味的ミスアライメントを効果的に補正する。
  論文  参考訳（メタデータ） (2026-05-24T09:14:49Z)
• Global Context or Local Detail? Adaptive Visual Grounding for Hallucination Mitigation [31.028607494171336]
  VLM(Vision-Language Models)は、物体の幻覚によってしばしば弱められる。 トレーニング不要な推論フレームワークであるPND(Positive-and-Negative Decoding)を紹介する。 PNDは、視覚的忠実性を強制するために、デコードプロセスに直接介入する。
  論文  参考訳（メタデータ） (2026-04-27T12:23:00Z)
• VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing [70.82867621856968]
  大きな視覚言語モデル(LVLM)は、しばしば物体幻覚(OH)に悩まされる 近年の研究では、幻覚の問題は言語の先行に起因している可能性が示唆されている。 本稿では視覚コントラスト編集(VCE)を提案する。
  論文  参考訳（メタデータ） (2026-04-21T12:40:07Z)
• Learning Uncertainty from Sequential Internal Dispersion in Large Language Models [52.29267172760918]
  不確実性推定は、大規模言語モデルにおける幻覚を検出するための有望なアプローチである。 最近の手法は一般に不確実性を推定するために内部状態のモデルに依存する。 本稿では,教師付き幻覚検出フレームワークであるシークエンシャル内部変数表現(SIVR)を提案する。
  論文  参考訳（メタデータ） (2026-04-17T06:31:29Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
  本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。 具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。 本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
  論文  参考訳（メタデータ） (2026-01-23T11:31:07Z)
• Questioning the Stability of Visual Question Answering [11.848401203578456]
  ビジュアル言語モデル(VLM)は目覚ましい進歩を遂げているが、その信頼性は小さく、意味を保った入力変更ではよく理解されていない。 視覚的・テキスト的摂動に配慮したVLMロバスト性の最初の大規模・系統的研究について述べる。 最新のシステム(例えば、GPT-4o、Gemini 2.0 Flash)は、少数のピクセルや無害なリフレージングでしばしば失敗することを示す。
  論文  参考訳（メタデータ） (2025-11-14T12:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。