論文の概要: From Suppression to Repair: Mitigating Object Hallucination in Large Vision-Language Models via Localized Distribution Alignment

• arxiv url: http://arxiv.org/abs/2610.11826v1
• Date: Thu, 08 Oct 2026 12:25:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.021029
• Title: From Suppression to Repair: Mitigating Object Hallucination in Large Vision-Language Models via Localized Distribution Alignment
• Title（参考訳）: 抑圧から修復へ:局所分布アライメントによる大規模視覚言語モデルにおける物体の幻覚の緩和
• Abstract要約: ResOTは、ローカライズされた分散アライメントを通じて、推論時に表現を修復する、トレーニング不要のメソッドである。 3つの代表的なLVLM実験により、ResOTは画像キャプションの品質とマルチモーダル性能を改善しつつ、物体の幻覚を著しく低減することが示された。
• 参考スコア（独自算出の注目度）: 74.3311031266405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Object hallucination remains a major obstacle for large vision-language models (LVLMs) to generate reliable content. An intuitive mitigation strategy is to suppress hallucination-related components in hidden representations. However, these components may also contain useful information, and suppressing them can weaken the model's multimodal capabilities. In this paper, we propose ResOT, a training-free method that repairs representations at inference time through localized distribution alignment. Specifically, ResOT projects dominant hallucinated directions away from the faithful subspace, forming a low-dimensional residual subspace for intervention. Within this subspace, ResOT uses Gaussian optimal transport (OT) to align the hallucinated distribution with the faithful one. The resulting map defines repair targets with minimal changes to the original representations. At inference, ResOT adaptively controls how far each token state moves toward its OT target. Experiments on three representative LVLMs show that ResOT substantially reduces object hallucination while improving image caption quality and multimodal performance across multiple benchmarks. Code will be released.
• Abstract（参考訳）: オブジェクト幻覚は、信頼性のあるコンテンツを生成するために大きな視覚言語モデル(LVLM)にとって依然として大きな障害である。 直感的な緩和戦略は,隠蔽表現における幻覚関連成分の抑制である。 しかし、これらのコンポーネントには有用な情報が含まれており、それらを抑制することはモデルのマルチモーダル能力を弱める可能性がある。 本稿では,ResOTを提案する。ResOTは,局所分布アライメントによる推論時の表現の修復を行う。 具体的には、ResOTは忠実な部分空間から離れ、干渉のための低次元の残留部分空間を形成する。 この部分空間内では、ResOTはガウス最適輸送(OT)を用いて、幻覚分布と忠実な分布を整列する。 結果として得られたマップは、元の表現に最小限の変更を加えて、修復ターゲットを定義する。 推論では、ResOTは各トークン状態がOTターゲットに向かってどこまで移動するかを適応的に制御する。 3つの代表的なLVLM実験により、ResOTは複数のベンチマークで画像キャプションの品質とマルチモーダル性能を改善しながら、オブジェクトの幻覚を大幅に低減することが示された。 コードはリリースされる。

関連論文リスト

• Adversarial Orthogonal Disentanglement for LVLM Hallucination Mitigation [35.94927596542353]
  LVLM(Large Vision-Language Models)は高度なマルチモーダル理解を持つが、その信頼性は幻覚によって制限される。 本稿では,幻覚を緩和するための幾何学的枠組みであるAOD(Adrial Orthogonal Disentanglement)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T03:05:04Z)
• VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing [70.82867621856968]
  大きな視覚言語モデル(LVLM)は、しばしば物体幻覚(OH)に悩まされる 近年の研究では、幻覚の問題は言語の先行に起因している可能性が示唆されている。 本稿では視覚コントラスト編集(VCE)を提案する。
  論文  参考訳（メタデータ） (2026-04-21T12:40:07Z)
• Mitigating Entangled Steering in Large Vision-Language Models for Hallucination Reduction [49.96701537295129]
  LVLM(Large Vision-Language Models)は、モーダルなタスク間で大きな成功を収めてきたが、幻覚によって妨げられている。 既存の方法は幻覚を緩和するが、しばしば生成行動を変化させ、結果として出力が短くなり、トークンの分布がシフトする。 幻覚緩和のための制御および選択的な潜伏介入を行う効果的なプラグアンドプレイフレームワークであるMESAを提案する。
  論文  参考訳（メタデータ） (2026-04-09T07:31:27Z)
• Look Carefully: Adaptive Visual Reinforcements in Multimodal Large Language Models for Hallucination Mitigation [51.743225614196774]
  マルチモーダル大言語モデル (MLLM) は視覚言語推論において顕著な進歩を遂げている。 彼らは幻覚に弱いままであり、そこで生成されたコンテンツは視覚的証拠から逸脱する。 近年の視覚強調法では、復号時に視覚トークンを補強することでこの問題に対処しようとしている。 本稿では,MLLMのトレーニングフリーフレームワークであるAdaptive Visual Reinforcement (AIR)を提案する。
  論文  参考訳（メタデータ） (2026-02-27T14:18:51Z)
• HulluEdit: Single-Pass Evidence-Consistent Subspace Editing for Mitigating Hallucinations in Large Vision-Language Models [39.753109625930506]
  HulluEditはシングルパスで参照不要な介入フレームワークである。 モデルの隠された状態をサブスペースに分解する。 これにより視覚的接地を介さずに幻覚パターンを選択的に抑制することができる。
  論文  参考訳（メタデータ） (2026-02-26T08:08:25Z)
• Revis: Sparse Latent Steering to Mitigate Object Hallucination in Large Vision-Language Models [18.624825577944854]
  REVISは、抑圧された視覚情報を明示的に再活性化するために設計されたトレーニング不要のフレームワークである。 その結果,REVISは最先端のベースラインに比べて物体幻覚率を約19%削減できることがわかった。
  論文  参考訳（メタデータ） (2026-02-12T11:07:44Z)
• Seeing It or Not? Interpretable Vision-aware Latent Steering to Mitigate Object Hallucinations [11.474045796965056]
  LVLM(Large Vision-Language Models)は目覚ましい成功を収めているが、物体幻覚(OH)との闘いは続いている。 本稿では,LVLMにおけるOHに対処する解釈的緩和戦略を採用した視覚対応遅延ステアリングフレームワークであるVaseを提案する。
  論文  参考訳（メタデータ） (2025-05-23T12:29:00Z)
• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)
• Mitigating Object Hallucination via Concentric Causal Attention [71.27325347912823]
  物体の幻覚は回転位置と密接に結びついていることを示す。 RoPEは、広く採用されている位置依存モデリング設計である。 簡易かつ効果的な位置アライメント戦略であるConcentric Causal Attention (CCA)を提案する。
  論文  参考訳（メタデータ） (2024-10-21T11:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。