論文の概要: Adversarial Orthogonal Disentanglement for LVLM Hallucination Mitigation

• arxiv url: http://arxiv.org/abs/2605.25377v1
• Date: Mon, 25 May 2026 03:05:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.263187
• Title: Adversarial Orthogonal Disentanglement for LVLM Hallucination Mitigation
• Title（参考訳）: LVLMの幻覚軽減のための逆直交性遠絡法
• Authors: Ruoxi Cheng, Haoxuan Ma, Zhengfei Hai, Yiyan Huang, Ranjie Duan, Tianle Zhang, Xu Yang, Ziyi Ye, Xingjun Ma,
• Abstract要約: LVLM(Large Vision-Language Models)は高度なマルチモーダル理解を持つが、その信頼性は幻覚によって制限される。 本稿では,幻覚を緩和するための幾何学的枠組みであるAOD(Adrial Orthogonal Disentanglement)を提案する。
• 参考スコア（独自算出の注目度）: 35.94927596542353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Vision-Language Models (LVLMs) have advanced multimodal understanding, yet their reliability is limited by hallucination, where generated content conflicts with visual facts. Existing mitigation methods either rely on costly external interventions, such as instruction tuning and retrieval, or use internal mechanisms that remain limited by flawed attention weights and entangled hidden representations. We propose Adversarial Orthogonal Disentanglement (AOD), a latent geometric framework for mitigating LVLM hallucinations. AOD learns a hallucination-related direction through a minimax objective: a classifier concentrates hallucination signals into the projected component, while an adversary removes them from the orthogonal residual space via a Gradient Reversal Layer. The learned direction enables a training-free dual-forward-pass contrastive decoding strategy that suppresses hallucinations while preserving general capabilities. Experiments on three LVLMs across four hallucination and four utility benchmarks show that AOD consistently outperforms strong baselines. It improves POPE accuracy by over 6\% on average, boosts AMBER by 6\%, and maintains strong performance on utility tasks such as MMMU. Further analysis shows robust transfer across datasets, suggesting that AOD captures general hallucination-related biases rather than dataset-specific artifacts. Our source code and datasets are available at https://github.com/Hunter-Wrynn/AOD.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は高度なマルチモーダル理解を持つが、その信頼性は幻覚によって制限される。 既存の緩和法は、命令のチューニングや検索のようなコストのかかる外部介入に依存するか、あるいは注意の不足や絡み合った隠された表現によって制限された内部メカニズムを使用するかのいずれかである。 本稿では,LVLM幻覚を緩和するための潜在幾何学的枠組みであるAdversarial Orthogonal Disentanglement (AOD)を提案する。 AODは最小限の目的によって幻覚関連方向を学習し、分類器は幻覚信号を投影された成分に集中させ、対向者はグラディエント・リバーサル・レイヤを介して直交残留空間からそれらを取り除く。 学習方向は、一般的な能力を保ちながら幻覚を抑制する訓練不要なデュアルフォワードパスコントラストデコーディング戦略を可能にする。 4つの幻覚と4つのユーティリティベンチマークによる3つのLVLMの実験は、AODが強いベースラインを一貫して上回っていることを示している。 POPE の精度は平均 6 % 以上向上し、AMBER を 6 % 向上させ、MMMU などのユーティリティタスクで高いパフォーマンスを維持する。 さらなる分析ではデータセット間のロバストな転送が示されており、AODはデータセット固有のアーティファクトではなく、一般的な幻覚関連バイアスをキャプチャすることを示している。 ソースコードとデータセットはhttps://github.com/Hunter-Wrynn/AOD.orgで公開されています。

関連論文リスト

• VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing [70.82867621856968]
  大きな視覚言語モデル(LVLM)は、しばしば物体幻覚(OH)に悩まされる 近年の研究では、幻覚の問題は言語の先行に起因している可能性が示唆されている。 本稿では視覚コントラスト編集(VCE)を提案する。
  論文  参考訳（メタデータ） (2026-04-21T12:40:07Z)
• Mitigating Multimodal Hallucination via Phase-wise Self-reward [37.441718699530526]
  我々は、外部の監督なしに推論時に動的幻覚を緩和できる新しい自己回帰フレームワークを導入する。 textbfPSRD (textbfPhase-wise textbfSelf-textbfReward textbfDecoding) は、位相方向の自己回帰信号で導かれるオンライン幻覚補正用である。
  論文  参考訳（メタデータ） (2026-04-20T09:04:49Z)
• Mitigating Entangled Steering in Large Vision-Language Models for Hallucination Reduction [49.96701537295129]
  LVLM(Large Vision-Language Models)は、モーダルなタスク間で大きな成功を収めてきたが、幻覚によって妨げられている。 既存の方法は幻覚を緩和するが、しばしば生成行動を変化させ、結果として出力が短くなり、トークンの分布がシフトする。 幻覚緩和のための制御および選択的な潜伏介入を行う効果的なプラグアンドプレイフレームワークであるMESAを提案する。
  論文  参考訳（メタデータ） (2026-04-09T07:31:27Z)
• Kestrel: Grounding Self-Refinement for LVLM Hallucination Mitigation [86.37623966653688]
  大規模視覚言語モデル(LVLM)はますます強まりつつあるが、マルチモーダルタスクにおいて幻覚を起こす傾向にある。 幻覚を避けるためにこれらのLVLMを訓練することは、より大きなモデルでは違法に高価になるため、トレーニングフリーな手法はこの問題に対して安価で柔軟な解決策を提供する。 我々は,視覚的視覚的接地剤とエビデンスを検証した自己修復機構を組み合わせた,LVLM幻覚軽減のためのトレーニングフリーフレームワークであるKestrelを提案する。
  論文  参考訳（メタデータ） (2026-03-17T15:30:47Z)
• Exposing Hallucinations To Suppress Them: VLMs Representation Editing With Generative Anchors [8.089908150148554]
  マルチモーダル大規模言語モデル (MLLM) は様々な視覚言語タスクにおいて顕著な成功を収めている。 MLLMは幻覚に非常に敏感であり、視覚的証拠とは相容れない内容を生み出す。 本研究では,幻覚の緩和のための訓練不要で自己指導的な方法を提案する。
  論文  参考訳（メタデータ） (2025-09-26T07:24:28Z)
• Mitigating Hallucinations in Large Vision-Language Models by Self-Injecting Hallucinations [73.37711261605271]
  幻覚緩和法は主に嗜好アライメントに基づいており、嗜好データ収集には外部の人間のアノテーションや補助モデルが必要である。 本稿では,外部依存を伴わない幻覚を緩和する新規で一般化可能な手法である自己注入による自律的選好アライメント(APASI)を提案する。 APASIはターゲットのLVLMを利用して、生成した応答に幻覚を自己注入し、好みのレベルが異なるペアの応答を生成する。
  論文  参考訳（メタデータ） (2025-09-14T14:26:53Z)
• Steering LVLMs via Sparse Autoencoder for Hallucination Mitigation [38.43656456659151]
  大規模視覚言語モデル (LVLM) はマルチモーダルタスクにおいて顕著な性能を達成した。 彼らはまだ幻覚に悩まされており、視覚的な入力と矛盾するテキストを生成し、現実世界のアプリケーションに重大なリスクを及ぼしている。 LVLM における幻覚を緩和するために,SAE 由来の潜伏方向に基づくプラグアンドプレイ方式である SAE Latent Directions (SSL) を用いたステアリング LVLM を提案する。
  論文  参考訳（メタデータ） (2025-05-22T02:45:45Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。