論文の概要: Mitigating Object Hallucination in Large Vision-Language Models via False Discovery Controlled Visual Data Splitting
- arxiv url: http://arxiv.org/abs/2609.38979v2
- Date: Thu, 01 Oct 2026 17:09:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.548629
- Title: Mitigating Object Hallucination in Large Vision-Language Models via False Discovery Controlled Visual Data Splitting
- Title(参考訳): False Discovery Controled Visual Data Splittingによる大規模視覚言語モデルにおける物体の幻覚の緩和
- Abstract要約: 大規模視覚言語モデル(LVLM)が視覚入力でサポートされていないオブジェクトを生成する複数の物体幻覚は、復号時に視覚の不確実性によって引き起こされる永続的な課題である。
既存の方法は、コントラスト信号を用いた幻覚を減らすが、画像レベルでの偽陽性の原理的な制御に依存している。
HALlucination (CORAL) のFalse Discovery Rate-COntRol (False Discovery Rate-COntRol of HALlucination) を提案する。
- 参考スコア(独自算出の注目度): 11.359548127361174
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multiple object hallucination, where large vision-language models (LVLMs) generate objects not supported by the visual input, is a persistent challenge caused by visual uncertainty during decoding. Existing methods reduce hallucinations using contrastive signals, but they rely on heuristics and lack principled control of false positives at the image level. To address this, we propose False Discovery Rate-COntRol of HALlucination (CORAL), a training-free framework that models visual uncertainty using an uncertainty-aware visual data splitting strategy and leverages mirror statistics to quantify visual contrast during decoding. By computing mirror statistics from paired, symmetrically perturbed visual inputs, CORAL estimates spurious object predictions and sets a data-driven threshold to control the expected fraction of false discoveries per image, suppressing hallucinations while retaining high power for truly grounded objects. The framework is flexible, supports multiple LVLMs, and mitigates hallucinations without retraining or supervision. Extensive experiments on multiple benchmarks with several evaluation metrics demonstrate that CORAL consistently outperforms state-of-the-art methods, providing more reliable and robust hallucination control. Code is available at: https://changliu1993-cl.github.io/CORAL/
- Abstract(参考訳): 大規模視覚言語モデル(LVLM)が視覚入力でサポートされていないオブジェクトを生成する複数の物体幻覚は、復号時に視覚の不確実性によって引き起こされる永続的な課題である。
既存の方法は、対照的な信号を用いた幻覚を減らすが、ヒューリスティックに頼り、画像レベルでの偽陽性の原則的な制御が欠如している。
この問題を解決するために,不確実性を考慮した視覚データ分割戦略を用いて視覚不確実性をモデル化し,ミラー統計を利用してデコード中の視覚コントラストの定量化を行う訓練自由フレームワークであるFalse Discovery Rate-COntRol of HALlucination (CORAL)を提案する。
ペアで対称に摂動された視覚入力のミラー統計を計算することで、コラルは、刺激的なオブジェクト予測を推定し、データ駆動のしきい値を設定して、1画像あたりの偽発見の予測割合を制御し、真の接地されたオブジェクトの高出力を維持しながら幻覚を抑制する。
このフレームワークは柔軟で、複数のLVLMをサポートし、再訓練や監督なしに幻覚を緩和する。
複数の評価指標を持つ複数のベンチマークに関する大規模な実験は、CoRALが常に最先端の手法を上回り、より信頼性が高く堅牢な幻覚制御を提供することを示した。
コードは、https://changliu 1993-cl.github.io/CORAL/で入手できる。
関連論文リスト
- What Do Hallucinations Reveal About Multimodal Reasoning? Diagnosing Visual Grounding Failures via Contrastive Decoding Probes [1.9916820095972823]
視覚と視覚に適応した生成経路を対比した,学習不要な復号化フレームワークSAFEを紹介する。
この信号は二重の役割を担い、視覚的にアングラウンドされたトークンを検出するための実用的なプロキシとして、また復号時罰の基礎として機能する。
対照的なプローブを設計することは、科学的理解のための道具としてモデルを使用することという、より広範なミッションを実証するものだ、と我々は主張する。
論文 参考訳(メタデータ) (2026-09-15T05:07:01Z) - VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing [70.82867621856968]
大きな視覚言語モデル(LVLM)は、しばしば物体幻覚(OH)に悩まされる
近年の研究では、幻覚の問題は言語の先行に起因している可能性が示唆されている。
本稿では視覚コントラスト編集(VCE)を提案する。
論文 参考訳(メタデータ) (2026-04-21T12:40:07Z) - Grounding or Guessing? Visual Signals for Detecting Hallucinations in Sign Language Translation [13.03365340564181]
幻覚は視覚言語モデルの重大な欠陥であり、手話翻訳において特に重要である。
本稿では,デコーダの視覚情報利用量を定量化するトークンレベルの信頼性尺度を提案する。
以上の結果から、信頼性は幻覚率を予測し、データセットやアーキテクチャをまたいで一般化し、視覚的劣化の下で低下することが示された。
論文 参考訳(メタデータ) (2025-10-21T09:13:46Z) - What Makes "Good" Distractors for Object Hallucination Evaluation in Large Vision-Language Models? [95.46087552542998]
本稿では,Halucination検索を用いたObject Probing Evaluationベンチマークを紹介する。
これは、大きな視覚ランゲージモデルで幻覚を誘発する最も誤解を招きやすいイントラクタを生成することを目的としている。
実験結果から, HOPEの精度は少なくとも9%低下し, 最先端のLVLMでは最大23%低下した。
論文 参考訳(メタデータ) (2025-08-03T03:11:48Z) - OViP: Online Vision-Language Preference Learning for VLM Hallucination [44.14029765850719]
大型視覚言語モデル(LVLM)は幻覚に弱いままであり、しばしば視覚入力と一致しないコンテンツを生成する。
本稿では,モデル自身の幻覚に基づいて,コントラスト学習データを動的に構築するオンラインビジョン言語嗜好学習フレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-21T19:26:09Z) - Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。
本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
論文 参考訳(メタデータ) (2025-04-17T17:59:22Z) - VaLiD: Mitigating the Hallucination of Large Vision Language Models by Visual Layer Fusion Contrastive Decoding [38.23310445372371]
LVLM(Large Vision-Language Models)はマルチモーダルタスク推論において顕著な機能を示す。
彼らはしばしば、幻覚として知られる視覚的内容が正確に反映されていないように思われる応答を生成する。
近年のアプローチでは、推論段階における復号化戦略を調整することで幻覚を緩和するための訓練不要な手法が導入されている。
textbfVisutextbfal textbfLayer Fustextbfion textbfD
論文 参考訳(メタデータ) (2024-11-24T13:42:02Z) - HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
機械生成データに固有の幻覚は未発見のままである。
本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。
LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
論文 参考訳(メタデータ) (2023-11-22T04:52:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。