論文の概要: Does Playing it Safe Count as Faithfulness? Reassessing LVLM Hallucination Mitigation Methods
- arxiv url: http://arxiv.org/abs/2609.01888v1
- Date: Tue, 01 Sep 2026 21:34:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:17.989359
- Title: Does Playing it Safe Count as Faithfulness? Reassessing LVLM Hallucination Mitigation Methods
- Title(参考訳): LVLMの幻覚緩和法の再評価
- Abstract要約: 大型視覚モデル (LVLM) に対する幻覚緩和法は幻覚ベンチマークにおいて強い利得を報告している。
より低い幻覚スコアがマルチモーダルグラウンドの改善を反映しているか、より保守的な生成を反映しているかは、まだ不明である。
3つのLVLMと4つのベンチマークにまたがる6つの緩和手法の評価を行った。
- 参考スコア(独自算出の注目度): 2.0136860356096817
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent inference-time hallucination mitigation methods for large vision-language models (LVLMs) report strong gains on hallucination benchmarks. However, it remains unclear whether lower hallucination scores reflect improved multimodal grounding or more conservative generation. We evaluate six mitigation methods across three LVLMs and four benchmarks, including hallucination-focused evaluation and the diverse capability benchmark MMStar. Our analysis reveals two consistent patterns. First, hallucination reduction is often coupled with reduced informativeness: methods that lower hallucination rates also reduce object recall, visual coverage, or response detailedness. Second, improvements on hallucination benchmarks do not reliably transfer to broader multimodal capabilities, with methods showing inconsistent or degraded performance on fine-grained perception and reasoning tasks. Our findings suggest that current evaluation protocols may overestimate progress by rewarding conservative generation. We argue that hallucination mitigation should be evaluated as a faithfulness--informativeness--capability trade-off rather than through hallucination scores alone.
- Abstract(参考訳): 大規模視覚言語モデル(LVLM)に対する近年の推測時間幻覚緩和法は,幻覚ベンチマークにおいて強い利得を報告している。
しかし, より低い幻覚スコアがマルチモーダルグラウンドリングの改善を反映しているか, より保守的な生成を反映しているかは, いまだ不明である。
3つのLVLMと4つのベンチマークにまたがる6つの緩和手法の評価を行った。
我々の分析では2つの一貫したパターンが明らかになった。
第一に、幻覚率を下げる手法は、オブジェクトのリコール、視覚的カバレッジ、反応の細部を減少させる。
第二に、幻覚ベンチマークの改善は、より広範なマルチモーダル能力に確実に移行しない。
以上の結果から,現在の評価プロトコルは,保守的な世代に報いることによって,進歩を過大評価する可能性があることが示唆された。
幻覚の緩和は、幻覚のスコアのみを通してではなく、忠実さ、即応性、能力のトレードオフとして評価されるべきである、と我々は主張する。
関連論文リスト
- When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs [54.411658510110215]
本研究では,異なる要因が幻覚を誘発する程度をよりよく理解するために,HauScopeを提案する。
HalluVL-DPOは、市販のLVLMをより視覚的な応答に向けて微調整するためのフレームワークである。
論文 参考訳(メタデータ) (2026-04-23T17:54:36Z) - Mitigating Multimodal Hallucination via Phase-wise Self-reward [37.441718699530526]
我々は、外部の監督なしに推論時に動的幻覚を緩和できる新しい自己回帰フレームワークを導入する。
textbfPSRD (textbfPhase-wise textbfSelf-textbfReward textbfDecoding) は、位相方向の自己回帰信号で導かれるオンライン幻覚補正用である。
論文 参考訳(メタデータ) (2026-04-20T09:04:49Z) - Rethinking Hallucinations: Correctness, Consistency, and Prompt Multiplicity [23.68691022958444]
大規模言語モデル(LLM)は、誤りや誤解を招くアウトプットを生成することで「幻滅する」ことが知られている。
LLM評価における一貫性の定量化のためのフレームワークであるProperced multiplicityを導入する。
幻覚の検出と緩和における一貫性の役割について検討する。
論文 参考訳(メタデータ) (2026-01-31T13:29:03Z) - SHALE: A Scalable Benchmark for Fine-grained Hallucination Evaluation in LVLMs [52.03164192840023]
LVLM(Large Vision-Language Models)は、いまだ幻覚に悩まされている。
本稿では,スケーラブルで制御可能で多様な評価データを生成する自動データ構築パイプラインを提案する。
我々は,忠実度と事実性幻覚の両方を評価するためのベンチマークであるSHALEを構築した。
論文 参考訳(メタデータ) (2025-08-13T07:58:01Z) - Mitigating Hallucinations in Vision-Language Models through Image-Guided Head Suppression [16.465703269782654]
大型視覚言語モデル (LVLM) はしばしば幻覚に悩まされ、視覚的文脈と一致しないテキストを生成する。
推論時間介入による幻覚の低減を目的とした既存の手法は、遅延を著しく増加させる。
本稿では,タスクに依存しない注意誘導型頭部抑制戦略であるSPINについて述べる。
論文 参考訳(メタデータ) (2025-05-22T09:00:57Z) - HalluLens: LLM Hallucination Benchmark [49.170128733508335]
大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。
本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
論文 参考訳(メタデータ) (2025-04-24T13:40:27Z) - Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。
本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
論文 参考訳(メタデータ) (2025-04-17T17:59:22Z) - Unified Triplet-Level Hallucination Evaluation for Large Vision-Language Models [22.996176483599868]
本研究では,LVLM(Large Vision-Language Models)における対象と関係幻覚を同時に測定するフレームワークを開発する。
本稿では,トリプルトレベルの幻覚評価ベンチマークTri-HEを紹介する。
論文 参考訳(メタデータ) (2024-10-30T15:25:06Z) - Reefknot: A Comprehensive Benchmark for Relation Hallucination Evaluation, Analysis and Mitigation in Multimodal Large Language Models [13.48296910438554]
我々は2万以上の実世界のサンプルからなる関係幻覚を対象とする総合的なベンチマークであるReefknotを紹介した。
関係幻覚を体系的に定義し、知覚的視点と認知的視点を統合するとともに、Visual Genomeのシーングラフデータセットを用いて関係ベースのコーパスを構築する。
本稿では,Reefknotを含む3つのデータセットに対して,幻覚率を平均9.75%削減する信頼性に基づく新たな緩和戦略を提案する。
論文 参考訳(メタデータ) (2024-08-18T10:07:02Z) - HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
機械生成データに固有の幻覚は未発見のままである。
本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。
LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
論文 参考訳(メタデータ) (2023-11-22T04:52:58Z) - Evaluation and Analysis of Hallucination in Large Vision-Language Models [49.19829480199372]
LVLM(Large Vision-Language Models)は近年大きな成功を収めている。
LVLMは今でも幻覚に悩まされている。
幻覚とは、視覚入力に存在しないLVLMの応答の情報を指す。
論文 参考訳(メタデータ) (2023-08-29T08:51:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。