論文の概要: From Token Correction to Claim Admission: Training-Free Hallucination Mitigation for Large Vision-Language Models
- arxiv url: http://arxiv.org/abs/2610.17706v1
- Date: Tue, 13 Oct 2026 04:35:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.506928
- Title: From Token Correction to Claim Admission: Training-Free Hallucination Mitigation for Large Vision-Language Models
- Title(参考訳): トークン訂正からクレーム容認へ:大規模視覚言語モデルのための訓練不要幻覚緩和
- Abstract要約: 画像に依存した十分なサポートを受けた場合にのみセマンティッククレームを付与する学習自由フレームワークを提案する。
EGVCAは、観察された画像と視覚的ヌル入力のクレーム可能性を比較することで、このサポートを測定する。
3つのLVLMバックボーンを用いたCHAIR, POPE, MME実験により, EGVCAは字幕品質を維持しつつ, 物体の幻覚を著しく減少させることが示された。
- 参考スコア(独自算出の注目度): 6.907531603057357
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large vision-language models often exhibit object hallucination, generating claims that are not supported by the input image. To mitigate this issue, we propose Evidence-Guided Visual Claim Admission (EGVCA), a training-free framework that admits a semantic claim only when it receives sufficient image-dependent support. EGVCA measures this support by comparing the claim likelihood under the observed image and a visual-null input. For captioning, it controls semantic expansion without altering token generation. For binary visual question answering, it combines atomic visual support with the image-induced change in the model's native Yes--No margin. Experiments on CHAIR, POPE, and MME across three LVLM backbones show that EGVCA substantially reduces object hallucination while preserving caption quality. It achieves the highest POPE F1 in eight of nine backbone--sampling settings and improves the native MME total score on all three backbones. These results demonstrate the effectiveness of claim-level admission as a simple alternative to token-level distribution correction.
- Abstract(参考訳): 大きな視覚言語モデルは、しばしばオブジェクト幻覚を示し、入力画像によってサポートされないクレームを生成する。
この問題を緩和するために,画像に依存した十分なサポートを受けた場合にのみセマンティッククレームを付与するトレーニングフリーフレームワークであるEGVCA(Evidence-Guided Visual Claim Admission)を提案する。
EGVCAは、観察された画像と視覚的ヌル入力のクレーム可能性を比較することで、このサポートを測定する。
キャプションでは、トークン生成を変更することなくセマンティック展開を制御する。
バイナリビジュアル質問応答では、原子視覚サポートとモデル固有のYes-Noマージンの変化を組み合わせ、CHAIR、POPE、MEを3つのLVLMバックボーンで実験した結果、EGVCAはキャプションの品質を維持しながらオブジェクトの幻覚を著しく減少させ、9つのバックボーンのうち8つで最も高いPOPE F1を達成し、3つのバックボーンのネイティブMMEスコアを改善している。
これらの結果は,トークンレベルの分布補正の簡単な代替手段としてのクレームレベルの許容の有効性を示す。
関連論文リスト
- ReWEIGH the Evidence: Calibrating Token-Level Ordinal Visual Evidence to Mitigate Hallucinations in Large Vision-Language Models [12.51949138515119]
大規模な視覚言語モデル(LVLM)は、しばしば幻覚を起こし、入力画像がサポートしていないコンテンツを生成する。
ReWEIGHは、視覚的位置のランクを集約し、各候補をトークン固有の参照と比較する、トレーニング不要なデコード介入である。
4つの7Bバックボーンでは、ReWEIGHは幻覚オブジェクトの言及を最大21.3%減らし、記述的および一般的なパフォーマンスを保留または改善している。
論文 参考訳(メタデータ) (2026-08-19T16:23:56Z) - One Token, Two Fates: A Unified Framework via Vision Token Manipulation Against MLLMs Hallucination [46.864482139261675]
現在のトレーニングフリー手法は、MLLM幻覚に異なる戦略で取り組む。
本稿では,コアアセットであるビジョントークンに着目した統一フレームワークを提案する。
これら2つの役割を調和させることで、我々のフレームワークは視覚言語バランスを効果的に回復する。
論文 参考訳(メタデータ) (2026-03-11T03:19:46Z) - See Less, See Right: Bi-directional Perceptual Shaping For Multimodal Reasoning [58.7125460363147]
本稿では,質問条件付きマスキングビューを双方向の視線信号に変換する双方向知覚整形(BiPS)を提案する。
BiPSはQwen2.5-VL-7Bを平均8.2%向上させ、目に見えないデータセットやイメージタイプに対して、ドメイン外の強力な一般化を示す。
論文 参考訳(メタデータ) (2025-12-26T18:59:47Z) - Grounding Language with Vision: A Conditional Mutual Information Calibrated Decoding Strategy for Reducing Hallucinations in LVLMs [51.93737995405164]
LVLM(Large Vision-Language Models)は幻覚の影響を受けやすいモデルである。
本稿では,条件付きポイントワイド・ミューチュアル・インフォメーション(C-PMI)キャリブレーション・デコーディング・ストラテジーを導入する。
提案手法は,復号効率を保ちながら,LVLMの幻覚を著しく低減することを示す。
論文 参考訳(メタデータ) (2025-05-26T08:36:10Z) - PerturboLLaVA: Reducing Multimodal Hallucinations with Perturbative Visual Training [56.172959986096316]
本稿では,マルチモーダル大規模言語モデル(MLLM)における幻覚の課題を解決することを目的とする。
HalFscoreは言語グラフ上に構築された新しい計量であり、密度の高いキャプションの精度と完全性の両方を粒度レベルで評価するように設計されている。
PerturboLLaVAは、生成されたキャプションの忠実度を著しく改善し、マルチモーダル幻覚に対する既存のアプローチよりも優れている。
論文 参考訳(メタデータ) (2025-03-09T07:07:03Z) - Self-Correcting Decoding with Generative Feedback for Mitigating Hallucinations in Large Vision-Language Models [65.4610281589017]
LVLM(Large Vision-Language Models)は、与えられた視覚入力と一致しない幻覚的テキスト応答を生成する傾向がある。
テキストから画像への生成モデルからのフィードバックをデコードプロセスに組み込んだ,新たなトレーニングフリーアルゴリズムである生成フィードバック付き自己修正デコード(DeGF)を導入する。
論文 参考訳(メタデータ) (2025-02-10T03:43:55Z) - Mitigating Hallucinations in Large Vision-Language Models via Summary-Guided Decoding [14.701135083174918]
LVLM(Large Vision-Language Models)は、視覚入力から詳細でコヒーレントな応答を生成する。
言語に対する依存度が高すぎるため、幻覚を起こす傾向にある。
そこで我々は,SumGD (Slide-Guided Decoding) という新しい手法を提案する。
論文 参考訳(メタデータ) (2024-10-17T08:24:27Z) - Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。
近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。
本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
論文 参考訳(メタデータ) (2022-05-26T03:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。