Fugu-MT 論文翻訳(概要): HALP: Detecting Hallucinations in Vision-Language Models without Generating a Single Token

論文の概要: HALP: Detecting Hallucinations in Vision-Language Models without Generating a Single Token

arxiv url: http://arxiv.org/abs/2603.05465v1
Date: Thu, 05 Mar 2026 18:36:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-06 22:06:11.372388
Title: HALP: Detecting Hallucinations in Vision-Language Models without Generating a Single Token
Title（参考訳）: HALP:単一トークンを生成せずに視覚言語モデルにおける幻覚を検出する
Authors: Sai Akhil Kogilathota, Sripadha Vallabha E G, Luzhe Sun, Jiawei Zhou,
Abstract要約: 幻覚は視覚言語モデル(VLM)にとって永続的な課題である。モデルの内部表現を1つの前方通過で探索することにより,トークンが発生する前に幻覚リスクを予測できるかどうかを検討する。
参考スコア（独自算出の注目度）: 4.2940165358265086
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Hallucinations remain a persistent challenge for vision-language models (VLMs), which often describe nonexistent objects or fabricate facts. Existing detection methods typically operate after text generation, making intervention both costly and untimely. We investigate whether hallucination risk can instead be predicted before any token is generated by probing a model's internal representations in a single forward pass. Across a diverse set of vision-language tasks and eight modern VLMs, including Llama-3.2-Vision, Gemma-3, Phi-4-VL, and Qwen2.5-VL, we examine three families of internal representations: (i) visual-only features without multimodal fusion, (ii) vision-token representations within the text decoder, and (iii) query-token representations that integrate visual and textual information before generation. Probes trained on these representations achieve strong hallucination-detection performance without decoding, reaching up to 0.93 AUROC on Gemma-3-12B, Phi-4-VL 5.6B, and Molmo 7B. Late query-token states are the most predictive for most models, while visual or mid-layer features dominate in a few architectures (e.g., ~0.79 AUROC for Qwen2.5-VL-7B using visual-only features). These results demonstrate that (1) hallucination risk is detectable pre-generation, (2) the most informative layer and modality vary across architectures, and (3) lightweight probes have the potential to enable early abstention, selective routing, and adaptive decoding to improve both safety and efficiency.
Abstract（参考訳）: 幻覚は視覚言語モデル(VLM)にとって永続的な課題であり、しばしば存在しない物体や事実を記述している。既存の検出方法は通常、テキスト生成後に動作し、コストと不時の両方に介入する。モデルの内部表現を1つの前方通過で探索することにより、トークンが発生する前に幻覚リスクを予測できるかどうかを検討する。 Llama-3.2-Vision、Gemma-3、Phi-4-VL、Qwen2.5-VLを含む、多様な視覚言語タスクと8つの近代的なVLMにおいて、内部表現の3つのファミリーについて検討する。 (i)マルチモーダル融合のない視覚のみの機能。 (ii)テキストデコーダ内の視覚障害者表現、及び (iii)生成前に視覚情報とテキスト情報を統合したクエリトークン表現。これらの表現で訓練されたプローブは、復号することなく強い幻覚検出性能を達成し、Gemma-3-12B、Phi-4-VL 5.6B、Momo 7Bで最大0.93 AUROCに達する。後期のクエリトーケン状態は、ほとんどのモデルで最も予測的であり、視覚的または中層的な機能は、いくつかのアーキテクチャ(例えば、Qwen2.5-VL-7Bで視覚のみの機能を使用する ~0.79 AUROC)で支配的である。これらの結果から,(1)幻覚リスクは検出可能な事前世代であり,(2)最も情報に富む層とモダリティはアーキテクチャによって異なり,(3)軽量プローブは早期の棄却,選択的ルーティング,適応復号化を可能とし,安全性と効率を両立させる可能性が示唆された。

関連論文リスト

A Multimodal, Multitask System for Generating E Commerce Text Listings from Images [0.0]
本稿では,1つの画像から現実的なテキストリストを生成するエンド・ツー・エンドマルチタスクシステムを提案する。階層的な生成プロセスは非常に効果的であることが証明され、事実の幻覚率を12.7%から7.1%に下げる。 1つの小さな欠点は、ROUGE-Lスコアで直接視覚から言語へのモデルよりも3.5%悪い性能を発揮することである。
論文参考訳（メタデータ） (2025-10-22T11:50:49Z)
VLMs have Tunnel Vision: Evaluating Nonlocal Visual Reasoning in Leading VLMs [18.349695067647012]
ビジュアル言語モデルは、VQAやチャート理解といった複雑なビジュアルタスクに優れていますが、最近の研究は、単純なテストで苦労していることを示唆しています。非局所的な視覚的推論のための視覚言語モデルの能力を評価する。その結果,生の視力の上昇にもかかわらず,現在のモデルでは中心的な視覚的推論能力が欠如していることが判明した。
論文参考訳（メタデータ） (2025-07-04T23:15:52Z)
HalLoc: Token-level Localization of Hallucinations for Vision Language Models [36.12465376767014]
幻覚は、大きな視覚言語モデルの信頼性に重大な課題をもたらす。 HalLocは、効率的で確率的な幻覚検出のために設計されたデータセットである。
論文参考訳（メタデータ） (2025-06-12T01:50:35Z)
VScan: Rethinking Visual Token Reduction for Efficient Large Vision-Language Models [57.2662376527586]
VScanは2段階のビジュアルトークン削減フレームワークである。 1)グローバルスキャンとローカルスキャンを視覚的エンコーディング中にマージすることで,(2)言語モデルの中間層にプルーニングを導入する。 VScanはプリフィルの2.91$times$スピードアップとFLOPの10$times$ダウンを実現し、オリジナルのパフォーマンスの95.4%を維持した。
論文参考訳（メタデータ） (2025-05-28T17:59:08Z)
MTRE: Multi-Token Reliability Estimation for Hallucination Detection in VLMs [2.6076093883457454]
視覚言語モデル(VLM)は、今や多くのマルチモーダルタスクにおいて人間のパフォーマンスと競合するが、それでもオブジェクトを幻覚させるか、安全でないテキストを生成する。初期ロジットの完全配列を解析することで,診断情報が大幅に向上することが実証された。マルチトークンの信頼性評価(MTRE, Multi-Token Reliability Estimation)は, マルチトークンの対数比と自己アテンションを用いて, 最初の10トークンからログを集約する軽量なホワイトボックス手法である。
論文参考訳（メタデータ） (2025-05-16T23:00:19Z)
Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
論文参考訳（メタデータ） (2025-04-17T17:59:22Z)
Self-Correcting Decoding with Generative Feedback for Mitigating Hallucinations in Large Vision-Language Models [65.4610281589017]
LVLM(Large Vision-Language Models)は、与えられた視覚入力と一致しない幻覚的テキスト応答を生成する傾向がある。テキストから画像への生成モデルからのフィードバックをデコードプロセスに組み込んだ,新たなトレーニングフリーアルゴリズムである生成フィードバック付き自己修正デコード(DeGF)を導入する。
論文参考訳（メタデータ） (2025-02-10T03:43:55Z)
The Hidden Life of Tokens: Reducing Hallucination of Large Vision-Language Models via Visual Information Steering [42.09744951074433]
生成過程を通じてランク付けされたトークンログを調べた結果,幻覚内部のダイナミクスについて検討した。本稿では,真の情報を促進しつつ幻覚を減少させるトレーニングフリーな推論時間介入フレームワークであるVISTAを提案する。
論文参考訳（メタデータ） (2025-02-05T21:34:02Z)
Towards a Systematic Evaluation of Hallucinations in Large-Vision Language Models [57.58426038241812]
LVLM(Large Vision-Language Models)は、複雑なマルチモーダルタスクにおいて顕著な性能を示す。これらのモデルは、画像から様々な視覚的実体を暗黙的に認識または推測する必要がある場合、まだ幻覚に悩まされている。本稿では,視覚的質問応答(VQA)ベンチマークを提案する。
論文参考訳（メタデータ） (2024-12-29T23:56:01Z)
Aligning Modalities in Vision Large Language Models via Preference Fine-tuning [67.62925151837675]
本研究では,幻覚の問題をアライメント問題とみなし,好みのチューニングで対処する。具体的には,AIモデルを用いたフィードバックデータを生成するPOVIDを提案する。提案手法は,好ましくないデータを生成するための2段階のアプローチである。広範ベンチマークを用いた実験では、幻覚を減らすだけでなく、標準ベンチマークでのモデル性能を向上させることができ、従来の手法よりも優れていた。
論文参考訳（メタデータ） (2024-02-18T00:56:16Z)
Plausible May Not Be Faithful: Probing Object Hallucination in Vision-Language Pre-training [66.0036211069513]
大規模視覚言語事前学習モデルは、テキストを生成する際に、存在しない視覚オブジェクトを幻覚させる傾向がある。標準メトリクスでより良いスコアを得るモデルは、オブジェクトをより頻繁に幻覚させる可能性があることを示す。驚いたことに、パッチベースの機能が最も良く、より小さなパッチ解決は、オブジェクト幻覚の非自明な減少をもたらす。
論文参考訳（メタデータ） (2022-10-14T10:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。