論文の概要: TruthLens: Object Hallucination Detection via Self-Evaluating Truthfulness Scores in LVLMs
- arxiv url: http://arxiv.org/abs/2608.05616v1
- Date: Thu, 06 Aug 2026 05:29:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.823952
- Title: TruthLens: Object Hallucination Detection via Self-Evaluating Truthfulness Scores in LVLMs
- Title（参考訳）: 真理線:LVLMにおける自己評価真理度スコアによる物体の幻覚検出
- Abstract要約: 実かつ幻覚化されたオブジェクトトークンは、明らかに隠れ表現では分離可能であるが、言語モデリング(LM)ヘッドでは、この分離性はほとんど失われている。
本稿では,自己評価フレームワークであるTruthLensを提案する。これはLMヘッドに対して,補助モデルや追加の推論コストを伴わずに,オブジェクトごとの真理性信号を公開することを教えるフレームワークである。
- 参考スコア（独自算出の注目度）: 16.27919678881788
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the remarkable progress of large vision language models (LVLMs), object hallucination remains a fundamental challenge that hinders their trustworthy deployment. A key finding motivates our work: real and hallucinated object tokens are clearly separable in hidden representations, yet this separability is largely lost at the language-modeling (LM) head. We propose TruthLens, a self-evaluation framework that teaches the LM head to expose a per-object truthfulness signal without any auxiliary model or additional inference cost. Concretely, a rarely-used special token is repurposed as a reference token. For each object-token position, we extract the log-probability assigned to this special token by the LM head, and define its difference from a predefined constant as the truthfulness score. The model is then fine-tuned with an MSE objective that drives scores toward 1 for real objects and 0 for hallucinated ones, while a divergence constraint preserves the original generation capability. Despite being trained on only a limited set of object categories, TruthLens generalizes effectively to benchmarks with substantially larger label spaces. Extensive experiments across multiple LVLMs demonstrate state-of-the-art performance; notably, on Qwen2.5-VL-7B, TruthLens outperforms the previous best method on MS-COCO by over 17\% in AUROC. Our code is available at https://github.com/wyqstan/TruthLens.
- Abstract（参考訳）: 大規模視覚言語モデル(LVLM)の顕著な進歩にもかかわらず、オブジェクト幻覚は、信頼できるデプロイメントを妨げる根本的な課題である。
現実的および幻覚的オブジェクトトークンは明らかに隠された表現で分離可能であるが、この分離性は言語モデリング(LM)ヘッドでほとんど失われている。
本稿では,自己評価フレームワークであるTruthLensを提案する。これはLMヘッドに対して,補助モデルや追加の推論コストを伴わずに,オブジェクトごとの真理性信号を公開することを教えるフレームワークである。
具体的には、まれに使用される特別なトークンを参照トークンとして再利用する。
各オブジェクトトークン位置に対して、この特別なトークンに割り当てられたログ確率をLMヘッドで抽出し、その差を真さスコアとして予め定義された定数から定義する。
モデルはMSEの目的によって微調整され、実際のオブジェクトのスコアは1、幻覚オブジェクトのスコアは0、発散制約は元の生成能力を保っている。
TruthLensは、限られたオブジェクトカテゴリのセットでしか訓練されていないが、かなり大きなラベル空間を持つベンチマークに効果的に一般化する。
特にQwen2.5-VL-7Bでは、TruthLensはAUROCの17%以上でMS-COCOの手法よりも優れていた。
私たちのコードはhttps://github.com/wyqstan/TruthLens.comで公開されています。
関連論文リスト
- Countering the Over-Reliance Trap: Mitigating Object Hallucination for LVLMs via a Self-Validation Framework [35.29785249891566]
大規模視覚言語モデル(LVLM)は、既存のオブジェクトの記述を生成し、その信頼性を損なう。
以前の作業は、LVLMが言語事前に過度に依存していることと、ロジットキャリブレーションによってそれを緩和しようとすることによる。
我々は,LVLMがオブジェクトの存在の信頼性を忠実に検証できるように,Language-Prior-Free Verificationを提案する。
論文 参考訳（メタデータ） (2026-01-30T01:37:53Z) - Beyond Single Models: Mitigating Multimodal Hallucinations via Adaptive Token Ensemble Decoding [41.828387997311474]
LVLM(Large Vision-Language Models)は画像キャプションや視覚的質問応答といったマルチモーダルタスクにおいて,近年顕著な成果を上げている。
それらは、まだ存在しない、または誤認されたオブジェクトの記述を生成する、オブジェクト幻覚の傾向にある。
本稿では,複数のLVLMからの予測を集約することで幻覚を緩和する,学習不要でトークンレベルのアンサンブルフレームワークであるAdaptive Token Ensemble Decoding (ated)を提案する。
論文 参考訳（メタデータ） (2025-10-21T06:11:24Z) - SHIELD: Suppressing Hallucinations In LVLM Encoders via Bias and Vulnerability Defense [37.46533800097718]
本論文は,視覚エンコーダに視覚覚モデルを用いた幻覚を追究する最初の試みである。
3つの戦略を通じて幻覚を緩和するトレーニングフリーフレームワークであるShielDを提案する。
実験により、ShiELDは様々なベンチマークやLVLMファミリーでオブジェクト幻覚を効果的に緩和することが示された。
論文 参考訳（メタデータ） (2025-10-18T17:49:43Z) - Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation [59.40886078302025]
マルチモーダル大規模言語モデル(MLLM)は、視覚入力と自然言語出力の整合性を示す。
しかし、生成したトークンが視覚的モダリティに依存する範囲は、いまだに理解されていない。
MLLMにおける自己回帰トークン生成を説明するための軽量なブラックボックスフレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-26T15:38:42Z) - What Makes "Good" Distractors for Object Hallucination Evaluation in Large Vision-Language Models? [95.46087552542998]
本稿では,Halucination検索を用いたObject Probing Evaluationベンチマークを紹介する。
これは、大きな視覚ランゲージモデルで幻覚を誘発する最も誤解を招きやすいイントラクタを生成することを目的としている。
実験結果から, HOPEの精度は少なくとも9%低下し, 最先端のLVLMでは最大23%低下した。
論文 参考訳（メタデータ） (2025-08-03T03:11:48Z) - TruthPrInt: Mitigating LVLM Object Hallucination Via Latent Truthful-Guided Pre-Intervention [37.172777202461496]
幻覚は、LVLM(Large Vision-Language Models)における重要な課題の1つである。
最近の進歩は、隠れた状態のような内部状態が、生成された応答の「すべて真実性」を符号化していることを示している。
本稿では,まずLVLMデコーディングの真正な方向を学習し,次にLVLMデコーディング中に真正な誘導型推論時間介入を適用したTruthful-Guided Pre-Intervention (TruthPrInt)を提案する。
論文 参考訳（メタデータ） (2025-03-13T17:46:06Z) - Logical Closed Loop: Uncovering Object Hallucinations in Large Vision-Language Models [52.957842999317506]
オブジェクト幻覚(Object Hallucination)とは、LVLMが画像に存在しない物体を主張する現象である。
本稿では,物体の幻覚検出と緩和,すなわちLogicCheckGPTのための論理閉ループベースのフレームワークを提案する。
プラグアンドプレイ法として、既存のすべてのLVLMにシームレスに適用することができる。
論文 参考訳（メタデータ） (2024-02-18T15:28:39Z) - Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。
LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。
LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
論文 参考訳（メタデータ） (2023-11-22T08:39:17Z) - Analyzing and Mitigating Object Hallucination in Large Vision-Language Models [110.12460299261531]
大規模視覚言語モデル(LVLM)は、人間の言語で視覚情報を理解する際、顕著な能力を示した。
LVLMは依然として物体幻覚に悩まされており、画像に実際に存在しない物体を含む記述を生成するという問題である。
そこで我々は,LVLMの幻覚を再現するアルゴリズム LVLM Hallucination Revisor (LURE) を提案する。
論文 参考訳（メタデータ） (2023-10-01T18:10:53Z) - DoLa: Decoding by Contrasting Layers Improves Factuality in Large
Language Models [79.01926242857613]
大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。
事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。
コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
論文 参考訳（メタデータ） (2023-09-07T17:45:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。