論文の概要: EnsemHalDet: Robust VLM Hallucination Detection via Ensemble of Internal State Detectors

• arxiv url: http://arxiv.org/abs/2604.02784v1
• Date: Fri, 03 Apr 2026 06:48:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.359016
• Title: EnsemHalDet: Robust VLM Hallucination Detection via Ensemble of Internal State Detectors
• Title（参考訳）: EnsemHalDet:内部状態検出器のアンサンブルによるロバストVLM幻覚検出
• Authors: Ryuhei Miyazato, Shunsuke Kitada, Kei Harada,
• Abstract要約: VLM(Vision-Language Models)は、マルチモーダルなタスクにおいて優れているが、実際には正しくない、あるいは入力画像に根拠のない幻覚に弱いままである。 近年の研究では、内部表現を用いた幻覚検出は、モデル出力のみに依存するアプローチよりも効率的で正確であることが示唆されている。 本研究では,アンサンブルに基づく幻覚検出フレームワークEnsemHalDetを提案する。
• 参考スコア（独自算出の注目度）: 1.4401311275746886
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Vision-Language Models (VLMs) excel at multimodal tasks, but they remain vulnerable to hallucinations that are factually incorrect or ungrounded in the input image. Recent work suggests that hallucination detection using internal representations is more efficient and accurate than approaches that rely solely on model outputs. However, existing internal-representation-based methods typically rely on a single representation or detector, limiting their ability to capture diverse hallucination signals. In this paper, we propose EnsemHalDet, an ensemble-based hallucination detection framework that leverages multiple internal representations of VLMs, including attention outputs and hidden states. EnsemHalDet trains independent detectors for each representation and combines them through ensemble learning. Experimental results across multiple VQA datasets and VLMs show that EnsemHalDet consistently outperforms prior methods and single-detector models in terms of AUC. These results demonstrate that ensembling diverse internal signals significantly improves robustness in multimodal hallucination detection.
• Abstract（参考訳）: VLM(Vision-Language Models)は、マルチモーダルなタスクにおいて優れているが、実際には正しくない、あるいは入力画像に根拠のない幻覚に弱いままである。 近年の研究では、内部表現を用いた幻覚検出は、モデル出力のみに依存するアプローチよりも効率的で正確であることが示唆されている。 しかし、既存の内部表現に基づく手法は、通常は単一の表現や検出器に依存しており、多様な幻覚信号を捉える能力を制限する。 本稿では,注意出力や隠れ状態を含む複数のVLMの内部表現を活用するアンサンブルベースの幻覚検出フレームワークであるEnsemHalDetを提案する。 EnsemHalDetは個々の表現のために独立した検出器を訓練し、アンサンブル学習を通じてそれらを結合する。 複数のVQAデータセットとVLMにまたがる実験結果から、EnsemHalDetはAUCの観点からも従来手法や単一検出器モデルよりも一貫して優れていた。 これらの結果から,多様な内部信号のアンサンブルにより,マルチモーダル幻覚検出の堅牢性が著しく向上することが示唆された。

関連論文リスト

• Revealing and Enhancing Core Visual Regions: Harnessing Internal Attention Dynamics for Hallucination Mitigation in LVLMs [67.69730908817321]
  LVLMの内部ポジティブ・アテンション・ダイナミクス(PAD)は、注意シンクの歪みの下で自然に意味的にコアとなる視覚領域を明らかにする。 PADE(Positive Attention Dynamics Enhancement)は、意味的にコアとなる視覚領域を識別するためのPADマップを構築する訓練不要の注意介入である。
  論文  参考訳（メタデータ） (2026-02-17T13:08:06Z)
• Zero-shot HOI Detection with MLLM-based Detector-agnostic Interaction Recognition [71.5328300638085]
  Zero-shot Human-Object Interaction (HOI) は、画像中の人間と物体を特定し、その相互作用を認識することを目的としている。 2段階法を含む既存の手法は、特定の検出器との相互作用認識を密に結合する。 本稿では、オブジェクト検出をIRから分離し、マルチモーダル大言語モデル(MLLM)をゼロショットIRに活用する分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-16T19:01:31Z)
• FaithSCAN: Model-Driven Single-Pass Hallucination Detection for Faithful Visual Question Answering [14.550872089352943]
  FaithSCANは視覚言語モデルの豊富な内部信号を利用して幻覚を検出する軽量ネットワークである。 本稿では,LLM-as-a-JudgeパラダイムをVQA幻覚に拡張し,モデル依存型監視信号の自動生成のための低コスト戦略を提案する。 深い分析により、幻覚は視覚知覚、相互モーダル推論、言語復号における系統的な内部状態の変化から生じることが示された。
  論文  参考訳（メタデータ） (2026-01-01T09:19:39Z)
• TraceDet: Hallucination Detection from the Decoding Trace of Diffusion Large Language Models [49.83690850047884]
  D-LLMの幻覚問題は未解決のままであり、現実世界のアプリケーションでは信頼性が制限されている。 既存の幻覚検出法はAR-LLM向けに設計されており、単一ステップ生成からの信号に依存している。 本稿では,幻覚検出のためのD-LLMの中間段階を明示的に活用する新しいフレームワークであるTraceDetを提案する。
  論文  参考訳（メタデータ） (2025-09-30T02:01:10Z)
• HIDE and Seek: Detecting Hallucinations in Language Models via Decoupled Representations [17.673293240849787]
  現代言語モデル(LM)は、しばしば、入力コンテキストに事実的に不正確または不誠実なコンテンツを生成する。 Decoupled rEpresentations (HIDE) による効果的な幻覚検出のためのシングルパストレーニングフリーアプローチを提案する。 その結果、HIDEは、ほぼすべての設定において、他のシングルパスメソッドよりも優れています。
  論文  参考訳（メタデータ） (2025-06-21T16:02:49Z)
• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)
• Robust Hallucination Detection in LLMs via Adaptive Token Selection [35.06045656558144]
  大きな言語モデル(LLM)の幻覚は、より広範なデプロイメントを妨げる重要な安全性上の懸念を引き起こす。 本研究では,適応的選択とクリティカルトークンの学習を通じて,幻覚の堅牢な検出を可能にする新しいアプローチであるHaMIを提案する。 本研究では,ハロシン化検出タスクの革新的な定式化により,このロバスト性を実現する。
  論文  参考訳（メタデータ） (2025-04-10T15:39:10Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。