論文の概要: UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations
- arxiv url: http://arxiv.org/abs/2608.10835v1
- Date: Tue, 11 Aug 2026 12:01:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:46.033703
- Title: UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations
- Title（参考訳）: UniProbe:多構造内部表現を用いた大規模VLMのための学習可能なトーケンレベル幻覚検出器
- Abstract要約: LVLM(Large Vision-Language Models)は印象的な視覚的推論と対話機能を実現するが、視覚入力によるコンテンツサポートを幻覚させることが多い。
textbfUniProbeは軽量で統一された学習可能な検出器で、凍ったLVLMの不均一な計算トレースを1つの前方パスからモデル化する。
- 参考スコア（独自算出の注目度）: 61.85916280854257
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Vision-Language Models (LVLMs) achieve impressive visual reasoning and dialogue capabilities, yet frequently hallucinate content unsupported by the visual input. Effective mitigation requires token-level localization, enabling targeted intervention without discarding the entire response. Existing detectors require expensive full-model fine-tuning, rely on external verifiers that ignore the model's generation process, or reduce internal signals to isolated features and hand-crafted statistics, discarding spatial, sequential, and relational structure. We introduce \textbf{UniProbe}, a lightweight, unified, learnable detector that models a frozen LVLM's heterogeneous computational trace from a single forward pass. UniProbe constructs a directed graph over image patches, query tokens, and generated tokens, with attention weights encoding their relations. It processes this trace with alternating structure-aware modules: a GNN for relational evidence, a ViT for 2-D visual geometry, and a GRU for response order. Interleaving them allows spatial, relational, and sequential evidence to interact throughout the detector. We further develop a streaming variant for hallucination-aware decoding, which detects and resamples hallucinated tokens during generation, and a self-adaptation strategy aligning the detector with the LVLM's own generations. Across diverse LVLM backbones, UniProbe achieves state-of-the-art token-level and object-hallucination detection. During decoding, it reduces object hallucinations by up to 55\% at $1.06\times$ the latency of standard generation.
- Abstract（参考訳）: LVLM(Large Vision-Language Models)は印象的な視覚的推論と対話機能を実現するが、視覚入力によるコンテンツサポートを幻覚させることが多い。
効果的な緩和にはトークンレベルのローカライゼーションが必要だ。
既存の検出器は高価なフルモデル微調整を必要とし、モデルの生成プロセスを無視する外部検証器に依存したり、内部信号を孤立した特徴や手作り統計に還元したり、空間的、シーケンシャル、リレーショナル構造を捨てたりする必要がある。
これは軽量で統一された学習可能な検出器で、凍ったLVLMの不均一な計算トレースを1つの前方パスからモデル化する。
UniProbeは、イメージパッチ、クエリトークン、生成されたトークンの上に有向グラフを構築する。
このトレースは、リレーショナルエビデンスのためのGNN、2次元視覚幾何学のためのVT、応答順序のためのGRUという、交互に構造を意識したモジュールで処理される。
インターリービングにより、空間的、リレーショナル、シーケンシャルな証拠が検出器全体で相互作用する。
さらに、生成中の幻覚トークンを検出・再サンプリングする幻覚認識復号のストリーミング版を開発し、LVLMの世代に適応する自己適応戦略を提案する。
多様なLVLMバックボーン全体にわたって、UniProbeは最先端のトークンレベルとオブジェクトハロシン検出を実現している。
デコード中は、標準生成のレイテンシに対して、オブジェクトの幻覚を最大55\%まで下げる。
関連論文リスト
- Mixture-of-Expert Blocks Contain Strong Hallucination Detection Signals [2.2302915692528367]
InnerExpertは、MoE固有の信号を利用して幻覚検出を行う最初の方法である。
以上の結果から,InnerExpertは5つのデータセットと2つのMoEアーキテクチャで既存のメソッドよりも優れていることがわかった。
論文 参考訳（メタデータ） (2026-08-18T12:00:20Z) - DeMTS: Denoising Trajectories as Multivariate Time Series for Hallucination Detection in Diffusion Language Models [59.414664850109155]
拡散大言語モデル (D-LLM) はテキスト生成において有望なパラダイムとして登場してきた。
D-LLMは幻覚に弱いままであり、流動的な出力は事実的に誤った、またはサポートされていない内容を含む可能性がある。
論文 参考訳（メタデータ） (2026-07-24T06:45:43Z) - Transcoders Trace Visual Grounding and Hallucinations in Vision-Language Models [7.425292797106273]
生成的視覚言語モデル(VLM)は多モーダル推論においてよく機能するが、視覚入力がテキストにどのように変換されるかは理解されていない。
我々はトランスコーダに基づく関数中心のフレームワークを採用し、レイヤワイドの因果プロキシとして機能するサブレイヤのスパース近似を採用した。
本稿では,関数中心回路の分解により,VLMにおけるマルチモーダル計算の解釈と予測が可能であることを示す。
論文 参考訳（メタデータ） (2026-05-21T17:34:39Z) - Look Carefully: Adaptive Visual Reinforcements in Multimodal Large Language Models for Hallucination Mitigation [51.743225614196774]
マルチモーダル大言語モデル (MLLM) は視覚言語推論において顕著な進歩を遂げている。
彼らは幻覚に弱いままであり、そこで生成されたコンテンツは視覚的証拠から逸脱する。
近年の視覚強調法では、復号時に視覚トークンを補強することでこの問題に対処しようとしている。
本稿では,MLLMのトレーニングフリーフレームワークであるAdaptive Visual Reinforcement (AIR)を提案する。
論文 参考訳（メタデータ） (2026-02-27T14:18:51Z) - Hyperdimensional Probe: Decoding LLM Representations via Vector Symbolic Architectures [12.466522376751811]
超次元プローブは、大規模言語モデルベクトル空間から情報を復号するための新しいパラダイムである。
シンボリック表現とニューラルプローブのアイデアを組み合わせて、モデルの残留ストリームを解釈可能な概念に投影する。
我々の研究は、LLMベクトル空間における情報復号化を進め、神経表現からより情報的、解釈可能、構造化された特徴を抽出することを可能にする。
論文 参考訳（メタデータ） (2025-09-29T16:59:07Z) - Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。
本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
論文 参考訳（メタデータ） (2025-04-17T17:59:22Z) - Exploring Causes and Mitigation of Hallucinations in Large Vision Language Models [24.241691571850403]
Large Vision-Language Models (LVLM)は、画像エンコーダとLarge Language Models (LLM)を統合し、マルチモーダル入力を処理し、複雑な視覚タスクを実行する。
それらはしばしば、既存のオブジェクトや属性を記述することによって幻覚を生じさせ、その信頼性を損なう。
本研究では、画像キャプションにおける幻覚パターンを分析し、生成過程における全てのトークンが画像入力の影響を受けないことを示す。
論文 参考訳（メタデータ） (2025-02-24T05:00:52Z) - Self-Correcting Decoding with Generative Feedback for Mitigating Hallucinations in Large Vision-Language Models [65.4610281589017]
LVLM(Large Vision-Language Models)は、与えられた視覚入力と一致しない幻覚的テキスト応答を生成する傾向がある。
テキストから画像への生成モデルからのフィードバックをデコードプロセスに組み込んだ,新たなトレーニングフリーアルゴリズムである生成フィードバック付き自己修正デコード(DeGF)を導入する。
論文 参考訳（メタデータ） (2025-02-10T03:43:55Z) - Mitigating Object Hallucination via Concentric Causal Attention [71.27325347912823]
物体の幻覚は回転位置と密接に結びついていることを示す。
RoPEは、広く採用されている位置依存モデリング設計である。
簡易かつ効果的な位置アライメント戦略であるConcentric Causal Attention (CCA)を提案する。
論文 参考訳（メタデータ） (2024-10-21T11:54:53Z) - Seeing is Believing: Mitigating Hallucination in Large Vision-Language Models via CLIP-Guided Decoding [36.81476620057058]
LVLM(Large Vision-Language Models)は、物体の幻覚に影響を受けやすい。
現在のアプローチは、しばしばモデルのトークン可能性やその他の内部情報に依存する。
CLIP-Guided Decoding approach to reduce object hallucination at decoding time。
論文 参考訳（メタデータ） (2024-02-23T12:57:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。