論文の概要: PAS : Prelim Attention Score for Detecting Object Hallucinations in Large Vision--Language Models

• arxiv url: http://arxiv.org/abs/2511.11502v1
• Date: Fri, 14 Nov 2025 17:23:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.742754
• Title: PAS : Prelim Attention Score for Detecting Object Hallucinations in Large Vision--Language Models
• Title（参考訳）: PAS : 大きな視覚モデルにおける物体の幻覚検出のための事前注意スコア
• Authors: Nhat Hoang-Xuan, Minh Vu, My T. Thai, Manish Bhattarai,
• Abstract要約: 大型視覚言語モデル(LVLM)は強力だが、物体の幻覚のため信頼性が低い。 本研究では、多くの幻覚予測において、LVLMは画像を無視し、代わりに新しいオブジェクトを推論するために以前に生成された出力(プリミティブ)トークンに依存することを示す。 プリリムトークン上の注意重みから計算される軽量でトレーニング不要な信号であるプリリム注意スコア(PAS)を導入する。
• 参考スコア（独自算出の注目度）: 13.188115093909344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large vision-language models (LVLMs) are powerful, yet they remain unreliable due to object hallucinations. In this work, we show that in many hallucinatory predictions the LVLM effectively ignores the image and instead relies on previously generated output (prelim) tokens to infer new objects. We quantify this behavior via the mutual information between the image and the predicted object conditioned on the prelim, demonstrating that weak image dependence strongly correlates with hallucination. Building on this finding, we introduce the Prelim Attention Score (PAS), a lightweight, training-free signal computed from attention weights over prelim tokens. PAS requires no additional forward passes and can be computed on the fly during inference. Exploiting this previously overlooked signal, PAS achieves state-of-the-art object-hallucination detection across multiple models and datasets, enabling real-time filtering and intervention.
• Abstract（参考訳）: 大型視覚言語モデル(LVLM)は強力だが、物体の幻覚のため信頼性が低い。 本研究では、多くの幻覚予測において、LVLMは画像を無視し、代わりに新しいオブジェクトを推論するために以前に生成された出力(プリミティブ)トークンに依存することを示す。 我々は,画像と予測対象との相互情報を用いて,この行動の定量化を行い,弱い画像依存が幻覚と強く相関していることを示す。 この発見に基づいて、プリリムトークン上の注意重みから計算される軽量でトレーニング不要な信号であるプリリム注意スコア(PAS)を導入する。 PASは追加のフォワードパスを必要とせず、推論中にオンザフライで計算できる。 PASは、これまで見過ごされていた信号を実行し、複数のモデルやデータセットにわたる最先端のオブジェクト幻覚検出を実現し、リアルタイムのフィルタリングと介入を可能にする。

関連論文リスト

• SAVE: Sparse Autoencoder-Driven Visual Information Enhancement for Mitigating Object Hallucination [48.601385640941935]
  Sparse Autoencoderの潜在機能に沿ってモデルを操ることで幻覚を緩和するフレームワークであるSAVEを提案する。 バイナリオブジェクトプレゼンス質問回答プローブは、モデルの視覚情報処理を最も示唆するSAEの特徴を識別する。 SAVEはシンプルな設計で、標準的なベンチマークで最先端のトレーニングフリーメソッドより優れている。
  論文  参考訳（メタデータ） (2025-12-08T17:20:07Z)
• What Makes "Good" Distractors for Object Hallucination Evaluation in Large Vision-Language Models? [95.46087552542998]
  本稿では,Halucination検索を用いたObject Probing Evaluationベンチマークを紹介する。 これは、大きな視覚ランゲージモデルで幻覚を誘発する最も誤解を招きやすいイントラクタを生成することを目的としている。 実験結果から, HOPEの精度は少なくとも9%低下し, 最先端のLVLMでは最大23%低下した。
  論文  参考訳（メタデータ） (2025-08-03T03:11:48Z)
• CAI: Caption-Sensitive Attention Intervention for Mitigating Object Hallucination in Large Vision-Language Models [60.0300765815417]
  LVLM(Large Vision-Language Models)は、視覚情報から逸脱するコンテンツをしばしば生成し、物体の幻覚を引き起こす。 本稿では,CAI (Caption-sensitive Attention Intervention) を提案する。
  論文  参考訳（メタデータ） (2025-06-30T07:52:36Z)
• Hallucinatory Image Tokens: A Training-free EAZY Approach on Detecting and Mitigating Object Hallucinations in LVLMs [15.479587108655393]
  LVLM(Large Vision-Language Models)は、まだオブジェクト幻覚の課題に直面している。 我々の研究は、画像入力源に焦点を移し、特定の画像トークンが幻覚にどのように貢献するかを調べる。 本稿では,幻覚器画像トークンをゼロにすることで,hAllucinationsを自動的に識別し,除去する新しい学習自由化手法EAZYを紹介する。
  論文  参考訳（メタデータ） (2025-03-10T18:53:39Z)
• Exploring Causes and Mitigation of Hallucinations in Large Vision Language Models [24.241691571850403]
  Large Vision-Language Models (LVLM)は、画像エンコーダとLarge Language Models (LLM)を統合し、マルチモーダル入力を処理し、複雑な視覚タスクを実行する。 それらはしばしば、既存のオブジェクトや属性を記述することによって幻覚を生じさせ、その信頼性を損なう。 本研究では、画像キャプションにおける幻覚パターンを分析し、生成過程における全てのトークンが画像入力の影響を受けないことを示す。
  論文  参考訳（メタデータ） (2025-02-24T05:00:52Z)
• PAINT: Paying Attention to INformed Tokens to Mitigate Hallucination in Large Vision-Language Model [0.0]
  幻覚は、しばしば注意重みの進歩的な弱体化から視覚的トークンへと生じる。 textbfPAINT (textbfPaying textbfAttention to textbfINformed textbfTokens) は、大規模視覚言語モデルの自己保持機構を介するプラグイン・アンド・プレイフレームワークである。
  論文  参考訳（メタデータ） (2025-01-21T15:22:31Z)
• Towards a Systematic Evaluation of Hallucinations in Large-Vision Language Models [57.58426038241812]
  LVLM(Large Vision-Language Models)は、複雑なマルチモーダルタスクにおいて顕著な性能を示す。 これらのモデルは、画像から様々な視覚的実体を暗黙的に認識または推測する必要がある場合、まだ幻覚に悩まされている。 本稿では,視覚的質問応答(VQA)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-12-29T23:56:01Z)
• From Pixels to Tokens: Revisiting Object Hallucinations in Large Vision-Language Models [15.401221354325672]
  大型視覚モデル(LVLM)における幻覚は、視覚入力に表示されない物体を生成するという重要な課題である。 最近の研究では、幻覚は視覚的な入力の理解の欠如に起因しているが、より根本的な問題は無視されている。 本稿では,LVLMの幻覚をアーキテクチャの観点から再検討し,視覚エンコーダ(機能抽出)とモーダルアライメントモジュール(機能デカップリング)の主な原因について検討する。
  論文  参考訳（メタデータ） (2024-10-09T11:46:32Z)
• Mitigating Object Hallucination in MLLMs via Data-augmented Phrase-level Alignment [52.43197107069751]
  MLLM(Multimodal Large Language Models)はしばしば幻覚と呼ばれる事実的不正確な情報を生成する。 そこで,本研究では,MLLMの命令調整による幻覚の緩和に応用可能な新しい損失であるData-augmented Phrase-level Alignment(DPA)を提案する。
  論文  参考訳（メタデータ） (2024-05-28T23:36:00Z)
• OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation [124.9008419182485]
  OPERA(Over-trust PenaltyとRetrospection-Allocation戦略に基づく新しいMLLM復号法)を提案する。 私たちのアプローチは、ほとんどの幻覚は自己注意行列の知識集約パターンと密接に結びついているという興味深い観察から始まります。 この観察に基づいて、OPERAは、ビーム探索復号時にモデルロジットにペナルティ項を導入し、オーバートラスト問題を緩和する。
  論文  参考訳（メタデータ） (2023-11-29T18:57:07Z)
• Plausible May Not Be Faithful: Probing Object Hallucination in Vision-Language Pre-training [66.0036211069513]
  大規模視覚言語事前学習モデルは、テキストを生成する際に、存在しない視覚オブジェクトを幻覚させる傾向がある。 標準メトリクスでより良いスコアを得るモデルは、オブジェクトをより頻繁に幻覚させる可能性があることを示す。 驚いたことに、パッチベースの機能が最も良く、より小さなパッチ解決は、オブジェクト幻覚の非自明な減少をもたらす。
  論文  参考訳（メタデータ） (2022-10-14T10:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。