論文の概要: VisER: Visual Evidence and Reliance for Object Hallucination Detection in LVLMs
- arxiv url: http://arxiv.org/abs/2608.30480v1
- Date: Mon, 31 Aug 2026 09:05:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.327129
- Title: VisER: Visual Evidence and Reliance for Object Hallucination Detection in LVLMs
- Title（参考訳）: VisER:LVLMにおける物体の幻覚検出のための視覚的エビデンスと信頼性
- Abstract要約: 対象レベルの幻覚検出のためのトレーニング不要な指標であるVisERを提案する。
ビジュアルエビデンス(Visual Evidence)は、オブジェクトとコンテキストの互換性が画像トークンからのオブジェクト固有のエビデンスによって裏付けられているかどうかを測定する。
Visual Relianceは、生成されたプレフィックスよりもイメージによってオブジェクトがサポートされているかどうかを測定する。
- 参考スコア（独自算出の注目度）: 10.892846618107392
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Object hallucination remains a persistent reliability issue in large vision-language models, where generated object mentions may sound plausible but lack visual grounding. Recent training-free detectors use internal signals such as token likelihood, attention, visual confidence, or image-text similarity to identify hallucinated objects. These signals are useful, but they are often source-confounded. They measure how strongly an object is supported inside the model without distinguishing whether that support comes from object-specific visual evidence or the generated text prefix. In difficult cases, a hallucinated object can still receive high internal support because it fits the scene, is associated with nearby visual cues, or follows naturally from the generated text prefix. We propose VisER, a training-free two-sided metric for object-level hallucination detection. VisER evaluates each generated object mention from two complementary views. Visual Evidence measures whether object-context compatibility is backed by object-specific evidence from image tokens. Visual Reliance measures whether the object is supported more by the image than by the generated prefix. Combining these views gives a more source-aware grounding score, while avoiding additional object-level verification generations. Across multiple LVLMs and benchmarks, VisER improves AUROC and AUPR over a range of baselines.
- Abstract（参考訳）: 大規模な視覚言語モデルでは、オブジェクト幻覚は引き続き永続的な信頼性の問題である。
近年の無訓練検出器では、トークンの確率、注意力、視覚的信頼度、画像とテキストの類似性などの内部信号を用いて幻覚的物体を識別している。
これらの信号は有用であるが、しばしばソースコンストラクタである。
オブジェクト固有の視覚的エビデンスや生成されたテキストプレフィックスからのサポートを区別することなく、モデル内でオブジェクトがどれだけ強くサポートされているかを測定する。
難しいケースでは、幻覚した物体はシーンに合ったり、近くの視覚的手がかりと関連づけられたり、生成されたテキストプレフィックスから自然に追従するので、高い内部支持を受けることができる。
本研究では,物体レベルの幻覚検出のためのトレーニング不要な2辺メトリックであるVisERを提案する。
VisERは2つの補完的なビューから生成された各オブジェクトの参照を評価します。
ビジュアルエビデンス(Visual Evidence)は、オブジェクトとコンテキストの互換性が画像トークンからのオブジェクト固有のエビデンスによって裏付けられているかどうかを測定する。
Visual Relianceは、生成されたプレフィックスよりもイメージによってオブジェクトがサポートされているかどうかを測定する。
これらのビューを組み合わせることで、さらなるオブジェクトレベルの検証世代を避けながら、ソース認識のグラウンディングスコアが向上する。
複数のLVLMとベンチマークで、VisERはAUROCとAUPRを幅広いベースラインで改善している。
関連論文リスト
- PatchGate: Narrowing the Verbalization Gap with Intrinsic Object Inventories in Frozen Vision-Language Models [6.947018407173503]
我々は,凍結VLMに固有のプロンプトフリー物体証拠を生成前に抽出する学習自由フレームワークであるPatchGateを提案する。
AMBERでは、PatchGateはオブジェクトレベルの信頼性の両面を改善し、可視対象のカバレッジを49.4から56.0(+13.4%)に増加させ、CHAIRを7.5から6.6(-12.0%)に下げることでオブジェクト幻覚を減らす。
論文 参考訳（メタデータ） (2026-08-22T07:37:40Z) - UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations [61.85916280854257]
LVLM(Large Vision-Language Models)は印象的な視覚的推論と対話機能を実現するが、視覚入力によるコンテンツサポートを幻覚させることが多い。
textbfUniProbeは軽量で統一された学習可能な検出器で、凍ったLVLMの不均一な計算トレースを1つの前方パスからモデル化する。
論文 参考訳（メタデータ） (2026-08-11T12:01:59Z) - SDDF: Specificity-Driven Dynamic Focusing for Open-Vocabulary Camouflaged Object Detection [12.404050551208366]
Open-vocabulary Object Detection (OVOD) は、テキストプロンプトを活用することで、オープン世界の未知の物体や未知の物体を検出することを目的としている。
OVCOD-D という名前のベンチマークは、細かなテキスト記述で慎重に選択されたカモフラーグオブジェクトイメージを増補することで構成する。
オープンセット評価設定では,OVCOD-Dベンチマークで56.4のAPを達成する。
論文 参考訳（メタデータ） (2026-03-27T06:37:32Z) - SAVE: Sparse Autoencoder-Driven Visual Information Enhancement for Mitigating Object Hallucination [48.601385640941935]
Sparse Autoencoderの潜在機能に沿ってモデルを操ることで幻覚を緩和するフレームワークであるSAVEを提案する。
バイナリオブジェクトプレゼンス質問回答プローブは、モデルの視覚情報処理を最も示唆するSAEの特徴を識別する。
SAVEはシンプルな設計で、標準的なベンチマークで最先端のトレーニングフリーメソッドより優れている。
論文 参考訳（メタデータ） (2025-12-08T17:20:07Z) - Mind-the-Glitch: Visual Correspondence for Detecting Inconsistencies in Subject-Driven Generation [120.23172120151821]
本稿では,事前学習した拡散モデルのバックボーンから視覚的特徴と意味的特徴を分離するための新しいアプローチを提案する。
注釈付きセマンティックと視覚対応を備えた画像ペアを構築する自動パイプラインを導入する。
被験者駆動画像生成における視覚的不整合を定量化する新しい指標であるビジュアルセマンティックマッチングを提案する。
論文 参考訳（メタデータ） (2025-09-26T07:11:55Z) - Evaluating Hallucination in Large Vision-Language Models based on Context-Aware Object Similarities [5.602853217226167]
大規模視覚言語モデル(LVLM)における物体幻覚評価のための新しいアプローチである文脈認識オブジェクト類似性(CAOS)を提案する。
CAOSは、オブジェクト統計とキャプション内のオブジェクト間の意味的関係を統合する。
これを解決するために、言語モデルに基づくオブジェクト認識を用いて、潜在的にドメイン外幻覚オブジェクトを検出する。
論文 参考訳（メタデータ） (2025-01-25T03:03:18Z) - Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。
視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。
人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
論文 参考訳（メタデータ） (2023-03-16T00:06:28Z) - Improving Visual Grounding with Visual-Linguistic Verification and
Iterative Reasoning [42.29650807349636]
正確な視覚的接地のためのトランスフォーマーベースのフレームワークを提案する。
テキスト記述に関連する領域に視覚的特徴を集中させる視覚言語検証モジュールを開発した。
言語誘導型特徴エンコーダは、対象オブジェクトの視覚的コンテキストを集約して、オブジェクトの特異性を改善するように設計されている。
論文 参考訳（メタデータ） (2022-04-30T13:48:15Z) - Multi-modal Transformers Excel at Class-agnostic Object Detection [105.10403103027306]
既存の手法では、人間の理解可能な意味論によって支配されるトップダウンの監視信号が欠落していると論じる。
マルチスケール特徴処理と変形可能な自己アテンションを用いた効率よく柔軟なMViTアーキテクチャを開発した。
多様なアプリケーションにおけるMViT提案の重要性を示す。
論文 参考訳（メタデータ） (2021-11-22T18:59:29Z) - Visual Relationship Detection with Visual-Linguistic Knowledge from
Multimodal Representations [103.00383924074585]
視覚的関係検出は、画像内の有能なオブジェクト間の関係を推論することを目的としている。
変換器からの視覚言語表現(RVL-BERT)という新しい手法を提案する。
RVL-BERTは、自己教師付き事前学習を通じて学習した視覚的・言語的常識知識を用いて空間推論を行う。
論文 参考訳（メタデータ） (2020-09-10T16:15:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。