論文の概要: Beyond Logit Lens: Contextual Embeddings for Robust Hallucination Detection & Grounding in VLMs

• arxiv url: http://arxiv.org/abs/2411.19187v2
• Date: Wed, 19 Feb 2025 05:44:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:56:37.559606
• Title: Beyond Logit Lens: Contextual Embeddings for Robust Hallucination Detection & Grounding in VLMs
• Title（参考訳）: Beyond Logit Lens:VLMにおけるロバスト幻覚検出と接地のためのコンテキスト埋め込み
• Authors: Anirudh Phukan, Divyansh, Harshit Kumar Morj, Vaishnavi, Apoorv Saxena, Koustava Goswami,
• Abstract要約: LMMの中間層からコンテキストトークンを埋め込む洗練された方法であるContextualLensを導入する。 このアプローチは、行動やOCRを含む様々なカテゴリーにおける幻覚の検出と接地を著しく改善する。 我々の貢献は、より信頼性が高く解釈可能なマルチモーダルモデルへの道を開いた。
• 参考スコア（独自算出の注目度）: 3.8318712731382054
• License:
• Abstract: The rapid development of Large Multimodal Models (LMMs) has significantly advanced multimodal understanding by harnessing the language abilities of Large Language Models (LLMs) and integrating modality-specific encoders. However, LMMs are plagued by hallucinations that limit their reliability and adoption. While traditional methods to detect and mitigate these hallucinations often involve costly training or rely heavily on external models, recent approaches utilizing internal model features present a promising alternative. In this paper, we critically assess the limitations of the state-of-the-art training-free technique, the logit lens, in handling generalized visual hallucinations. We introduce ContextualLens, a refined method that leverages contextual token embeddings from middle layers of LMMs. This approach significantly improves hallucination detection and grounding across diverse categories, including actions and OCR, while also excelling in tasks requiring contextual understanding, such as spatial relations and attribute comparison. Our novel grounding technique yields highly precise bounding boxes, facilitating a transition from Zero-Shot Object Segmentation to Grounded Visual Question Answering. Our contributions pave the way for more reliable and interpretable multimodal models.
• Abstract（参考訳）: LMM(Large Multimodal Models)の急速な開発は、LLM(Large Language Models)の言語能力を活用し、モダリティ固有のエンコーダを統合することで、非常に高度なマルチモーダル理解を実現している。 しかし、LMMは、その信頼性と採用を制限する幻覚に悩まされている。 これらの幻覚を検知し緩和する従来の方法は、しばしばコストのかかるトレーニングや外部モデルへの依存を伴うが、最近の内部モデル機能を利用したアプローチは、有望な代替手段である。 本稿では、一般的な視覚幻覚の処理において、最先端のトレーニング不要技術であるロジットレンズの限界を批判的に評価する。 LMMの中間層からコンテキストトークンを埋め込む方法であるContextualLensを導入する。 このアプローチは、行動やOCRを含む様々なカテゴリの幻覚の検出とグラウンド化を著しく改善すると同時に、空間関係や属性比較といった文脈的理解を必要とするタスクにも優れる。 提案手法は,ゼロショットオブジェクトセグメンテーションからグラウンドドビジュアル質問応答への移行を容易にする,高精度なバウンディングボックスを生成する。 我々の貢献は、より信頼性が高く解釈可能なマルチモーダルモデルへの道を開いた。

関連論文リスト

• Enhancing Multi-Agent Consensus through Third-Party LLM Integration: Analyzing Uncertainty and Mitigating Hallucinations in Large Language Models [1.4582633500696451]
  大きな言語モデル(LLM)は、複雑な推論タスクを扱う際にも問題に直面します。 本稿では,知識境界を拡張するために異なるLSMを統合する新しい手法を提案する。 算術的データセットの実験により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-11-25T08:42:33Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• The Curse of Multi-Modalities: Evaluating Hallucinations of Large Multimodal Models across Language, Visual, and Audio [118.75449542080746]
  本稿では,大規模マルチモーダルモデル(LMM)における幻覚に関する最初の系統的研究について述べる。 本研究は,幻覚に対する2つの重要な要因を明らかにした。 私たちの研究は、モダリティ統合の不均衡やトレーニングデータからのバイアスなど、重要な脆弱性を強調し、モダリティ間のバランスの取れた学習の必要性を強調した。
  論文  参考訳（メタデータ） (2024-10-16T17:59:02Z)
• CODE: Contrasting Self-generated Description to Combat Hallucination in Large Multi-modal Models [51.70129969269271]
  CODE(Countering Description Contrastive Decoding)という,新しいコントラストベースのデコーディング手法を提案する。 提案手法は幻覚を著しく低減し,様々なベンチマークや最先端のLMM間の相互整合性を改善する。
  論文  参考訳（メタデータ） (2024-06-04T03:04:21Z)
• What if...?: Thinking Counterfactual Keywords Helps to Mitigate Hallucination in Large Multi-modal Models [50.97705264224828]
  大規模マルチモーダルモデルに反現実的思考を組み込む新しい手法である反現実的インセプションを提案する。 我々は、より広い文脈のシーン理解にまたがる応答をモデルが関与し、生成することを目指している。 オープンソースモデルとプロプライエタリモデルの両方を含む様々なLMMの包括的分析は、反事実的思考が幻覚を著しく減少させることを裏付ける。
  論文  参考訳（メタデータ） (2024-03-20T11:27:20Z)
• Incorporating Visual Experts to Resolve the Information Loss in Multimodal Large Language Models [121.83413400686139]
  本稿では,MLLMの視覚知覚能力を向上させるために,知識の混合強化機構を提案する。 本稿では,マルチタスクエンコーダとビジュアルツールを既存のMLLM訓練と推論パイプラインに組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T02:02:34Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• Zero-Resource Hallucination Prevention for Large Language Models [45.4155729393135]
  ハロシン化(Hallucination)とは、大規模言語モデル(LLM)が事実的に不正確な情報を生成する事例を指す。 本稿では,SELF-FAMILIARITYと呼ばれる,入力命令に含まれる概念に対するモデルの親しみ度を評価する新しい自己評価手法を提案する。 4つの異なる大言語モデルでSELF-FAMILIARITYを検証し、既存の手法と比較して一貫して優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-06T01:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。