論文の概要: Revealing Multi-View Hallucination in Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2603.23934v1
• Date: Wed, 25 Mar 2026 04:50:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.133058
• Title: Revealing Multi-View Hallucination in Large Vision-Language Models
• Title（参考訳）: 大規模視覚言語モデルにおける多視点幻覚の探索
• Authors: Wooje Park, Insu Lee, Soohyun Kim, Jaeyun Jang, Minyoung Noh, Kyuhong Shim, Byonghyo Shim,
• Abstract要約: 本研究では,注目マスキングにより負のロジットを生成することにより視覚干渉を抑制する訓練自由復号法を提案する。 Qwen2.5-VLとLLaVA-OneVisionによるMVH-Benchの実験では、RSCDは既存の幻覚緩和法よりも21.1および34.6ポイントの性能を一貫して改善している。
• 参考スコア（独自算出の注目度）: 28.396952380377844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large vision-language models (LVLMs) are increasingly being applied to multi-view image inputs captured from diverse viewpoints. However, despite this growing use, current LVLMs often confuse or mismatch visual information originating from different instances or viewpoints, a phenomenon we term multi-view hallucination. To systematically analyze this problem, we construct MVH-Bench, a benchmark comprising 4.8k question-answer pairs targeting two types of hallucination: cross-instance and cross-view. Empirical results show that recent LVLMs struggle to correctly associate visual evidence with its corresponding instance or viewpoint. To overcome this limitation, we propose Reference Shift Contrastive Decoding (RSCD), a training-free decoding technique that suppresses visual interference by generating negative logits through attention masking. Experiments on MVH-Bench with Qwen2.5-VL and LLaVA-OneVision demonstrate that RSCD consistently improves performance by up to 21.1 and 34.6 points over existing hallucination mitigation methods, highlighting the effectiveness of our approach.
• Abstract（参考訳）: 視覚言語モデル(LVLM)は多様な視点から捉えた多視点画像入力にますます応用されている。 しかし、この利用の増加にもかかわらず、現在のLVLMは様々な事例や視点から得られる視覚情報を混同したり、ミスマッチしたりすることが多く、これは多視点幻覚(multi-view hallucination)と呼ばれる現象である。 この問題を系統的に解析するために,クロスインスタンスとクロスビューの2種類の幻覚を対象とする4.8kの質問応答ペアからなるベンチマークであるMVH-Benchを構築した。 実験の結果,近年のLVLMは視覚的証拠を対応する事例や視点と正しく関連付けるのに苦慮していることが明らかとなった。 この制限を克服するため,アテンションマスキングにより負のロジットを生成することにより視覚的干渉を抑制する訓練不要な復号法である参照シフトコントラスト復号法(RSCD)を提案する。 Qwen2.5-VL と LLaVA-OneVision を用いたMVH-Bench 実験により,RSCD は既存の幻覚緩和法よりも 21.1 と 34.6 の精度を一貫して向上し,本手法の有効性を浮き彫りにした。

関連論文リスト

• Mask What Matters: Mitigating Object Hallucinations in Multimodal Large Language Models with Object-Aligned Visual Contrastive Decoding [17.902539922664563]
  MLLM(Multimodal Large Language Models)における物体幻覚の研究と視覚的コントラストデコーディング(VCD)の改善について述べる。 我々は、自己監督型視覚変換器におけるオブジェクト中心の注意を利用する。 特に,有意な視覚的証拠を取り除き,不要なトークンを乱し,強いコントラスト信号を生成する補助的な視点を構築する。
  論文  参考訳（メタデータ） (2026-02-12T09:04:28Z)
• Unleashing the Intrinsic Visual Representation Capability of Multimodal Large Language Models [58.91911788912665]
  より識別的な視覚表現の学習において,MLLMの学習を容易にする新しい学習フレームワークであるLaVerを提案する。 本手法はMLLMに対して直接視覚的アクティベーションを提供し,視覚的アサインメントが増大し,視覚情報の利用が向上したことを示す。
  論文  参考訳（メタデータ） (2025-12-06T04:20:13Z)
• SECOND: Mitigating Perceptual Hallucination in Vision-Language Models via Selective and Contrastive Decoding [5.976839106353883]
  SECOND: Selective and Contrastive Decodingは、視覚言語モデルがオブジェクト中心の方法でマルチスケールの視覚情報を活用できるようにする新しいアプローチです。 SECONDは知覚幻覚を著しく減らし、幅広いベンチマークを上回ります。
  論文  参考訳（メタデータ） (2025-06-10T02:55:38Z)
• Self-Correcting Decoding with Generative Feedback for Mitigating Hallucinations in Large Vision-Language Models [65.4610281589017]
  LVLM(Large Vision-Language Models)は、与えられた視覚入力と一致しない幻覚的テキスト応答を生成する傾向がある。 テキストから画像への生成モデルからのフィードバックをデコードプロセスに組み込んだ,新たなトレーニングフリーアルゴリズムである生成フィードバック付き自己修正デコード(DeGF)を導入する。
  論文  参考訳（メタデータ） (2025-02-10T03:43:55Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)
• Towards a Systematic Evaluation of Hallucinations in Large-Vision Language Models [57.58426038241812]
  LVLM(Large Vision-Language Models)は、複雑なマルチモーダルタスクにおいて顕著な性能を示す。 これらのモデルは、画像から様々な視覚的実体を暗黙的に認識または推測する必要がある場合、まだ幻覚に悩まされている。 本稿では,視覚的質問応答(VQA)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-12-29T23:56:01Z)
• ConVis: Contrastive Decoding with Hallucination Visualization for Mitigating Hallucinations in Multimodal Large Language Models [11.75855265467876]
  トレーニング不要なコントラスト復号法であるConVisを導入する。 一般的な5つのベンチマーク実験により、ConVisは様々なMLLMの幻覚を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2024-08-25T18:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。