論文の概要: RelCheck: Dual-Evidence Spatial Grounding for VLM Hallucination Correction

• arxiv url: http://arxiv.org/abs/2609.27890v1
• Date: Fri, 21 Aug 2026 01:20:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.002357
• Title: RelCheck: Dual-Evidence Spatial Grounding for VLM Hallucination Correction
• Title（参考訳）: RelCheck: VLM幻覚矯正のためのデュアルエビデンス空間グラウンド
• Abstract要約: RelCheckはトレーニング不要なポストホック補正パイプラインで、デュアルリレーショナルエビデンスでオブジェクトレベルの視覚的グラウンドを拡大する。 RelCheckはWoodpeckerスタイルのベースラインで630.0のMME幻覚スコアを585.0で達成している。
• 参考スコア（独自算出の注目度）: 0.11470070927586017
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) fre- quently generate text that is inconsistent with the input image. While object- and attribute-level hallucinations have received considerable attention, relational hallucinations (incorrect de- scriptions of spatial or interactive relationships between objects) remain largely unaddressed by existing post-hoc correction methods. We present RelCheck, a training-free post-hoc correction pipeline that augments object-level visual grounding with dual relational evidence: learned scene-graph triples from RelTR and deterministic spatial predicates from bounding-box geometry. These combine with a Woodpecker-style object claim layer to form a three-layer visual knowledge base, which a language model corrector uses to rewrite hallucinated text. Evaluated on LLaVA v1 13B, RelCheck achieves a total MME hallucination score of 630.0 versus 585.0 for a Woodpecker-style baseline, with the largest gain on the position subtask (+31.7 points, accuracy+ improving from 0.367 to 0.600). A four-configuration ablation confirms that both relational layers contribute independently (McNemar p = 0.025). These results show that structured relational evidence meaningfully improves post-hoc hallucination correction on the spatial reasoning subtasks where current MLLMs are most deficient.
• Abstract（参考訳）: マルチモーダル大言語モデル (MLLM) は入力画像と矛盾しないテキストを逐次生成する。 オブジェクトレベルの幻覚や属性レベルの幻覚は注目されているが、リレーショナル幻覚(オブジェクト間の空間的あるいは対話的な関係の誤った記述)は、既存のポストホック補正法にほとんど適応していない。 本稿では、RelTRから学んだシーングラフトリプルと、境界ボックス幾何学から決定論的空間述語を学習し、オブジェクトレベルの視覚的グラウンドを拡大する訓練不要なポストホック補正パイプラインであるRelCheckについて述べる。 これらはWoodpeckerスタイルのオブジェクトクレームレイヤと組み合わせて、3層視覚知識ベースを形成し、言語モデルの修正者が幻覚テキストの書き直しに使用する。 LLaVA v1 13Bで評価されたRelCheckは、Woodpeckerスタイルのベースラインで630.0対585.0のMME幻覚スコアを達成し、位置サブタスクで最大の利得(+31.7ポイント、精度+0.367から0.600)を達成している。 4-構成アブレーションは、両方の関係層が独立に寄与することを確認する(McNemar p = 0.025)。 これらの結果から,構造的関係証拠は,現在のMLLMが最も不足している空間推論サブタスクにおいて,保温後の幻覚補正を有意に改善することが示された。

関連論文リスト

• Beyond Language Priors: Diagnosing and Fixing Visual-Origin Hallucinations in Multimodal LLM [37.0916688511164]
  視覚的特徴抽出と画像とテキストの埋め込みの誤調整から幻覚が生じる視覚的オリジン幻覚の証拠を提示する。 本稿では、この問題を修正するために、ACFT(Adversarial Contrastive Fine-Tuning)を提案する。 ACFTは、LLaVA、MiniGPT-4、Qwen2.5-VLにまたがるPOPE、MME、および4つの記述レベル幻覚ベンチマークの最先端性能を達成する。
  論文  参考訳（メタデータ） (2026-08-31T18:38:24Z)
• MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
  マルチモーダル幻覚は多源性であり、様々な原因から生じる。 既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
  論文  参考訳（メタデータ） (2025-05-30T05:54:36Z)
• HausaNLP at SemEval-2025 Task 3: Towards a Fine-Grained Model-Aware Hallucination Detection [1.8230982862848586]
  本研究の目的は, 幻覚の発生と重篤さに関する, 微妙な, モデルに配慮した理解を英語で提供することである。 自然言語の推論と400サンプルの合成データセットを用いたModernBERTモデルの微調整を行った。 その結果,モデルの信頼度と幻覚の有無との間には,正の相関が認められた。
  論文  参考訳（メタデータ） (2025-03-25T13:40:22Z)
• Mitigating Object Hallucination in MLLMs via Data-augmented Phrase-level Alignment [52.43197107069751]
  MLLM(Multimodal Large Language Models)はしばしば幻覚と呼ばれる事実的不正確な情報を生成する。 そこで,本研究では,MLLMの命令調整による幻覚の緩和に応用可能な新しい損失であるData-augmented Phrase-level Alignment(DPA)を提案する。
  論文  参考訳（メタデータ） (2024-05-28T23:36:00Z)
• Hallucination Augmented Contrastive Learning for Multimodal Large Language Model [53.65682783591723]
  マルチモーダル大規模言語モデル(MLLM)は、自然言語と視覚情報を効率的に統合し、マルチモーダルタスクを処理できることが示されている。 しかし、MLLMは幻覚の基本的な限界に直面しており、誤った情報や偽情報を生成する傾向がある。 本稿では,MLLMにおける幻覚を表現学習の新たな視点から論じる。
  論文  参考訳（メタデータ） (2023-12-12T04:05:15Z)
• Detecting and Preventing Hallucinations in Large Vision Language Models [4.7264116948935975]
  M-HalDetectは、詳細な画像記述のための最初のマルチモーダル幻覚検出データセットである。 InstructBLIPから細粒度マルチモーダル報酬モデルを訓練し,その有効性を評価する。 LLaVAとmPLUG-OWLの幻覚をそれぞれ15%と57%低減する。
  論文  参考訳（メタデータ） (2023-08-11T21:35:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。