論文の概要: Semantic-Spatial Agreement Verification for Mitigating Object Hallucination in Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2609.17269v1
- Date: Tue, 15 Sep 2026 14:48:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.587579
- Title: Semantic-Spatial Agreement Verification for Mitigating Object Hallucination in Multimodal Large Language Models
- Title（参考訳）: 多モーダル大言語モデルにおける物体幻覚の緩和のための意味的空間的合意の検証
- Abstract要約: 医学的援助、アクセシブルな認識、環境決定において、幻覚は現実世界の安全性のリスクを生じさせる。
本稿では,オブジェクトのクレームを検証するためのトレーニング不要な手法であるセマンティック・スペーシャル・アグリーメント・検証(SSAV)を提案する。
- 参考スコア（独自算出の注目度）: 8.031456706175014
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal large language models generate natural-language responses from visual inputs, yet may mention objects absent from an image. In medication assistance, accessible perception, and environmental decision-making, such hallucinations can create real-world safety risks. We propose Semantic-Spatial Agreement Verification (SSAV), a training-free method for verifying object claims. A visually grounded claim should remain stable across semantically equivalent queries and repeatedly localize to the same image region. SSAV aggregates multiple prompts to estimate semantic support and reduce sensitivity to query wording. Query-Induced Regional Verification (QIRV) combines cross-query region persistence, spatial overlap, and relative candidate dominance to identify isolated high responses and dispersed localizations. A geometric mean fuses semantic and spatial evidence, lowering the verification score when either branch lacks support. Experiments on three base models and multiple evaluation protocols show that SSAV effectively mitigates object hallucination. On LLaVA-1.5-7B, accuracy averaged across COCO, A-OKVQA, and GQA improves by 1.81 and 3.17 percentage points under POPE Popular and Adversarial, respectively, while CHAIRs decreases from 49.40% to 32.80%. These results show that cross-query semantic stability and regional consistency provide interpretable external visual evidence for object claims.
- Abstract（参考訳）: マルチモーダルな大言語モデルは視覚入力から自然言語応答を生成するが、画像から欠落したオブジェクトに言及することもある。
医学的援助、アクセシブルな認識、環境決定において、幻覚は現実世界の安全性のリスクを生じさせる。
本稿では,オブジェクトのクレームを検証するためのトレーニング不要な手法であるセマンティック・スペーシャル・アグリーメント・検証(SSAV)を提案する。
視覚的に根拠付けられたクレームは、意味論的に等価なクエリで安定し、同じイメージ領域に繰り返しローカライズされるべきである。
SSAVはセマンティックサポートを推定する複数のプロンプトを集約し、クエリワードの感度を低下させる。
クエリ誘導型地域検証(QIRV)は、クエリ領域の永続性、空間的重複、相対的候補支配を組み合わせ、孤立した高応答と分散した局所化を識別する。
幾何学的平均は意味的証拠と空間的証拠を融合させ、どちらの枝も支持を欠いているときに検証スコアを下げる。
3つのベースモデルと複数の評価プロトコルの実験により、SSAVはオブジェクト幻覚を効果的に緩和することが示された。
LLaVA-1.5-7Bでは、COCO、A-OKVQA、GQAの平均精度はそれぞれ1.81および3.17ポイント改善され、CHAIRは49.40%から32.80%に低下した。
これらの結果は、相互クエリのセマンティック安定性と局所的な一貫性が、オブジェクトのクレームに対する解釈可能な外的視覚的証拠を提供することを示している。
関連論文リスト
- MS-MFAD : Multimodal large language models for Face Anti-spoofing Detection [25.077055201475442]
顔検出のためのMFAD(Multimodal Large Language Models)を提案する。
MFADは、微細なピクセル・セマンティックアンカー機構により、マルチモーダル大言語モデルの本質的な推論機能を活性化する。
攻撃カテゴリごとに1,000の正確なマスクをアノテートすることで、我々はスプーフされた領域に厳密に対応するエビデンス連鎖を生成する。
論文 参考訳（メタデータ） (2026-08-18T03:38:59Z) - Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。
我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。
Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
論文 参考訳（メタデータ） (2026-07-21T16:15:05Z) - SASGeo: Stability-Aware Semantic Map Localization for GNSS-Denied UAVs -- A Framework and Synthetic Proof of Concept [0.0]
sasは、永続的な構造を通して環境を表現するセマンティックマップローカライゼーションフレームワークである。
sasは意味的アライメント、グラフのエビデンス、特徴安定性と地理的特異性、明示的な肯定的/矛盾的/未知の観察、曖昧な修正の完全性を無視する。
予備実験は実飛行航法を検証せず、むしろ、構造的意味幾何学が制御された横方向の摂動の下で位置を識別できることを実証している。
論文 参考訳（メタデータ） (2026-07-07T16:57:43Z) - VISTAQA: Benchmarking Joint Visual Question Answering and Pixel-Level Evidence [26.0945130521806]
既存のベンチマークでは、テキストによる回答の正当性または画素レベルのローカライゼーションを分離して評価している。
本稿では,視覚的質問応答に基づく自由形式の回答正当性と画素レベルの証拠を共同評価するためのベンチマークであるVISTAQAを紹介する。
GROVEは, テキストの精度と接地品質を, サンプルごとの幾何平均で組み合わせることで, 関節の正しさを強制する指標である。
論文 参考訳（メタデータ） (2026-05-20T03:44:06Z) - Agent-BRACE: Decoupling Beliefs from Actions in Long-Horizon Tasks via Verbalized State Uncertainty [70.43119366710778]
本稿では,Agens-BRACE: Agent Belief state Representation by Abstraction and Confidence Estimationを紹介する。
LLMエージェントを信頼状態モデルと政策モデルに分離し、強化学習を通じて協調的に最適化する手法である。
長期にわたる部分的に観察可能な言語環境において、平均して+14.5%の絶対的な改善を実現している。
論文 参考訳（メタデータ） (2026-05-12T02:37:04Z) - Seeing to Ground: Visual Attention for Hallucination-Resilient MDLLMs [47.94507630961399]
トレーニング不要なデコードフレームワークであるVISAGEを導入し、推論時に目的を校正する。
我々は、VISAGEが推定誤差の下で有界目的損失を維持することを保証する解析的安定性を保証する。
幻覚感受性および汎用ベンチマークによる評価は、フレームワークの堅牢性を示している。
論文 参考訳（メタデータ） (2026-03-26T17:53:49Z) - Deterministic Hallucination Detection in Medical VQA via Confidence-Evidence Bayesian Gain [6.272224314406867]
マルチモーダル大言語モデル(MLLM)は、医用視覚質問応答(VQA)の強力な可能性を示している。
それらは、入力画像に矛盾する反応を発生させ、臨床的な設定で重大なリスクを生じさせる、幻覚の傾向を保ち続ける。
セマンティック・エントロピー (SE) や視覚増幅セマンティック・エントロピー (VASE) のような現在の幻覚検出法は、セマンティック・クラスタリングのための外部自然言語推論モデルとともに1サンプルにつき10世代から20世代を必要とする。
サンプリングも外部モデルもタスクも不要な決定論的検出法を提案する。
論文 参考訳（メタデータ） (2026-03-23T08:29:53Z) - Semantic Visual Anomaly Detection and Reasoning in AI-Generated Images [96.43608872116347]
AnomReasonは4倍のtextbfAnomAgentのような構造化アノテーションを備えた大規模ベンチマーク
AnomReasonとAnomAgentは、AI生成画像の意味的妥当性の測定と改善の基盤となっている。
論文 参考訳（メタデータ） (2025-10-11T14:09:24Z) - VOGUE: Guiding Exploration with Visual Uncertainty Improves Multimodal Reasoning [62.09195763860549]
検証可能な報酬(RLVR)による強化学習は、大きな言語モデル(LLM)の推論を改善するが、探索に苦労する。
出力(テキスト)から入力(視覚)空間へ探索をシフトする新しい手法である$textbfVOGUE(Visual Uncertainty Guided Exploration)を紹介した。
本研究は,視覚入力の本質的不確実性における基盤探索が,マルチモーダル推論を改善するための効果的な戦略であることを示す。
論文 参考訳（メタデータ） (2025-10-01T20:32:08Z) - MRFD: Multi-Region Fusion Decoding with Self-Consistency for Mitigating Hallucinations in LVLMs [57.931366749890906]
MRFD (Multi-Region Fusion Decoding) は、領域間の一貫性をモデル化することにより、現実のグラウンド化を改善する訓練自由復号法である。
MRFDは、クロスアテンションを用いて正常な領域を特定し、それぞれの初期応答を生成し、Jensen-Shannon Divergenceに基づいて信頼性ウェイトを算出する。
論文 参考訳（メタデータ） (2025-08-14T01:17:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。