論文の概要: VEPO: Mitigating Multilingual Hallucinations in LVLMs via Visual Evidence-guided Preference Optimization
- arxiv url: http://arxiv.org/abs/2611.18096v1
- Date: Fri, 13 Nov 2026 12:23:14 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:25:44.449804
- Title: VEPO: Mitigating Multilingual Hallucinations in LVLMs via Visual Evidence-guided Preference Optimization
- Title(参考訳): VEPO:視覚的エビデンス誘導推論最適化によるLVLMにおける多言語幻覚の軽減
- Abstract要約: VEPOは、外部モデルなしで、信頼できる視覚的グラウンドを英語から他の言語に転送する。
中国語、フランス語、ヒンディー語による多言語POPEおよびMME実験は、一貫した幻覚の減少と知覚の利得を示す。
- 参考スコア(独自算出の注目度): 26.34214973657326
- License:
- Abstract: Large vision-language models (LVLMs) achieve strong multimodal performance, yet they remain prone to object hallucination---generating answers that are linguistically fluent but visually ungrounded. This issue is especially severe in low-resource languages, where weaker cross-modal alignment causes models to rely more on language priors than on image evidence. Existing remedies either require costly multilingual annotations or external translation/reward models, or intervene at inference time in ways that can distort the output language. We propose VEPO(Visual Evidence-guided Preference Optimization), a training-time method that transfers reliable visual grounding from English to other languages without external models. VEPO first localizes key visual evidence using English queries via mid-layer cross-modal attention, then constructs preference pairs that share the same correct answer but differ in evidence sufficiency (full image vs.\ key-region masked image). Direct preference optimization on these pairs encourages low-resource inputs to prefer answers supported by complete visual evidence. Experiments on multilingual POPE and MME with Chinese, French, and Hindi show consistent hallucination reduction and perception gains, with the largest improvements on the lowest-resource language. Analyses further confirm that VEPO sharpens question-relevant attention and that evidence-guided masking outperforms random masking.
- Abstract(参考訳): 大規模視覚言語モデル(LVLM)は、強いマルチモーダルな性能を達成するが、言語的には流動的であるが、視覚的には接地されていない答えを生成するため、対象幻覚を起こす傾向にある。
この問題は、低リソース言語では特に深刻であり、クロスモーダルアライメントの弱いモデルでは、画像証拠よりも言語優先に依存している。
既存の治療法は、コストのかかる多言語アノテーションや外部翻訳/逆モデルを必要とするか、あるいは出力言語を歪ませる方法で推論時に介入する。
VEPO(Visual Evidence-Guided Preference Optimization)は、英語から外部モデルなしで、信頼できる視覚的グラウンドを他の言語に転送する訓練時間手法である。
VEPOはまず、中層横断的な注意を通して英語クエリを使用して重要な視覚的エビデンスをローカライズし、その後、同じ正解を共有するが、エビデンス(フルイメージ対フルイメージ)で異なる選好ペアを構築する。
キー領域マスキング画像)。
これらのペアの直接選好最適化は、完全な視覚的エビデンスによって支持される回答を低リソース入力に推奨する。
中国語、フランス語、ヒンディー語による多言語POPEおよびMMEの実験は、最も低リソース言語における最大の改善とともに、一貫した幻覚の減少と知覚の向上を示している。
さらに、VEPOが疑問関連注意を喚起し、証拠誘導マスキングがランダムマスキングより優れていることを分析によって確認している。
関連論文リスト
- VIGOR: Visual Gain Ordering for Hallucination Mitigation in Multimodal Discrete Diffusion Language Models [16.45026612901502]
多モード離散拡散言語モデル (dLLMs) は反復マスク予測により応答を生成する。
彼らはまだ幻覚に悩まされており、言語に先立ってはあり得ないが、画像には不十分なアウトプットを生み出している。
視覚的ゲイン順序付け(VIGOR, Visual Gain Ordering, VIGOR)を提案する。
論文 参考訳(メタデータ) (2026-11-03T15:28:11Z) - Staying VIGILant: Mitigating Visual Laziness via Counterfactual Visual Alignment in MLLMs [34.999900039604846]
MLLM(Multimodal large language model)は、大きな言語モデル(LLM)を視覚的に拡張し、画像やテキストに対する共同推論を可能にする。
機械学的な研究は、この弱点が視覚的な怠慢に由来することを示唆している。
本稿では,視覚情報ゲイン・イン・アライメント(VIGIL)を提案する。
論文 参考訳(メタデータ) (2026-06-24T21:12:24Z) - Align to the Pivot: Dual Alignment with Self-Feedback for Multilingual Math Reasoning [71.4175109189942]
Pivot-Aligned Self-Feedback Multilingual Reasoning (PASMR)を提案する。
このアプローチは、モデルの第一言語をピボット言語として指定する。
外部の正しい回答や報酬モデルに頼ることなく、言語横断的な自己フィードバック機構を確立する。
論文 参考訳(メタデータ) (2026-01-25T03:20:00Z) - Seeing to Act, Prompting to Specify: A Bayesian Factorization of Vision Language Action Policy [59.44168425139687]
BayesVLA(ベイズVLA)は、前もってポリシーを視覚的アクションに分解し、ルック・トゥ・アクティベーションと言語条件付き可能性をサポートし、即時特定を可能にするベイズ因子化である。
実験は、既存の方法と比較して、目に見えない命令、オブジェクト、環境に対して優れた一般化を示す。
論文 参考訳(メタデータ) (2025-12-12T01:59:23Z) - Mitigating Hallucinations in Large Vision-Language Models via Entity-Centric Multimodal Preference Optimization [65.12217781259525]
既存の選好アライメント手法は、モデル応答と人間の選好の整合性に重点を置いている。
改良されたモダリティアライメントを実現するエンティティ中心型マルチモーダル参照最適化(EMPO)を提案する。
EMPOは、Object-HalBenchで85.9%、MM-HalBenchで49.8%の幻覚率を減少させる。
論文 参考訳(メタデータ) (2025-06-04T15:03:50Z) - CLAIM: Mitigating Multilingual Object Hallucination in Large Vision-Language Models with Cross-Lingual Attention Intervention [56.08815340137881]
LVLM(Large Vision-Language Models)は、印象的なマルチモーダル能力を示したが、多言語オブジェクト幻覚の傾向は残っていない。
LVLMにおける多言語オブジェクト幻覚(CLAIM)の緩和のための言語横断的注意介入を提案する。
論文 参考訳(メタデータ) (2025-06-03T11:17:16Z) - PerturboLLaVA: Reducing Multimodal Hallucinations with Perturbative Visual Training [56.172959986096316]
本稿では,マルチモーダル大規模言語モデル(MLLM)における幻覚の課題を解決することを目的とする。
HalFscoreは言語グラフ上に構築された新しい計量であり、密度の高いキャプションの精度と完全性の両方を粒度レベルで評価するように設計されている。
PerturboLLaVAは、生成されたキャプションの忠実度を著しく改善し、マルチモーダル幻覚に対する既存のアプローチよりも優れている。
論文 参考訳(メタデータ) (2025-03-09T07:07:03Z) - Looking Beyond Text: Reducing Language bias in Large Vision-Language Models via Multimodal Dual-Attention and Soft-Image Guidance [67.26434607115392]
大規模視覚言語モデル(LVLM)は様々な視覚言語タスクにおいて印象的な成果を上げている。
LVLMは言語バイアスによる幻覚に悩まされ、画像や非効果的な視覚的理解に焦点が当てられなくなった。
MDA (Multimodal duAl-attention meChanIsm) aNd soft-image Guidance (IFG) を用いたLVLMの言語バイアスに対処するためのLACingを提案する。
論文 参考訳(メタデータ) (2024-11-21T16:33:30Z) - V-DPO: Mitigating Hallucination in Large Vision Language Models via Vision-Guided Direct Preference Optimization [21.248617886995103]
トレーニング時の視覚的コンテキスト学習を改善するために,視覚誘導直接選択最適化(V-DPO)を提案する。
分析の結果,V-DPOは画像コントラストの嗜好データからの学習に優れており,視覚的文脈のニュアンスを抽出し理解する能力に優れていたことが示唆された。
論文 参考訳(メタデータ) (2024-11-05T01:24:37Z) - Mitigating Multilingual Hallucination in Large Vision-Language Models [35.75851356840673]
大規模視覚言語モデル(LVLM)のための2段階多言語幻覚除去(MHR)フレームワークを提案する。
多言語リソースの複雑な手動アノテーションに頼る代わりに,新しい言語間アライメント手法を提案する。
当社のフレームワークは,13言語で平均19.0%の精度向上を実現しています。
論文 参考訳(メタデータ) (2024-08-01T13:34:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。