論文の概要: Groc-PO: Grounded Context Preference Optimization for Truthful Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2607.13712v1
• Date: Wed, 15 Jul 2026 11:28:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.749798
• Title: Groc-PO: Grounded Context Preference Optimization for Truthful Multimodal LLMs
• Title（参考訳）: Groc-PO:Truthful Multimodal LLMのコンテキスト参照最適化
• Abstract要約: Grounded Context Preference Optimization (Groc-PO) はマルチモーダル大言語モデル(MLLM)のための最適化フレームワークである。 複数の舞台においてより明示的な優先的監督を導入することで、Groc-POはコンテキスト依存の推論を強化し、ステージ間エラーの伝播を緩和する。
• 参考スコア（独自算出の注目度）: 29.829143097768014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the rapid progress of Multimodal Large Language Models (MLLMs), they still suffer from untruthfulness issues, such as visual hallucinations, content fabrication, and unfaithful reasoning, which substantially undermine their faithfulness and practical utility. Alignment methods based on human preference, such as Direct Preference Optimization (DPO), have been widely adopted to address these issues. However, multimodal reasoning errors often propagate across stages, and final-answer errors can often be traced to mistakes in early grounding stages, yet standard DPO typically applies preference optimization at the final-answer level. This credit-assignment challenge means that supervision for early grounding stages is indirect rather than stage-specific, making it difficult to suppress error propagation arising from grounding drift and context inconsistency. To address this, we propose Grounded Context Preference Optimization (Groc-PO), a grounded preference optimization framework for MLLMs. We further construct the Grounded Context Preference Dataset (GCPD), organizing multi-stage preference samples around three stages of Object Grounding, Contextual Grounding, and Grounded Reasoning, to capture the formation, integration, and utilization of grounded context. By introducing more explicit preference supervision over multiple grounded stages, Groc-PO strengthens context-dependent reasoning and mitigates cross-stage error propagation. Extensive experiments show that, compared with standard DPO and other strong baselines, Groc-PO achieves improved performance in hallucination mitigation, faithful reasoning, and overall reliability, supporting the value of more explicit grounded supervision for trustworthy multimodal reasoning.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)の急速な進歩にもかかわらず、視覚幻覚、コンテンツ作成、不誠実な推論といった不本意な問題に悩まされ、その忠実さと実用性を著しく損なう。 直接選好最適化(DPO)のような人間の嗜好に基づくアライメント手法はこれらの問題に対処するために広く採用されている。 しかし、マルチモーダル推論の誤差は、しばしばステージ間で伝播し、最終解答の誤差は、初期接地段階での誤りに追従されることがあるが、標準的なDPOは、通常、最終解答レベルでの優先最適化を適用する。 このクレジット割り当てチャレンジは、初期接地ステージの監督がステージ固有のものではなく間接的であり、接地ドリフトとコンテキストの不整合に起因するエラー伝播を抑制することが困難であることを意味する。 そこで本稿では,MLLM の最適化フレームワークである Grounded Context Preference Optimization (Groc-PO) を提案する。 さらに、グラウンドドコンテキスト設定データセット(GCPD)を構築し、グラウンドド・グラウンドド・グラウンドド・グラウンドド・グラウンドド・グラウンドド・グラウンドド・グラウンドド・グラウンドド・グラウンドド・グラウンドド・グラウンドド・グラウンドド・グラウンドド・グラウンドド・グラウンドド・グラウンドド・グラウンドド・グラウンドド・グラウンド・グラウンドド・グラウンドド・グラウンドド・グラウンド・グラウンド・グラウンドド・グラウンド・グラウンドド・グラウンド・グラウンドド・グラウンドの3段階の多段階・プリーティング・サンプルを整理し、グラウンドドコンテキストの形成、統合、利用を捉える。 Groc-POは、複数の基底ステージに対してより明示的な選好監督を導入することにより、コンテキスト依存推論を強化し、ステージ間エラーの伝播を緩和する。 広汎な実験により、Groc-POは標準のDPOや他の強力なベースラインと比較して、幻覚緩和、忠実な推論、全体的な信頼性の向上を実現し、信頼に値するマルチモーダル推論に対するより明示的な基盤的監督の価値を支えていることが示された。

関連論文リスト

• Linguistic Relative Policy Optimization for Video Anomaly Reasoning [47.9421152257432]
  本稿では,複数の推論軌道からグループ相対的セマンティック・アドバンテージを,言語的に表現された異常な経験に抽出する言語相対政策最適化(LRPO)を提案する。 XD-Violence、UCF-Crime、UBnormalの実験では、LRPOはチューニング不要な設定下で既存の最先端手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2026-07-01T09:07:04Z)
• Hybrid Latent Reasoning with Decoupled Policy Optimization [19.348125016748018]
  HyLaR(Hybrid Latent Reasoning)は、連続的な視覚的潜在表現を持つ離散テキスト生成をシームレスにインターリーブするフレームワークである。 我々は,HyLaRが細粒度知覚と一般的なマルチモーダル理解ベンチマークにおいて,最先端の潜時推論手法より優れていることを示す。
  論文  参考訳（メタデータ） (2026-04-22T08:22:23Z)
• Hit-RAG: Learning to Reason with Long Contexts via Preference Alignment [97.55382322103986]
  Hit-RAGは認知的ボトルネックを解決するために設計された多段階の優先順位調整フレームワークである。 本手法は,3つの異なる段階を通じて外部証拠の利用を体系的に改善する。
  論文  参考訳（メタデータ） (2026-03-07T04:05:27Z)
• Multimodal Fact-Level Attribution for Verifiable Reasoning [80.60864342985748]
  マルチモーダル大言語モデル(MLLM)は、多段階推論と長文生成を含む実世界のタスクにますます利用されている。 既存のマルチモーダルグラウンドベンチマークと評価手法は、複雑なマルチモーダル推論における属性評価に失敗する。 我々は、直接観察以上の推論を必要とする設定において、ファクトレベルのマルチモーダル属性を評価するためのベンチマークであるMuRGAtを紹介する。
  論文  参考訳（メタデータ） (2026-02-12T03:10:02Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• DA-DPO: Cost-efficient Difficulty-aware Preference Optimization for Reducing MLLM Hallucinations [22.299736215070343]
  MLLM(Multimodal Large Language Models)は、容易に区別できる好みのペアを過度に強調する傾向がある。 本稿では,学習過程のバランスをとるための費用対効果の高いフレームワークであるDA-DPOを提案する。
  論文  参考訳（メタデータ） (2026-01-02T09:41:54Z)
• Multimodal Large Language Models with Adaptive Preference Optimization for Sequential Recommendation [60.33386541343322]
  本稿では,Hardness-Aware とNoNoRec (HaNoRec) を併用したマルチモーダル大規模言語モデルフレームワークを提案する。 具体的には、HaNoRecは、各トレーニングサンプルの予測硬度とポリシーモデルのリアルタイム応答性の両方に基づいて、最適化重量を動的に調整する。
  論文  参考訳（メタデータ） (2025-11-24T04:10:46Z)
• Thinking on the Fly: Test-Time Reasoning Enhancement via Latent Thought Policy Optimization [5.674809920704963]
  Latent Thought Policy Optimizationは、LLM推論を完全にテスト時に強化する。 実験により、LTPOは標準タスクの強いベースラインに適合または超えるだけでなく、他のタスクが失敗する際、顕著な堅牢性を示すことが示された。 とりわけ、既存の遅延推論ベースラインがほぼゼロに近い精度に崩壊する非常に難しいAIMEベンチマークでは、LTPOが大幅に改善されている。
  論文  参考訳（メタデータ） (2025-10-05T12:50:39Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。