論文の概要: Perception-Consistency Multimodal Large Language Models Reasoning via Caption-Regularized Policy Optimization

• arxiv url: http://arxiv.org/abs/2509.21854v1
• Date: Fri, 26 Sep 2025 04:32:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.17625
• Title: Perception-Consistency Multimodal Large Language Models Reasoning via Caption-Regularized Policy Optimization
• Title（参考訳）: キャプション規則化ポリシ最適化による知覚一貫性を持つマルチモーダル大言語モデル
• Authors: Songjun Tu, Qichao Zhang, Jingbo Sun, Yuqian Fu, Linjing Li, Xiangyuan Lan, Dongmei Jiang, Yaowei Wang, Dongbin Zhao,
• Abstract要約: マルチモーダルな言語モデルは、視覚知覚と象徴的推論を統合するタスクに優れています。 CapPO は,(1) 原画像上の条件付き応答とキャプション上の条件付き応答のばらつきを最小限に抑えるキャプションベース整合性正規化,(2) KL 重み付き優位性推定スキームを適応的に拡張して知覚整合性トラジェクトリを強化するキャプションベース整合性正規化という2つの重要なメカニズムを統合した。
• 参考スコア（独自算出の注目度）: 72.30168853571216
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: While multimodal large language models excel at tasks that integrate visual perception with symbolic reasoning, their performance is often undermined by a critical vulnerability: perception-induced errors that propagate through the reasoning chain. Current reinforcement learning (RL) fine-tuning methods, while enhancing reasoning abilities, largely fail to address the underlying misalignment between visual grounding and the subsequent reasoning process. To address this challenge, we propose \textbf{Caption-Regularized Policy Optimization (CapPO)}, a novel RL framework that explicitly enforces perceptual consistency during policy optimization. CapPO integrates two key mechanisms: (1) a caption-based consistency regularization, which minimizes the divergence between responses conditioned on raw images and those conditioned on captions, thereby anchoring reasoning to semantically faithful visual content; and (2) a KL-weighted advantage estimation scheme, which adaptively scales reinforcement signals to strengthen perceptually consistent trajectories while suppressing spurious correlations. Extensive experiments on five math-focused and five general reasoning benchmarks demonstrate that CapPO achieves competitive performance, yielding gains of +6.0% accuracy on math-related tasks and +2.4% on general reasoning tasks over the base Qwen2.5-VL-7B model. Moreover, ablation studies further confirm the effectiveness of each component, while error analysis reveals that CapPO significantly reduces perception-related mistakes compared with baselines. Overall, CapPO provides a simple yet effective framework for improving multimodal reasoning.
• Abstract（参考訳）: マルチモーダルな大規模言語モデルは、視覚知覚と象徴的推論を統合するタスクに優れているが、その性能は、しばしば重要な脆弱性によって損なわれている。 現在の強化学習(RL)の微調整法は、推論能力を高めつつも、視覚的接地とその後の推論過程の根本的な相違に対処することができない。 この課題に対処するために、政策最適化中に知覚整合性を明確に強制する新しいRLフレームワークである、CapPO(textbf{Caption-Regularized Policy Optimization)を提案する。 CapPOは,(1)原画像上で条件付けられた応答とキャプション上で条件付けられた応答のばらつきを最小限に抑え,意味的に忠実な視覚内容に推論を固定するキャプションベース整合性正規化と,(2)刺激的相関を抑えつつ知覚的一貫した軌跡を強化するために強化信号を適応的に拡張するKL重み付き優位性推定スキームの2つの主要なメカニズムを統合した。 5つの数学に焦点を当てた5つの一般的な推論ベンチマークに関する大規模な実験は、CapPOが競争性能を達成し、数学関連のタスクで+6.0%、Qwen2.5-VL-7Bモデル上での一般的な推論タスクで+2.4%の精度を得ることを示した。 さらに,Ablation研究により各成分の有効性がさらに確認される一方,誤り解析により,CapPOはベースラインと比較して認識関連ミスを著しく低減することが明らかとなった。 全体として、CapPOはマルチモーダル推論を改善するためのシンプルで効果的なフレームワークを提供する。

関連論文リスト

• Perception-Aware Policy Optimization for Multimodal Reasoning [79.56070395437898]
  現在のマルチモーダル推論における誤りの主な原因は、視覚入力の知覚にある。 提案するPAPOは,モデルが推論を学習しながら知覚を学習することを奨励する,新しいポリシー勾配アルゴリズムである。 知覚誤りの30.5%が有意に減少し,PAPOによる知覚能力の向上が示唆された。
  論文  参考訳（メタデータ） (2025-07-08T23:22:34Z)
• Interpretable Few-Shot Image Classification via Prototypical Concept-Guided Mixture of LoRA Experts [79.18608192761512]
  自己説明可能なモデル(SEM)は、視覚認識プロセスをより解釈可能なものにするために、プロトタイプ概念学習(PCL)に依存している。 パラメトリック不均衡と表現の不整合という2つの重要な課題を緩和するFew-Shotプロトタイプ概念分類フレームワークを提案する。 我々のアプローチは、既存のSEMを顕著な差で常に上回っており、5-way 5-shot分類では4.2%-8.7%の相対的な利得がある。
  論文  参考訳（メタデータ） (2025-06-05T06:39:43Z)
• DisCO: Reinforcing Large Reasoning Models with Discriminative Constrained Optimization [55.06360285372418]
  グループ相対政策最適化は大規模推論モデル(LRM)の強化学習手法である 本研究では,2次報酬設定の下でGRPOの目的を解析し,質問レベルの難易度バイアスの固有の制限を明らかにする。 差別学習の原則を基礎として, LRMの強化のための新たな差別的制約付き最適化フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-05-18T11:08:32Z)
• Revisiting the Robust Generalization of Adversarial Prompt Tuning [4.033827046965844]
  本稿では,画像とテキストの特徴のアライメントを高めるために,適応型一貫性誘導型適応型適応型適応プロンプトチューニング(CAPT)フレームワークを提案する。 我々は14のデータセットと4つのデータ空間をまたいだ実験を行い、CAPTが他の最先端の適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-18T02:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。