論文の概要: Multi-Branch Policy Optimization for Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2608.07581v1
• Date: Wed, 05 Aug 2026 04:00:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.446785
• Title: Multi-Branch Policy Optimization for Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルに対するマルチブランチポリシー最適化
• Abstract要約: マルチモーダルな大規模言語モデルに対するグループベース強化学習法は、トラジェクトリレベルの信用代入に依存している。 マルチモーダル推論は、テキストのみの設定よりも知覚の不確実性が高い。 視覚言語決定境界における推論木を構築する木ベースのフレームワークであるMulti-Branch Policy Optimization (MBPO)を提案する。
• 参考スコア（独自算出の注目度）: 21.856599797665833
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Group-based reinforcement learning methods for multimodal large language models typically rely on trajectory-level credit assignment that applies a single advantage to all tokens in a response. However, multimodal reasoning involves substantially higher perceptual uncertainty than text-only settings, where the model must repeatedly re-examine visual information to verify intermediate interpretations, and different visual groundings can lead to divergent reasoning paths, making such uniform credit assignment particularly inadequate and causing relative advantages to progressively degenerate toward zero. To address these challenges, we propose Multi-Branch Policy Optimization (MBPO), a tree-based framework that constructs reasoning trees at vision-language decision boundaries, enabling sibling branches to explore diverse visual hypotheses and assigning segment-level credit through branch-relative advantages. We further introduce a temporal replay buffer to reuse informative segments while controlling policy staleness. Experiments on several multimodal reasoning benchmarks show that MBPO outperforms representative baselines, improving both learning signal quality and optimization efficiency. The code is publicly available at https://github.com/ShuaiLyu0110/MBPO.
• Abstract（参考訳）: マルチモーダルな大規模言語モデルに対するグループベースの強化学習法は、通常、応答における全てのトークンに単一の利点を与えるトラジェクトリレベルの信用代入に依存する。 しかし、マルチモーダル推論はテキストのみの設定よりも知覚の不確実性が非常に高く、中間解釈を検証するためには、モデルが繰り返し視覚情報を検査する必要がある。 これらの課題に対処するために,多分岐ポリシー最適化(MBPO)を提案する。これは視覚言語決定境界における推論木を構築する木ベースのフレームワークで,兄弟姉妹が多様な視覚仮説を探索し,ブランチ相対的優位性を通じてセグメントレベルの信用を割り当てることを可能にする。 さらに,ポリシーの安定度を制御しながら情報セグメントを再利用するための時間的リプレイバッファを導入する。 いくつかのマルチモーダル推論ベンチマークの実験では、MBPOは代表的ベースラインよりも優れ、学習信号の品質と最適化効率の両方を改善している。 コードはhttps://github.com/ShuaiLyu0110/MBPOで公開されている。

関連論文リスト

• Bridging Interleaved Multi-Modal Reasoning as a Unified Decision Process [47.3257468640999]
  textbfBRAID (textbfBridging intetextbfRletextbfAved multtextbfI-modal reasoning as a unified textbfDecision process)。 BRAIDは共有軌跡レベルの利点を計算し、テキストトークンと画像デノーミングパスの両方にコヒーレントに伝播する。 空間的推論と視覚知覚のベンチマークの実験は、BRAIDが様々なベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-07-04T07:40:43Z)
• Walk the Talk: Bridging the Reasoning-Action Gap for Thinking with Images via Multimodal Agentic Policy Optimization [89.68681087743876]
  MLLM(Multimodal Large Language Models)は,マルチターン推論において視覚ツールを積極的に呼び出すことによって,イメージで考えるモデルにインセンティブを与えている。 結果に基づく報酬を頼りにする一般的な強化学習の実践は、テキストの妥当性が経営幹部の失敗を隠蔽するという事実を無視します。 マルチモーダルエージェントポリシー最適化(MAPO)を導入し、テキスト推論とモデルが生成する視覚行動のギャップを埋める。
  論文  参考訳（メタデータ） (2026-04-08T07:48:07Z)
• PLUME: Latent Reasoning Based Universal Multimodal Embedding [52.35354073629127]
  ユニバーサルマルチモーダル埋め込み(UME)は、異種入力を単一のモデルで共有検索空間にマッピングする。 最近のアプローチでは、埋め込みを抽出する前に明確なチェーン・オブ・シント(CoT)論理を生成することにより、UMEを改善している。 PLUMEは,言語化されたCoTを連続的潜伏状態の短時間の自己回帰ロールアウトに置き換えることで,UMEを進化させる潜在的推論フレームワークである。
  論文  参考訳（メタデータ） (2026-04-02T14:04:53Z)
• Not All Tokens See Equally: Perception-Grounded Policy Optimization for Large Vision-Language Models [38.47027398567909]
  Perception-Grounded Policy Optimization (PGPO)は、トークンレベルでのメリットを動的に再評価する、新しいきめ細かなクレジット割り当てフレームワークである。 PGPOは,言語的先行音からの勾配雑音を抑えつつ,視覚的に依存するトークンの学習信号を積極的に増幅することを示す。 理論的および実証的な分析は、PGPOが勾配の分散を効果的に減少させ、訓練の崩壊を防ぎ、頑健で知覚的なマルチモーダル推論のための強力な正則化剤として機能することを確認する。
  論文  参考訳（メタデータ） (2026-04-02T09:53:20Z)
• LVRPO: Language-Visual Alignment with GRPO for Multimodal Understanding and Generation [51.071351994330605]
  統一型マルチモーダル事前訓練は,単一の基礎モデル内での言語とビジョンを共同でモデル化するための,有望なパラダイムとして登場した。 既存のアプローチは暗黙的あるいは間接的なアライメント信号に大きく依存しており、マルチモーダル理解と生成を同時にサポートするのに最適である。 LVRPOは言語と視覚的表現を明確に整合させる言語-視覚的強化に基づく嗜好最適化フレームワークである。
  論文  参考訳（メタデータ） (2026-03-29T13:38:21Z)
• Rethinking Token-Level Policy Optimization for Multimodal Chain-of-Thought [73.39221516441624]
  マルチモーダル・チェーン・オブ・ソート(CoT)推論は、推論軌道を構築するために大きな視覚言語モデルを必要とする。 既存のReinforcement Learning with Verifiable Rewards (RLVR) 法は、様々な視覚的接地度を区別することなく、CoTを均一に扱う。 本稿では,隠れ状態の類似性に先立って認識を導き,トークンのエントロピーと統合する知覚探索ポリシー最適化(PEPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-24T06:38:00Z)
• Multi-Paradigm Collaborative Adversarial Attack Against Multi-Modal Large Language Models [67.45032003041399]
  本稿では,MLLMに対する敵例の転送可能性を高めるために,MPCAttack(Multi-Paradigm Collaborative Attack)フレームワークを提案する。 MPCOは異なるパラダイム表現の重要性を適応的にバランスさせ、グローバルな最適化を導く。 我々のソリューションは、オープンソースおよびクローズドソースMLLMに対する標的および未ターゲットの攻撃において、常に最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2026-03-05T06:01:26Z)
• Importance Sampling for Multi-Negative Multimodal Direct Preference Optimization [68.64764778089229]
  MISP-DPOはマルチモーダルDPOに複数の意味的に多様な負の画像を組み込む最初のフレームワークである。 提案手法は,CLIP空間にプロンプトと候補画像を埋め込んで,意味的偏差を解釈可能な因子に発見するためにスパースオートエンコーダを適用する。 5つのベンチマーク実験により、MISP-DPOは従来手法よりも常にマルチモーダルアライメントを改善することが示された。
  論文  参考訳（メタデータ） (2025-09-30T03:24:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。