論文の概要: Bridging Interleaved Multi-Modal Reasoning as a Unified Decision Process

• arxiv url: http://arxiv.org/abs/2607.03748v1
• Date: Sat, 04 Jul 2026 07:40:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.704836
• Title: Bridging Interleaved Multi-Modal Reasoning as a Unified Decision Process
• Title（参考訳）: 統一決定過程としてのブリッジングインターリーブ多モード推論
• Abstract要約: textbfBRAID (textbfBridging intetextbfRletextbfAved multtextbfI-modal reasoning as a unified textbfDecision process)。 BRAIDは共有軌跡レベルの利点を計算し、テキストトークンと画像デノーミングパスの両方にコヒーレントに伝播する。 空間的推論と視覚知覚のベンチマークの実験は、BRAIDが様々なベースラインを一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 47.3257468640999
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified multi-modal models (UMMs) have shown promising interleaved text-image reasoning capabilities, yet effectively optimizing such multi-turn generation via reinforcement learning (RL) remains an open challenge. Existing approaches apply RL exclusively to text steps, relegating image generation to supervised surrogates, preventing policy gradients from propagating through the full interleaved trajectory across heterogeneous modalities. This leaves the potential of RL for UMMs largely untapped. In the paper, we introduce \textbf{BRAID} (\textbf{B}ridging inte\textbf{R}le\textbf{A}ved mult\textbf{I}-modal reasoning as a unified \textbf{D}ecision process), a simple framework that casts multi-turn text-image-text reasoning as a unified Markov decision process (MDP), enabling joint optimization of textual and visual generation via a single, principled RL objective. BRAID computes a shared trajectory-level advantage and propagates it coherently into both text tokens and image denoising paths, each optimized through its modality-native policy gradient mechanism. To further address long-horizon credit assignment, BRAID employs a vision-language model (VLM) judge that scores each intermediate image on its reasoning utility, supplying dense turn-level feedback to sharpen learning at critical visual branches. Experiments on spatial reasoning and visual perception benchmarks show that BRAID consistently outperforms various baselines, confirming that a unified MDP formulation with vision-thinking guidance is essential for effective multi-modal reasoning.
• Abstract（参考訳）: 統一マルチモーダルモデル (UMM) は、有望なインターリーブテキスト画像推論能力を示しているが、強化学習 (RL) によるこのようなマルチターン生成を効果的に最適化することは、未解決の課題である。 既存のアプローチでは、RLをテキストステップにのみ適用し、画像生成を教師付きサロゲートに委譲し、ポリシー勾配が不均一なモダリティを越えて完全なインターリーブ軌道を通過するのを防ぐ。 このことは、UMMに対するRLの可能性の大部分を未解決のままにしている。 本稿では,マルチターンテキスト-画像-テキスト推論を統一マルコフ決定プロセス(MDP)として活用するシンプルなフレームワークである \textbf{BRAID} (\textbf{B}ridging inte\textbf{R}le\textbf{A}ved mult\textbf{I}-modal reasoning as a unified \textbf{D}ecision process)を紹介する。 BRAIDは共有トラジェクトリレベルの利点を計算し、テキストトークンと画像デノイングパスの両方にコヒーレントに伝播する。 長期のクレジット割り当てにさらに対処するため、BRAIDは視覚言語モデル(VLM)の判断を採用し、その推論ユーティリティで各中間画像をスコアし、重要な視覚枝での学習を鋭くするための高密度なターンレベルのフィードバックを提供する。 空間的推論と視覚知覚のベンチマーク実験により、BRAIDは様々なベースラインを一貫して上回り、視覚的思考指導による統合MDPの定式化が効果的なマルチモーダル推論に不可欠であることが確認された。

関連論文リスト

• Multi-Branch Policy Optimization for Multimodal Large Language Models [21.856599797665833]
  マルチモーダルな大規模言語モデルに対するグループベース強化学習法は、トラジェクトリレベルの信用代入に依存している。 マルチモーダル推論は、テキストのみの設定よりも知覚の不確実性が高い。 視覚言語決定境界における推論木を構築する木ベースのフレームワークであるMulti-Branch Policy Optimization (MBPO)を提案する。
  論文  参考訳（メタデータ） (2026-08-05T04:00:09Z)
• PDCR: Perception-Decomposed Confidence Reward for Vision-Language Reasoning [80.94559742826083]
  Reinforcement Learning with Verifiable Rewards (RLVR) は伝統的に、粗末で結果に基づく信号に依存している。 近年の研究では,高コストな外部モデルを必要としないステップレベルのガイダンスを提供することで,詳細なモデル固有の信号を提供することで,言語推論のトレーニングを効果的に向上することが示された。 一助文には有効であるが,この大域的な報酬を視覚言語推論(V-L)に適用することは準最適戦略である。 本稿では、報酬構造とタスクの不均一な性質を整合させることにより、この問題を解決するフレームワークであるパーセプション分解信頼回復(PDCR:Perception-Decomposed Confidence Reward)を提案する。
  論文  参考訳（メタデータ） (2026-05-13T12:55:18Z)
• Combating Visual Neglect and Semantic Drift in Large Multimodal Models for Enhanced Cross-Modal Retrieval [10.40757294607926]
  Salient Subject-Aware Multimodal Embedding (SSA-ME)は、SSA-ME(Salient Subject-Aware Multimodal Embedding)と呼ばれる新しいフレームワークである。 提案手法はMMEBベンチマーク上での最先端性能を実現し,主観レベルのモデリングを取り入れることで,マルチモーダル検索を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2026-04-28T06:29:27Z)
• Enhanced Text-to-Image Generation by Fine-grained Multimodal Reasoning [13.412268665909826]
  きめ細かいマルチモーダル推論(FiMR)は、視覚的質問応答(VQA)を利用して、明確できめ細かいフィードバックを生成するフレームワークである。 FiMRは推論ベースの方法を含む画像生成ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-04-15T05:24:29Z)
• UniGRPO: Unified Policy Optimization for Reasoning-Driven Visual Generation [51.41441081823758]
  インターリーブドジェネレーションが可能な統一モデルが有望なパラダイムとして登場している。 インターリーブ・ジェネレーションに適した統合強化学習フレームワークを提案する。 実験により,この統合学習レシピは推論による画像生成品質を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2026-03-24T17:59:17Z)
• MCoT-MVS: Multi-level Vision Selection by Multi-modal Chain-of-Thought Reasoning for Composed Image Retrieval [23.52156477012636]
  Composed Image Retrieval (CIR) は、参照画像と修正されたテキストに基づいてターゲット画像を取得することを目的としている。 CIRのためのMCoT-MVS(Multi-level Vision Selection)を提案する。
  論文  参考訳（メタデータ） (2026-03-18T04:49:19Z)
• Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
  単眼画像からの空間的推論は 自律運転には不可欠です 現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。 本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-07T02:05:12Z)
• Beyond Unimodal Shortcuts: MLLMs as Cross-Modal Reasoners for Grounded Named Entity Recognition [51.68340973140949]
  GMNER(Multimodal Named Entity Recognition)は、テキストベースのエンティティを抽出し、セマンティックカテゴリを割り当て、それらを対応する視覚領域に接地することを目的としている。 MLLMは、視覚バイアスやテキストバイアスを含む$textbfmodality bias$を示す。 本稿では,モダリティを考慮した一貫性推論(bfMCR$)を提案する。
  論文  参考訳（メタデータ） (2026-02-04T12:12:49Z)
• Hierarchical Concept-to-Appearance Guidance for Multi-Subject Image Generation [22.845591588026366]
  本稿では,高レベルの概念からきめ細かい外観まで,明示的で構造化された監視を提供するフレームワークを提案する。 概念レベルでは、VAEの参照機能をランダムに省略するVAEドロップアウトトレーニング戦略を導入する。 外観レベルでは、VLM由来の対応文を対応認識型マスキングアテンションモジュールに統合する。
  論文  参考訳（メタデータ） (2026-02-03T12:13:29Z)
• Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models [84.78794648147608]
  永続的な幾何学的異常であるモダリティギャップが残っている。 このギャップを埋める以前のアプローチは、過度に単純化された等方的仮定によってほとんど制限されている。 固定フレームモダリティギャップ理論(英語版)を提案し、モダリティギャップを安定バイアスと異方性残差に分解する。 次に、トレーニング不要なモダリティアライメント戦略であるReAlignを紹介します。
  論文  参考訳（メタデータ） (2026-02-02T13:59:39Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• SUDER: Self-Improving Unified Large Multimodal Models for Understanding and Generation with Dual Self-Rewards [55.99492656542475]
  textbfSDER (textbfSelf-improving textbfUnified LMMs with textbfDual stextbfElf-textbfRewards) を提案する。
  論文  参考訳（メタデータ） (2025-06-09T17:38:45Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。