論文の概要: Alliance of Stochastic Routing and Reinforcement Fusion for Multi-Model Reasoning

• arxiv url: http://arxiv.org/abs/2610.24054v1
• Date: Fri, 16 Oct 2026 16:58:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 11:19:41.521738
• Title: Alliance of Stochastic Routing and Reinforcement Fusion for Multi-Model Reasoning
• Title（参考訳）: マルチモデル推論のための確率的ルーティングと強化融合の連携
• Abstract要約: 本稿では,マルチモーダル環境における不確実性を考慮した動的モデルルーティングについて検討する。 ルーティングのための標準的な強化学習アプローチは、しばしば最適下モデルへの早めの収束に悩まされる。 効率的なマルチモーダルおよびマルチステップ推論のための統合視覚言語フレームワーク(VL-Scout)を提案する。
• 参考スコア（独自算出の注目度）: 8.263497676219023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies dynamic model routing under uncertainty in multimodal settings, where a system must select and potentially compose multiple models to answer a query. Standard reinforcement learning approaches for routing often suffer from premature convergence to suboptimal models due to noisy rewards and insufficient exploration. We propose a unified vision-language framework (VL-Scout) for efficient multimodal and multi-step reasoning with turn-based reinforcement fusion. First, VL-Scout combines Bayesian priors, policy gradient optimization, and sequential decision-making to enable structured exploration and adaptive inference. A context-dependent Dirichlet belief model allows for epistemic uncertainty over model quality and is updated online based on observed rewards and context-specific evidence, enabling Thompson-style exploration while serving as a prior for regularization. Second, a routing policy is trained via a KL-regularized REINFORCE objective by maximizing a reward-weighted evidence lower bound, where the policy acts as an amortized posterior, and the Dirichlet belief serves as a prior. Third, we introduce a fusion policy trained with Group Relative Policy Optimization (GRPO) or Reinforcement Learning with Verifiable Rewards (RLVR), which operates over intermediate model rationales and selects between two actions: CONTINUE or ANSWER, terminating with a generated output. We evaluate VL-Scout on four representative multi-modal benchmarks (MMMU, MMMU-Pro, OKVQA, and RealWorldQA), compared against 11 representative routing and policy optimization baselines. Our method provides consistent performance improvements while reducing premature policy collapse. These results highlight the importance of integrating uncertainty-aware priors with both amortized policy learning and sequential fusion for robust and efficient model selection in discrete action spaces
• Abstract（参考訳）: 本稿では,マルチモーダル設定における不確実性を考慮した動的モデルルーティングについて検討する。 ルーティングのための標準的な強化学習アプローチは、ノイズの多い報酬と不十分な探索のために、早めの最適モデルへの収束に悩まされることが多い。 ターンベース強化融合を用いた効率的なマルチモーダル・マルチステップ推論のための統合視覚言語フレームワーク(VL-Scout)を提案する。 第一に、VL-Scoutはベイジアン事前、ポリシー勾配最適化、シーケンシャル決定を組み合わせ、構造化された探索と適応推論を可能にする。 文脈依存のディリクレ信念モデルは、モデル品質に対する認識的不確実性を可能にし、観察された報酬と文脈固有の証拠に基づいてオンラインで更新される。 第二に、ルーティングポリシーはKL規則化されたREINFORCE目標によってトレーニングされ、報酬重み付けされた証拠を下位境界で最大化することで、ポリシーが償却後部として機能し、ディリクレの信念が前部として機能する。 第3に,グループ相対政策最適化(GRPO)や検証リワードを用いた強化学習(Reinforcement Learning with Verifiable Rewards, RLVR)で訓練された融合政策を導入する。 VL-Scout を 4 つの代表的マルチモーダルベンチマーク (MMMU, MMMU-Pro, OKVQA, RealWorldQA) で評価した。 本手法は,早期の政策崩壊を低減しつつ,一貫した性能向上を実現する。 これらの結果は、離散行動空間におけるロバストかつ効率的なモデル選択のための、アモートされたポリシー学習とシーケンシャル融合の両方と不確実性を考慮した事前統合の重要性を強調している。

関連論文リスト

• From Sparse Decisions to Dense Reasoning: A Multi-attribute Trajectory Paradigm for Multimodal Moderation [59.27094165576015]
  疎度な意思決定から高密度な推論トレースへ移行する新しい学習パラダイム(UniMod)を提案する。 モノリシックな意思決定タスクを多次元境界学習プロセスに再構成し,エビデンス,モダリティ評価,リスクマッピング,政策決定,応答生成を含む構造化軌道を構築する。 タスク固有のパラメータを分離し、トレーニングダイナミクスを再バランスさせ、マルチタスク学習における多様な目的間の干渉を効果的に解消する、特別な最適化戦略を導入する。
  論文  参考訳（メタデータ） (2026-01-28T09:29:40Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• STARec: An Efficient Agent Framework for Recommender Systems via Autonomous Deliberate Reasoning [54.28691219536054]
  我々は、自律的な熟考的推論機能を備えたレコメンデータシステムを支援する、ゆっくり考えられた拡張エージェントフレームワークSTARecを紹介する。 我々は,先進的推論モデルと嗜好整合型報酬形成から構造化知識の蒸留を組み合わせた2段階のパラダイムであるアンカー強化訓練を開発する。 MovieLens 1MとAmazon CDsベンチマークの実験では、STARecは最先端のベースラインと比較して、大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-08-26T08:47:58Z)
• Dual Alignment Maximin Optimization for Offline Model-based RL [37.563771012143725]
  オフラインの強化剤は、合成から現実の分布ミスマッチのため、重要な展開課題に直面します。 本稿では、まずモデル信頼性から、期待したリターンを最適化しながらポリシーの相違に焦点を移し、その後、自己整合的に合成データを組み込む。 これは、モデル環境ポリシーの一貫性と、合成およびデータのオフラインを保証する統一されたフレームワークである。
  論文  参考訳（メタデータ） (2025-02-02T16:47:35Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Constrained Reinforcement Learning with Average Reward Objective: Model-Based and Model-Free Algorithms [34.593772931446125]
  モノグラフは、平均報酬決定過程(MDPs)の文脈内で制約された様々なモデルベースおよびモデルフリーアプローチの探索に焦点を当てている このアルゴリズムは制約付きMDPの解法として検討されている。
  論文  参考訳（メタデータ） (2024-06-17T12:46:02Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。