論文の概要: Multi-Path Collaborative Reasoning via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2512.01485v1
• Date: Mon, 01 Dec 2025 10:05:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.795287
• Title: Multi-Path Collaborative Reasoning via Reinforcement Learning
• Title（参考訳）: 強化学習によるマルチパス協調推論
• Authors: Jindi Lv, Yuhao Zhou, Zheng Zhu, Xiaofeng Wang, Guan Huang, Jiancheng Lv,
• Abstract要約: CoT(Chain-of-Thought)推論は、LLM(Large Language Models)の問題解決能力を大幅に向上させた。 最近の手法では、連続的な意味空間における推論を可能にするために、ソフトな抽象トークンを生成することでこの問題に対処しようとしている。 提案するM3PO(Multi-Path Perception Policy Optimization)は,推論プロセスに集団的洞察を明示的に注入する,新たな強化学習フレームワークである。
• 参考スコア（独自算出の注目度）: 54.8518809800168
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-Thought (CoT) reasoning has significantly advanced the problem-solving capabilities of Large Language Models (LLMs), yet conventional CoT often exhibits internal determinism during decoding, limiting exploration of plausible alternatives. Recent methods attempt to address this by generating soft abstract tokens to enable reasoning in a continuous semantic space. However, we find that such approaches remain constrained by the greedy nature of autoregressive decoding, which fundamentally isolates the model from alternative reasoning possibilities. In this work, we propose Multi-Path Perception Policy Optimization (M3PO), a novel reinforcement learning framework that explicitly injects collective insights into the reasoning process. M3PO leverages parallel policy rollouts as naturally diverse reasoning sources and integrates cross-path interactions into policy updates through a lightweight collaborative mechanism. This design allows each trajectory to refine its reasoning with peer feedback, thereby cultivating more reliable multi-step reasoning patterns. Empirical results show that M3PO achieves state-of-the-art performance on both knowledge- and reasoning-intensive benchmarks. Models trained with M3PO maintain interpretability and inference efficiency, underscoring the promise of multi-path collaborative learning for robust reasoning.
• Abstract（参考訳）: CoT(Chain-of-Thought)推論は、LLM(Large Language Models)の問題解決能力を大幅に向上させたが、従来のCoTはデコード時に内部決定性を示し、妥当な代替品の探索を制限している。 最近の手法では、連続的な意味空間における推論を可能にするために、ソフトな抽象トークンを生成することでこの問題に対処しようとしている。 しかし、そのようなアプローチは自己回帰的復号法という欲求的な性質に制約されるままであり、これは基本的に代替的推論可能性からモデルを切り離すものである。 本研究は, 推論プロセスに集団的洞察を明示的に注入する, 新たな強化学習フレームワークであるマルチパス知覚ポリシー最適化(M3PO)を提案する。 M3POは、並列ポリシーのロールアウトを自然に多様な推論ソースとして利用し、軽量な協調メカニズムを通じて、クロスプラットフォームインタラクションをポリシー更新に統合する。 この設計により、各軌道はピアフィードバックで推論を洗練させ、より信頼性の高い多段階推論パターンを育むことができる。 実験結果から,M3POは知識と推論に重きを置くベンチマークにおいて,最先端の性能を達成することが示された。 M3POで訓練されたモデルは解釈可能性と推論効率を維持し、堅牢な推論のためのマルチパス協調学習の可能性を強調している。

関連論文リスト

• PEPS: Quantum-Inspired Reinforcement Learning for Coherent Reasoning Traces in LLMs [0.0]
  大規模言語モデル(LLM)は、コヒーレントな多段階推論トレースの維持にしばしば苦労する。 この研究は、忠実度に基づく報酬を組み込むことによって、この課題に対処する量子的に着想を得たアプローチを導入する。 提案手法は, 教師付き, コントラスト付き, 事前学習されたベースラインアプローチよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-09-24T13:29:53Z)
• CMR-SPB: Cross-Modal Multi-Hop Reasoning over Text, Image, and Speech with Path Balance [10.843417240658992]
  クロスモーダル・マルチホップ推論(CMR)は、マルチモーダル・大規模言語モデル(MLLM)の重要かつ未探索の能力である。 この能力を評価するための既存のベンチマークには、重大な欠点がある、と我々は主張する。 CMR-SPB (Cross-Modal Multi-Hop Reasoning over Text, Image and Speech with Path Balance) という新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-08-22T08:17:31Z)
• Coherent Multimodal Reasoning with Iterative Self-Evaluation for Vision-Language Models [4.064135211977999]
  大規模言語モデル (LLMs) と視覚言語モデル (LVLMs) は複雑で多段階のクロスモーダルな常識推論タスクに苦しむ。 我々は,LVLMの共通感覚推論能力を高める新しいアプローチであるコヒーレント・マルチモーダル推論フレームワーク(CMRF)を提案する。 CMRFは複雑なクエリを分解し、ステップバイステップの推論を生成し、エラーを自己修正することで人間の問題解決を模倣する。
  論文  参考訳（メタデータ） (2025-08-04T20:33:58Z)
• Learning Temporal Abstractions via Variational Homomorphisms in Option-Induced Abstract MDPs [17.335266921332092]
  大規模言語モデル(LLMs)は、明示的なChain-of-Thoughtプロンプトを通じて、顕著な推論能力を示している。 モデルがすべてのステップに対して明示的なテキストを生成することなく、潜在空間で"考え"する、効率的で暗黙的な推論のためのフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-07-22T11:22:58Z)
• CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
  チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。 我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。 我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
  論文  参考訳（メタデータ） (2025-07-10T21:32:18Z)
• A Survey on Latent Reasoning [100.54120559169735]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
  論文  参考訳（メタデータ） (2025-07-08T17:29:07Z)
• Hybrid Latent Reasoning via Reinforcement Learning [50.6763762323985]
  大規模言語モデル(LLM)の能力を活用した強化学習(RL)による潜時推論について検討する。 RLをベースとしたハイブリッド潜在推論手法であるハイブリッド推論ポリシー最適化(HRPO)を導入する。 HRPOで訓練されたLLMは解釈可能であり、言語横断パターンや短い完了長といった興味深い挙動を示す。
  論文  参考訳（メタデータ） (2025-05-24T01:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。