論文の概要: Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL

• arxiv url: http://arxiv.org/abs/2608.17253v2
• Date: Wed, 19 Aug 2026 05:41:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 13:35:39.254702
• Title: Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL
• Title（参考訳）: Co-RL:マルチエージェントRLにおける逆コホートからの教師なし推論
• Abstract要約: Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
• 参考スコア（独自算出の注目度）: 55.05743310621117
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) has emerged as a powerful approach for improving reasoning in language and vision-language models, yet its strongest successes still depend heavily on ground-truth supervision (e.g., verifiable reward). Such annotations are costly to obtain and become increasingly scarce as reasoning capabilities advance beyond what humans can reliably evaluate. Self-rewarding RL reduces this dependence by enabling models to derive reward signals from their own completions. However, training solely on self-generated feedback can reinforce existing biases and suboptimal behaviors, reduce response diversity, and ultimately lead to homogenized responses and training collapse. In this work, we show that unsupervised reasoning can emerge through cooperative multi-agent training. We introduce Co-RL, a framework in which multiple decoupled models, sharing no parameters, are simultaneously optimized through RL using rewards derived from their peers. We further show that increasing cohort diversity, through heterogeneous model families, sizes, and rephrased training samples, reduces the correlated errors that drive self-reinforcing feedback loops. This diversity consistently improves reasoning performance, maintains behavioral diversity, and mitigates training collapse. Across text-only and multimodal domains, Co-RL consistently outperforms the base models and prior label-free approaches, while matching or surpassing supervised methods, without access to any ground-truth labels. Concretely, Co-RL yields average gains of 3.0-8.6% across seven text-only benchmarks for LLMs and 2.3-7.2% across four multimodal benchmarks for VLMs. Code is available at https://github.com/DrStranded/Co-RL.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、言語モデルと視覚言語モデルにおける推論を改善するための強力なアプローチとして登場したが、その最強の成功は依然として根底からの監督(例えば、検証可能な報酬)に大きく依存している。 このようなアノテーションは、人間が確実に評価できるものを超えて、推論能力が進歩するにつれて、入手にコストがかかり、ますます不足する。 自己回帰RLは、モデルが自身の完了から報酬信号を引き出すことを可能にすることにより、この依存を減らす。 しかし、自己生成フィードバックのみに基づくトレーニングは、既存のバイアスや準最適行動を強化し、応答の多様性を減らし、最終的には均質化された応答とトレーニングの崩壊につながる。 本研究では,協調型マルチエージェント学習により,教師なし推論が実現可能であることを示す。 Co-RLは,パラメータを共有せずに複数の切り離されたモデルを,仲間から得られる報酬を用いてRLを通じて同時に最適化するフレームワークである。 さらに、異種モデルファミリー、サイズ、言い換えトレーニングサンプルによるコホート多様性の増大は、自己強化フィードバックループを駆動する相関エラーを減少させることを示した。 この多様性は推論のパフォーマンスを継続的に改善し、振る舞いの多様性を維持し、トレーニングの崩壊を緩和します。 Co-RLはテキストのみのドメインとマルチモーダルのドメイン全体にわたって、ベースモデルとラベルなしのアプローチを一貫して上回り、教師付きメソッドをマッチングまたは超越し、基盤トラストラベルにアクセスできない。 具体的に言うと、Co-RL は LLM の7つのテキストのみのベンチマークで 3.0-8.6%、VLM の4つのマルチモーダルベンチマークで 2.3-7.2% という平均利得を得ている。 コードはhttps://github.com/DrStranded/Co-RLで入手できる。

関連論文リスト

• Coupled Variational Reinforcement Learning for Language Model General Reasoning [83.82392089177841]
  変分推論と強化学習を橋渡しするために,textitbCoupled bVari bReinforcement bLearning (CoVRL)を提案する。 CoVRLはベースモデルよりも12.4%向上し、最先端の検証不要なRLベースラインよりも2.3%向上した。
  論文  参考訳（メタデータ） (2025-12-14T07:03:51Z)
• ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs [32.13266235550995]
  強化学習(RL)は、大規模言語モデル(LLM)の標準化の標準パラダイムとなっている。 人間の学習から得られた観察から着想を得て、検証可能な結果とモデル自身の信頼度推定を統合するRL手法を導入する。
  論文  参考訳（メタデータ） (2025-09-22T13:00:35Z)
• An Arbitration Control for an Ensemble of Diversified DQN variants in Continual Reinforcement Learning [7.648784748888187]
  RLエージェントのアンサンブル上での調停制御機構を提案する。 連続的な強化学習の文脈において、人間がどのように意思決定を行うかによって動機付けられ、密接に一致している。 静的環境と連続環境の両方において、大幅な性能向上を示す。
  論文  参考訳（メタデータ） (2025-09-05T05:28:52Z)
• Revisiting Reinforcement Learning for LLM Reasoning from A Cross-Domain Perspective [82.24301452333577]
  強化学習(RL)は,大規模言語モデル(LLM)推論を改善するための有望なアプローチとして登場した。 重要な課題は、様々な推論領域にまたがる信頼性とスケーラブルなRL報酬信号の欠如である。 我々は,6つの推論領域にまたがる92Kの検証可能な例をキュレートしたRL推論コーパスであるGuruを紹介する。
  論文  参考訳（メタデータ） (2025-06-17T20:24:00Z)
• Consistent Paths Lead to Truth: Self-Rewarding Reinforcement Learning for LLM Reasoning [87.7836502955847]
  本稿では,Large Language Model (LLM)推論を強化するための,自己回帰型強化学習フレームワークを提案する。 私たちのキーとなる洞察は、正しい応答はモデルの可能性の観点から一貫した軌道パターンを示すことが多いということです。 本稿では,安定度とボラティリティを,頑健なベクトル空間集約戦略を通じて統合する,本質的な報酬機構であるCoVoを紹介する。
  論文  参考訳（メタデータ） (2025-06-10T12:40:39Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• SuperRL: Reinforcement Learning with Supervision to Boost Language Model Reasoning [42.54530036364341]
  まばらな報酬のある環境では、強化学習は軌道のサンプリングに苦労する。 我々は、RLとSFTを代替する統合トレーニングフレームワークであるSuperRLを紹介する。 実験により、スーパーRLは、サンプル効率の向上、一般化の強化、スパース報酬下での堅牢性の向上により、バニラRLを超えることが示された。
  論文  参考訳（メタデータ） (2025-06-01T17:43:54Z)
• Generative RLHF-V: Learning Principles from Multi-modal Human Preference [15.068452240642884]
  我々は、GRMとマルチモーダルRLHFを統合する新しいアライメントフレームワーク、Generative RLHF-Vを紹介する。 RL$の2段階のパイプラインを提案する: $textbfmulti-modalgenerative reward Modeling from RL$, そこでは、RLがGRMを誘導し、人間の意図を積極的に捉え、正しいペアワイズスコアを予測する。 我々のフレームワークは7つのベンチマークで4つのMLLMのパフォーマンスを18.1%$で改善し、ベースラインのRLHFは5.3%$でしかない。
  論文  参考訳（メタデータ） (2025-05-24T05:50:07Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。