論文の概要: Compositional RL: Evaluating and Training LLMs for Collaborative Reasoning

• arxiv url: http://arxiv.org/abs/2610.17456v1
• Date: Mon, 12 Oct 2026 22:16:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.464211
• Title: Compositional RL: Evaluating and Training LLMs for Collaborative Reasoning
• Title（参考訳）: 合成RL:協調推論のためのLLMの評価と訓練
• Abstract要約: モデルプールの連立性よりも協調ゲームのシェープリー値を用いてモデルの構成強度を定式化する。 次に,ライブマルチモデルシステム内でポリシーを訓練し,システム全体の成果を報奨する合成強化学習(C-RL)を提案する。
• 参考スコア（独自算出の注目度）: 97.32102143832891
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are often evaluated alone but increasingly deployed together, routed between, made to debate, ensembled, or collaboratively trained. For a model inside a system, what matters most is not how well it performs on its own, but how much the system gains from its presence. We call this a model's compositional strength and formalize it using the Shapley value of a cooperative game over coalitions of a model pool, and use a model's leave-one-out contribution to the full coalition as a tractable proxy, requiring n+1 rather than 2^n system evaluations. Evaluating individual vs. compositional strengths across five model pools, twelve collaboration methods, and twelve datasets, we find them largely uncorrelated: in 12 of 15 (pool, method-family) settings, individual strength does not translate into compositional advantages, and the coupling is weakest among general-purpose models that practitioners are most likely to deploy. Standalone benchmarks are therefore often poor proxies for models' value in collaborative systems. We then propose compositional reinforcement learning (C-RL), which trains a policy inside a live multi-model system and rewards the outcome produced by the system as a whole, rather than the policy's correctness in isolation. The leave-one-out baseline in Shapley values cancels under a group policy gradient, so this needs no additional rollout cost beyond RL on the collaborative system's outcome and never requires running a coalition without the policy. Across three collaboration protocols and eight tasks spanning reasoning, coding, and scientific discovery, C-RL produces the strongest collaborator in 21 of 24 settings, lifting collaborative performance by +4.0 to +5.4 pts on average (~3x the gain of baselines), up to +13.1 pts.
• Abstract（参考訳）: 言語モデルは、しばしば単独で評価されるが、次第に一緒にデプロイされ、相互にルートされ、議論され、組み立てられ、協調的に訓練される。 システム内のモデルにとって、最も重要なことは、それがいかにうまく機能するかではなく、システムの存在からどれだけの量を得るかである。 これをモデルの構成強度と呼び、モデルプールの連立よりも協調ゲームのシェープリー値を用いて定式化し、2^nシステム評価よりもn+1を必要とする、フル連立へのモデルからの1対1の貢献をトラクタブルプロキシとして使用する。 5つのモデルプール、12のコラボレーションメソッド、12のデータセットの個人と構成上の強度を評価すると、それらはほとんど無関係であることがわかった: 15の(プール、メソッドファミリー)設定のうち12の個々の強度は、構成上の利点に変換されず、実践者が最もデプロイする可能性が高い汎用モデルの中で、結合は弱い。 したがって、スタンドアローンのベンチマークは、しばしば協調システムにおけるモデルの価値の悪いプロキシである。 そこで我々は,実運用型マルチモデルシステム内で政策を訓練し,システム全体の成果を単独で評価する構成強化学習(C-RL)を提案する。 シャプリー・バリューのアウト・ワン・ベースラインは、グループ・ポリシー・グラデーションの下で取り消されるため、共同システムの成果に対してRLを超える追加のロールアウトコストは不要であり、政策なしでの連立実行は不要である。 C-RLは、推論、コーディング、科学的発見にまたがる3つのコラボレータと8つのタスクにまたがって、24のセッティングのうち21の最も強力なコラボレータを生成し、平均で+4.0から+5.4 ptsのコラボレーション性能を+13.1 ptsまで引き上げた。

関連論文リスト

• Arm-wise Compositional Generalization in Dual-Arm Vision-Language-Action Models [53.961292086732364]
  マルチアームコラボレーションの一般化は、腕にまたがる新しい方法で親しみやすい原子スキルを構成するものとして研究することができる。 我々は,emphArm-wise compositional Generalizationのベンチマークである textbfACG-Bench を紹介した。
  論文  参考訳（メタデータ） (2026-10-05T12:03:04Z)
• COMED: The Missing Middle Between Routing and Collaboration in Multi-LLM Inference [42.95442941602803]
  単一のLarge Language Model (LLM) はクエリ間で一様に信頼性がない。 ペアは、モデルだけでは解決できない失敗を回復できますが、最初は正しい答えを損なうことも可能です。 選択型クロスモデル協調のためのポストアンカーコントローラであるCOMEDを紹介する。
  論文  参考訳（メタデータ） (2026-09-22T18:10:07Z)
• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• Agora: Collective and Permissionless Internet-Scale Pretraining of Large Language Models [50.733497395381164]
  Agoraは、インターネットグレードリンク上の帯域効率の高いパイプライン並列モデルシャーディングと、複数パーティのフォールトトレラントな集団操作を組み合わせる。 Pluralis-8BはFineWeb-Eduの500Bトークン上の8.6B-パラメータモデルのオープンで無許可の事前トレーニング実行である。
  論文  参考訳（メタデータ） (2026-07-14T23:32:18Z)
• F-TIS: Harnessing Diverse Models in Collaborative GRPO [6.113106953880909]
  Filtered Truncated Importance Smpling (F-TIS)はGRPOスタイルのトレーニングパラダイムであり、ローカルモデルの学習を改善するために、オフ・ポリティクスのサンプルを使用することができる。 F-TISは、純粋に政治訓練と同一の最終モデル収束を示す。
  論文  参考訳（メタデータ） (2026-05-21T14:25:24Z)
• Three Roles, One Model: Role Orchestration at Inference Time to Close the Performance Gap Between Small and Large Agents [0.4666493857924357]
  複雑なマルチステップ環境において,推論時足場のみに追加のトレーニング計算を使わずに,小さなモデルの性能を向上させることができるかどうかを検討した。 我々は,AppWorldベンチマークのQwen3-8Bを,完全精度と4ビット量子化構成の両方で評価した。 本格的な推測では、私たちの足場付き8Bモデルは、オリジナルのAppWorld評価からDeepSeek-Coder 33Bインストラクション(7.1%)を上回っています。
  論文  参考訳（メタデータ） (2026-04-13T13:40:33Z)
• Everyone Contributes! Incentivizing Strategic Cooperation in Multi-LLM Systems via Sequential Public Goods Games [4.3891974840097925]
  多エージェント協調系列公共財ゲーム(MAC-SPGG) マルチLLMアンサンブルにおける協調を体系的に動機付けるための,ゲーム理論に基づく新しい強化学習フレームワークを提案する。 本研究は,スケーラブルで堅牢なマルチエージェント言語生成のための構造的,インセンティブに整合したMAC-SPGG協力の力を強調した。
  論文  参考訳（メタデータ） (2025-08-04T05:36:07Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。