論文の概要: Collaborative Multi-Agent Test-Time Reinforcement Learning for Reasoning

• arxiv url: http://arxiv.org/abs/2601.09667v1
• Date: Wed, 14 Jan 2026 17:57:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-15 18:59:20.495057
• Title: Collaborative Multi-Agent Test-Time Reinforcement Learning for Reasoning
• Title（参考訳）: 推論のための協調的多エージェントテスト時間強化学習
• Authors: Zhiyuan Hu, Yunhai Hu, Juncheng Liu, Shuyue Stella Li, Yucheng Wang, Zhen Xu, See-Kiong Ng, Anh Tuan Luu, Xinxing Xu, Bryan Hooi, Cynthia Breazeal, Hae Won Park,
• Abstract要約: textbfMulti-Agent Test-Time Reinforcement Learning (MATTRL)を導入する。 MATTRLは、マルチターンの議論、テストタイムの経験の検索と統合、最終的な意思決定のコンセンサスに到達するための、複数の専門家のチームを形成する。 MATTRLは、医学、数学、教育の挑戦的なベンチマーク全体にわたって、マルチエージェントベースラインで平均3.67%、同等のシングルエージェントベースラインで平均8.67%の精度を向上する。
• 参考スコア（独自算出の注目度）: 112.16686518063456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent systems have evolved into practical LLM-driven collaborators for many applications, gaining robustness from diversity and cross-checking. However, multi-agent RL (MARL) training is resource-intensive and unstable: co-adapting teammates induce non-stationarity, and rewards are often sparse and high-variance. Therefore, we introduce \textbf{Multi-Agent Test-Time Reinforcement Learning (MATTRL)}, a framework that injects structured textual experience into multi-agent deliberation at inference time. MATTRL forms a multi-expert team of specialists for multi-turn discussions, retrieves and integrates test-time experiences, and reaches consensus for final decision-making. We also study credit assignment for constructing a turn-level experience pool, then reinjecting it into the dialogue. Across challenging benchmarks in medicine, math, and education, MATTRL improves accuracy by an average of 3.67\% over a multi-agent baseline, and by 8.67\% over comparable single-agent baselines. Ablation studies examine different credit-assignment schemes and provide a detailed comparison of how they affect training outcomes. MATTRL offers a stable, effective and efficient path to distribution-shift-robust multi-agent reasoning without tuning.
• Abstract（参考訳）: マルチエージェントシステムは、多くのアプリケーションのための実用的なLCM駆動のコラボレータへと進化し、多様性とクロスチェックの堅牢性を得た。 しかし、マルチエージェントRL(MARL)トレーニングはリソース集約的で不安定である。 そこで本稿では,構造化されたテキスト体験を推論時にマルチエージェントの議論に注入するフレームワークである,MATTRL(textbf{Multi-Agent Test-Time Reinforcement Learning)を導入する。 MATTRLは、マルチターンの議論、テストタイムの経験の検索と統合、最終的な意思決定のコンセンサスに到達するための、複数の専門家のチームを形成する。 また、ターンレベルの体験プールを構築するためのクレジット割り当てを研究し、それを対話に再注入する。 MATTRLは、医学、数学、教育の挑戦的なベンチマーク全体にわたって、マルチエージェントベースラインで平均3.67\%、同等の単一エージェントベースラインで平均8.67\%の精度を向上する。 アブレーション研究は、異なるクレジット割り当て方式を調べ、それらがトレーニング結果にどのように影響するかを詳細に比較する。 MATTRLは、チューニングなしで分散シフト・ローバストなマルチエージェント推論への安定的で効率的かつ効率的な経路を提供する。

関連論文リスト

• DRAFT-RL: Multi-Agent Chain-of-Draft Reasoning for Reinforcement Learning-Enhanced LLMs [8.532777609640268]
  DRAFT-RLは、Chain-of-Draft(CoD)推論をマルチエージェントRLトレーニングに統合する新しいフレームワークである。 我々は、コード合成、記号数学、知識集約型QAを含む複雑な推論タスクについて評価する。
  論文  参考訳（メタデータ） (2025-11-25T16:33:42Z)
• How to Train a Leader: Hierarchical Reasoning in Multi-Agent LLMs [16.853362180877593]
  我々は、訓練されていないピアエージェントのチームを調整するために、単一のリーダーLDMのみを訓練する階層的なマルチエージェントフレームワークを導入する。 本結果は,複数エージェントLLMシステムにおける協調推論のための単一柔軟なリーダのトレーニングの有効性と効率性を強調した。
  論文  参考訳（メタデータ） (2025-07-11T18:34:07Z)
• An Adversary-Resistant Multi-Agent LLM System via Credibility Scoring [8.779871128906787]
  信頼性スコアリングに基づく汎用・対向抵抗型マルチエージェントLCMフレームワークを提案する。 私たちのシステムは、チームのアウトプットを集約するときに使用される信頼性スコアを関連付けています。
  論文  参考訳（メタデータ） (2025-05-30T05:57:37Z)
• MAMM-Refine: A Recipe for Improving Faithfulness in Generation with Multi-Agent Collaboration [63.31211701741323]
  我々はマルチエージェント・マルチモデル推論を生成にまで拡張し、特に改良による忠実度の向上を図っている。 我々は,各サブタスクに対して固有の評価を設計し,マルチエージェント(複数インスタンス)とマルチモデル(多変数LPMタイプ)の両方がエラー検出やクオリティクスに有効であることを示す。 我々はこれらの知見を、マルチエージェント・マルチモデル・リファインメント(MAMM-Refinement)と呼ばれる最終的な"レシピ"に統合し、マルチエージェント・マルチモデルコラボレーションがパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2025-03-19T14:46:53Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• Large Multimodal Agents: A Survey [78.81459893884737]
  大規模言語モデル(LLM)は、テキストベースのAIエージェントのパワーで優れたパフォーマンスを実現している。 LLMを利用したAIエージェントをマルチモーダルドメインに拡張することに焦点を当てた、新たな研究トレンドがある。 本総説は, この急速に発展する分野において, 今後の研究に有用な洞察とガイドラインを提供することを目的としている。
  論文  参考訳（メタデータ） (2024-02-23T06:04:23Z)
• Deep Multi-Agent Reinforcement Learning for Decentralized Active Hypothesis Testing [11.639503711252663]
  我々は,深層多エージェント強化学習の枠組みに根ざした新しいアルゴリズムを導入することで,マルチエージェント能動仮説テスト(AHT)問題に取り組む。 エージェントが協調戦略を学習し、性能を向上させる能力を効果的に示す実験結果を包括的に提示する。
  論文  参考訳（メタデータ） (2023-09-14T01:18:04Z)
• CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning [15.686200550604815]
  マルチルームホーム環境において,複数の模擬異種ロボット間の協調作業を含むタスクを含むベンチマークデータセットを提案する。 我々は、統合学習フレームワーク、最先端マルチエージェント強化学習技術のマルチモーダル実装、一貫した評価プロトコルを提供する。
  論文  参考訳（メタデータ） (2022-08-26T02:21:31Z)
• Scalable Multi-Agent Inverse Reinforcement Learning via Actor-Attention-Critic [54.2180984002807]
  マルチエージェント逆逆強化学習 (MA-AIRL) は, 単エージェントAIRLをマルチエージェント問題に適用する最近の手法である。 本稿では,従来の手法よりもサンプル効率が高く,スケーラブルなマルチエージェント逆RLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-24T20:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。