論文の概要: Training Small LLMs as Spatial Multi-Agent Policies

• arxiv url: http://arxiv.org/abs/2608.01425v1
• Date: Sun, 02 Aug 2026 18:14:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.225611
• Title: Training Small LLMs as Spatial Multi-Agent Policies
• Title（参考訳）: 空間的マルチエージェント政策としての小型LCMの育成
• Abstract要約: 空間的協調ゲームでは両スレッドを取り上げ、小さな凍結LDMは低レベル動作で失敗し、報酬はゼロとなる。 我々は,各ゲームに,記号プランナーによって実行される,型付けされた,状態対応可能な,短期水平動作という,象徴的な入力のライブラリを装備する。 各エージェントのLCMはオプションに対するポリシーとして機能し、エージェントごとのLORAアダプタはマルチエージェントGRPOのエージェントごとの変種によって訓練される。
• 参考スコア（独自算出の注目度）: 17.254137262162505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training LLM-based multi-agent systems with multi-agent reinforcement learning is rapidly gaining traction, and a parallel line of work argues that such systems should be judged by their behavior, not only their reward. We take up both threads in spatial cooperative games, where small frozen LLMs prompted with low-level actions fail outright, earning zero reward. Guided by the options/semi-MDP framework---and, because option execution is asynchronous across agents, its multi-agent extension in macro-action Dec-POMDPs---we equip each game with a library of symbolic \emph{options}: typed, state-feasible, short-horizon behaviors executed by a symbolic planner. Each library is drafted by a frontier coding model from the game's source code; the feasibility guards that filter each menu are then synthesized mechanically from cheap random-policy burn-in rollouts---a guard is adopted only if it explains repeated execution failures while hiding no logged success---so no guard is authored, selected, or reward-tuned by hand. Each agent's LLM acts as its policy over options, with a private per-agent LoRA adapter trained by a per-agent variant of multi-agent GRPO (PA-MAGRPO); this lifts frozen bases from zero reward to competent play across three games and four small backbones. Behavioral audits then reveal that reward and cooperation decouple: a rising reward curve may simply mean that one agent has learned to run the entire task alone while its partner idles---cooperation emerges only when the task makes it necessary. Reward alone is thus an unreliable readout of cooperation; behavioral evaluation must sit alongside it.
• Abstract（参考訳）: マルチエージェント強化学習を用いたLLMベースのマルチエージェントシステムの訓練は急速に勢いを増してきている。 空間協調ゲームでは両スレッドを取り上げ,低レベル動作による小さな凍結LDMが完全に失敗し,報酬がゼロとなる。 オプション/セミ-MDPフレームワークによってガイドされ、オプションの実行はエージェント間で非同期であるため、マクロアクションにおけるマルチエージェント拡張であるDec-POMDPs----各ゲームには、型付き、状態実現可能な、短いホライズン動作がシンボルプランナーによって実行される象徴的な \emph{options} のライブラリが備わっている。 各ライブラリは、ゲームのソースコードからフロンティアコーディングモデルによってドラフトされ、各メニューをフィルタリングするファシビリティガードは、安価なランダムポリシーバーンインロールアウトから機械的に合成される。 各エージェントのLCMはオプションに対するポリシーとして機能し、マルチエージェントGRPO (PA-MAGRPO) のエージェントごとの個人用LORAアダプタが訓練され、3つのゲームと4つの小さなバックボーンでフリーズベースをゼロ報酬から有能なプレーに引き上げる。 報酬曲線の上昇は、単に1人のエージェントが、そのパートナーがアイドル状態にある間、そのタスク全体を実行することを学習したことを意味します。 したがって、リワード単独は信頼できない協力の読み出しであり、行動評価はその傍に置かれなければならない。

関連論文リスト

• Is Per-Agent Policy Composition Safe? Rethinking Successor-Feature Transfer in Cooperative Multi-Agent Reinforcement Learning [5.703301837612397]
  マルチエージェント転送は,ライブラリ内のすべてのポリシーよりも,関節動作を著しく悪化させる可能性があることを示す。 そこで本稿では,MA-USFAとMA-USFAという2つの階層からなる階層的手法を提案し,各エージェントの目的を条件付きで各エージェントの後継特徴を予測し,各エージェントが従うべきライブラリを選別し,エージェントごとの値が表現できないようなクロスエージェント補正を提供する上層作曲家を提案する。
  論文  参考訳（メタデータ） (2026-08-12T04:56:52Z)
• CoAgent: Concurrency Control for Multi-Agent Systems [3.127039011380953]
  本稿では、古典的なトランザクションに欠ける能力に基づいて制御を構築する。 起動時にシリアライズ順序を修正し、各順序フィルタリングされた値を読み出し、投機的に書き込みを適用する。 オンラインの25ツールライブラリを成長させ、タスクパスレートを45/71から63/71に引き上げる。
  論文  参考訳（メタデータ） (2026-06-13T16:15:14Z)
• Benchmarking Open-Ended Multi-Agent Coordination in Language Agents [48.1363632826625]
  Alemは、手続き的に生成されたコーディネーションタスク、ソフトな特殊化、コミュニケーション、制御可能なコーディネーションの難しさを、長い水平サバイバルの世界に埋め込む。 Craftaxライクなダイナミックス上に構築されたオープンなマルチエージェント協調のためのJAXベースのベンチマークである$alem$を紹介します。
  論文  参考訳（メタデータ） (2026-06-06T21:13:43Z)
• CAPO: Counterfactual Credit Assignment in Sequential Cooperative Teams [6.8920524670882815]
  本稿では,Aristocrat Utility(SeqAU)について紹介する。 批判のないポリシー段階のアルゴリズムであるCAPOを導出する。
  論文  参考訳（メタデータ） (2026-04-20T01:14:59Z)
• CoFi-PGMA: Counterfactual Policy Gradients under Filtered Feedback for Multi-Agent LLMs [0.0]
  マルチエージェントLLMシステムにおいて,フィルタフィードバック下で学習するための統合フレームワークであるCoFi-PGMAを紹介する。 提案手法は,経路と協調機構の両面から学習信号を補正する,限界貢献に基づく対実的エージェント単位の学習目標を導出する。
  論文  参考訳（メタデータ） (2026-04-03T22:55:23Z)
• Multi-Agent Tool-Integrated Policy Optimization [67.12841355267678]
  大規模言語モデル(LLM)は、知識集約的かつ複雑な推論タスクに対して、多ターンツール統合計画にますます依存している。 既存の実装は通常、単一のエージェントに依存するが、コンテキスト長とノイズの多いツールレスポンスに悩まされる。 ツール統合マルチエージェントフレームワークの効果的な強化学習をサポートする方法はない。
  論文  参考訳（メタデータ） (2025-10-06T10:44:04Z)
• Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
  人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。 制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。 本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:34:25Z)
• Multi-Agent Inverse Q-Learning from Demonstrations [3.4136908117644698]
  Multi-Agent Marginal Q-Learning from Demonstrations (MAMQL)は、マルチエージェントIRLのための新しいサンプル効率フレームワークである。 MAMQLは,従来のマルチエージェント手法よりも平均報酬率,サンプル効率,報酬回復率を2～5倍に向上させることを示した。
  論文  参考訳（メタデータ） (2025-03-06T18:22:29Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• Learning From Good Trajectories in Offline Multi-Agent Reinforcement Learning [98.07495732562654]
  オフラインマルチエージェント強化学習(MARL)は、事前コンパイルされたデータセットから効果的なマルチエージェントポリシーを学ぶことを目的としている。 オフラインのMARLが学んだエージェントは、しばしばこのランダムなポリシーを継承し、チーム全体のパフォーマンスを脅かす。 この問題に対処するために,共有個人軌道(SIT)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-28T18:11:26Z)
• Off-Beat Multi-Agent Reinforcement Learning [62.833358249873704]
  オフビート動作が一般的環境におけるモデルフリーマルチエージェント強化学習(MARL)について検討した。 モデルレスMARLアルゴリズムのための新しいエピソードメモリLeGEMを提案する。 我々は,Stag-Hunter Game,Quarry Game,Afforestation Game,StarCraft IIマイクロマネジメントタスクなど,オフビートアクションを伴うさまざまなマルチエージェントシナリオ上でLeGEMを評価する。
  論文  参考訳（メタデータ） (2022-05-27T02:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。