論文の概要: Imitation Bootstrapped Multi-Agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2611.18543v1
- Date: Fri, 13 Nov 2026 18:50:05 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:28:00.268446
- Title: Imitation Bootstrapped Multi-Agent Reinforcement Learning
- Title(参考訳): 模擬ブートストラップによるマルチエージェント強化学習
- Abstract要約: 本稿では,Bootstrapped Reinforcement Learning(IBRL)を協力チームへ拡張し,R2BCを用いて模倣ポリシーのトレーニングを行うフレームワークを提案する。
ゲート模倣ペナルティ、ソフトQフィルターによる行動クローニング損失は、各RLポリシーを、批評家が模倣行為をより重視する場合にのみ、その模倣ポリシーに向けて規則化する。
4つの協調型マルチエージェントRLベンチマークでは、IBMARLはデモベースベースラインよりも高速な2.6$-4.2timesの模倣ポリシーを超越している。
- 参考スコア(独自算出の注目度): 10.14646115546617
- License:
- Abstract: Demonstrations are an effective way to accelerate single-agent reinforcement learning (RL), but extending this idea to multi-agent reinforcement learning (MARL) is non-trivial as it is difficult and often impossible for a single person to teleoperate multiple agents simultaneously. Round-Robin Behavior Cloning (R2BC) addresses this by letting a single demonstrator control one agent at a time while the others execute their current policies. However, the resulting imitation policies are limited by the quality of the demonstrations. We propose Imitation Bootstrapped Multi-Agent Reinforcement Learning (IBMARL), a framework that extends Imitation Bootstrapped Reinforcement Learning (IBRL) to cooperative teams and uses R2BC to train the imitation policies. At each time step, every agent receives one action proposal from its imitation policy and one from its RL policy, and an ensemble of centralized critics selects among the per-agent combinations of the two. A gated imitation penalty, a soft Q-filtered behavior cloning loss, regularizes each RL policy toward its imitation policy only where the critics value the imitation action more, so that after training each agent executes its RL policy alone, without the centralized critics. On four cooperative multi-agent RL benchmarks, IBMARL surpasses its imitation policies $2.6$-$4.2\times$ faster than demonstration-based baselines on two tasks, is the only method to surpass it on the other two, and exceeds the demonstrator itself on two of the four. With real human demonstrations IBMARL still surpasses imitation learning alone, and does so more than twice as fast as the best baseline.
- Abstract(参考訳): 実証はシングルエージェント強化学習(RL)を加速する有効な方法であるが、このアイデアをマルチエージェント強化学習(MARL)に拡張することは困難であり、同時に複数のエージェントを遠隔操作することはしばしば不可能である。
ラウンドロビン・ビヘイビア・クローン(R2BC)は、ひとつのデモレータが一度にひとつのエージェントをコントロールし、他のエージェントが現在のポリシーを実行することで、この問題に対処する。
しかし、結果として生じる模倣ポリシーは、デモの品質によって制限される。
我々はImitation Bootstrapped Multi-Agent Reinforcement Learning (IBMARL)を提案する。これはImitation Bootstrapped Reinforcement Learning (IBRL)を協力チームへ拡張し、R2BCを使って模倣ポリシーを訓練するフレームワークである。
各段階において、各エージェントは模倣ポリシーから1つのアクション提案を受け取り、RLポリシーから1つのアクション提案を受け取り、中央集権的な批評家が2つのエージェントの組み合わせの中から1つのアクション提案を選択する。
ゲート模倣ペナルティ、ソフトQフィルタ行動クローニング損失は、各RLポリシーを、批評家が模倣行為をより重視している場合にのみ、模倣ポリシーに向けて規則化し、各エージェントを訓練した後は、中央の批評家なしでRLポリシーを単独で実行する。
4つの協調型マルチエージェントRLベンチマークでは、IBMARLは2つのタスクのデモベースベースラインよりも2.6$-4.2\times$の模倣ポリシーを上回り、他の2つのタスクでそれを超える唯一の方法である。
実の人間による実演では、IBMARLはいまだに模倣学習に勝っており、最高のベースラインの2倍以上の速さで実行されています。
関連論文リスト
- IB-RL: Isolated Bilateral Reinforcement Learning for Strategic Dialogue Agents [7.9227321734048495]
強化学習(Reinforcement Learning, RL)は、数学的推論やコード実行など、定常的で検証可能な報酬を持つタスクにおいて、大きな言語モデル(LLM)を改善する上で大きな成果を上げている。
このようなインタラクティブな性質にもかかわらず、現在のRLアプローチは通常、固定されたエージェントやシミュレータに対してターゲットエージェントを訓練する。
この訓練パラダイムは、政策が相互に共通する戦略を学習するよりも、相補的な正規性を活用することを奨励している。
本稿では,両ロールが共同ロールアウトを通じて共進化し,各ロールが完全に独立したアドバンテージ,アクションマスクを通じて自身の報酬を最適化する,分離型バイラテラル強化学習(IB-RL)を提案する。
論文 参考訳(メタデータ) (2026-08-07T02:59:53Z) - MARTI-MARS$^2$: Scaling Multi-Agent Self-Search via Reinforcement Learning for Code Generation [64.2621682259008]
セルフサーチスケーリングによるマルチエージェント強化トレーニングと推論フレームワーク(MARTI-MARS2)
本稿では,MARTI-MARS2を用いたマルチエージェント強化学習・推論フレームワークを提案する。
我々は、MARTI-MARS2が77.7%を獲得し、GPT-5.1のような強力なベースラインを、挑戦的なコード生成ベンチマークで上回っていることを示す。
論文 参考訳(メタデータ) (2026-02-08T07:28:44Z) - Multi-Agent Inverse Q-Learning from Demonstrations [3.4136908117644698]
Multi-Agent Marginal Q-Learning from Demonstrations (MAMQL)は、マルチエージェントIRLのための新しいサンプル効率フレームワークである。
MAMQLは,従来のマルチエージェント手法よりも平均報酬率,サンプル効率,報酬回復率を2~5倍に向上させることを示した。
論文 参考訳(メタデータ) (2025-03-06T18:22:29Z) - Redistributing Rewards Across Time and Agents for Multi-Agent Reinforcement Learning [14.852334980733369]
共用型マルチエージェント強化学習において、各エージェントの共用報酬への貢献を阻害する信用割り当ては重要な課題である。
本稿では、この制約から信用モデリングを分離するアプローチであるTAR(Temporal-Agent Reward Redistribution)を導入する。
本手法は,モデル精度によらず最適ポリシーが維持されることを保証するPBRSと等価であることを示す。
論文 参考訳(メタデータ) (2025-02-07T12:07:57Z) - Learning From Good Trajectories in Offline Multi-Agent Reinforcement
Learning [98.07495732562654]
オフラインマルチエージェント強化学習(MARL)は、事前コンパイルされたデータセットから効果的なマルチエージェントポリシーを学ぶことを目的としている。
オフラインのMARLが学んだエージェントは、しばしばこのランダムなポリシーを継承し、チーム全体のパフォーマンスを脅かす。
この問題に対処するために,共有個人軌道(SIT)と呼ばれる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-28T18:11:26Z) - RPM: Generalizable Behaviors for Multi-Agent Reinforcement Learning [90.43925357575543]
本稿では,MARLポリシーを総合性良く訓練するための多様なマルチエージェントトラジェクトリを収集するために,ランク付けされたポリシーメモリ(RPM)を提案する。
RPMにより、マルチエージェントの一般化評価シナリオと完全なタスクにおいて、MARLエージェントが未確認エージェントと対話することが可能になり、平均402%のパフォーマンスが大幅に向上する。
論文 参考訳(メタデータ) (2022-10-18T07:32:43Z) - Sparse Adversarial Attack in Multi-agent Reinforcement Learning [18.876664289847422]
我々は,cMARLシステムに対するテキストスパース対逆攻撃を提案する。
実験により、現在のcMARLアルゴリズムで訓練されたポリシーは、攻撃を受けたエージェントが1人または数人しかいない場合に、性能が劣ることが示された。
論文 参考訳(メタデータ) (2022-05-19T07:46:26Z) - Plan Better Amid Conservatism: Offline Multi-Agent Reinforcement
Learning with Actor Rectification [74.10976684469435]
オフライン強化学習(RL)アルゴリズムは、直接マルチエージェント設定に転送することができる。
本稿では,この重要な課題に対処するために,Actor Rectification (OMAR) を用いたオフラインマルチエージェント RL を提案する。
OMARはマルチエージェント連続制御ベンチマークにおける最先端性能と強いベースラインを著しく上回る。
論文 参考訳(メタデータ) (2021-11-22T13:27:42Z) - MALib: A Parallel Framework for Population-based Multi-agent
Reinforcement Learning [61.28547338576706]
人口ベースマルチエージェント強化学習(PB-MARL)は、強化学習(RL)アルゴリズムでネストした一連の手法を指す。
PB-MARLのためのスケーラブルで効率的な計算フレームワークMALibを提案する。
論文 参考訳(メタデータ) (2021-06-05T03:27:08Z) - Scalable Multi-Agent Inverse Reinforcement Learning via
Actor-Attention-Critic [54.2180984002807]
マルチエージェント逆逆強化学習 (MA-AIRL) は, 単エージェントAIRLをマルチエージェント問題に適用する最近の手法である。
本稿では,従来の手法よりもサンプル効率が高く,スケーラブルなマルチエージェント逆RLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-24T20:30:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。