論文の概要: Adaptive parameter sharing for multi-agent reinforcement learning

• arxiv url: http://arxiv.org/abs/2312.09009v1
• Date: Thu, 14 Dec 2023 15:00:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 21:40:01.150039
• Title: Adaptive parameter sharing for multi-agent reinforcement learning
• Title（参考訳）: マルチエージェント強化学習のための適応パラメータ共有
• Authors: Dapeng Li, Na Lou, Bin Zhang, Zhiwei Xu, Guoliang Fan
• Abstract要約: 生物学における脳に関する研究から着想を得た新しいパラメータ共有手法を提案する。 エージェントのタイプを、そのアイデンティティに基づいて、共有ネットワーク内の異なるリージョンにマッピングする。 本手法は,訓練パラメータを付加することなく,異なるエージェント間の戦略の多様性を向上させることができる。
• 参考スコア（独自算出の注目度）: 16.861543418593044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter sharing, as an important technique in multi-agent systems, can effectively solve the scalability issue in large-scale agent problems. However, the effectiveness of parameter sharing largely depends on the environment setting. When agents have different identities or tasks, naive parameter sharing makes it difficult to generate sufficiently differentiated strategies for agents. Inspired by research pertaining to the brain in biology, we propose a novel parameter sharing method. It maps each type of agent to different regions within a shared network based on their identity, resulting in distinct subnetworks. Therefore, our method can increase the diversity of strategies among different agents without introducing additional training parameters. Through experiments conducted in multiple environments, our method has shown better performance than other parameter sharing methods.
• Abstract（参考訳）: パラメータ共有はマルチエージェントシステムにおいて重要な手法であり、大規模エージェント問題のスケーラビリティを効果的に解決することができる。 しかし,パラメータ共有の有効性は環境設定に大きく依存する。 エージェントが異なるアイデンティティやタスクを持つ場合、単純パラメータ共有はエージェントの十分な差別化戦略を生成するのを難しくする。 生物学における脳に関する研究から着想を得て,新しいパラメータ共有法を提案する。 エージェントのそれぞれのタイプを、そのアイデンティティに基づいて共有ネットワーク内の異なるリージョンにマッピングし、結果として異なるサブネットワークとなる。 したがって,新たな訓練パラメータを導入することなく,異なるエージェント間の戦略の多様性を高めることができる。 複数の環境で行った実験により,本手法は他のパラメータ共有手法よりも優れた性能を示した。

関連論文リスト

• Kaleidoscope: Learnable Masks for Heterogeneous Multi-agent Reinforcement Learning [14.01772209044574]
  本稿では,新しい適応型部分パラメータ共有方式であるEmphKaleidoscopeを紹介する。 パラメータ共有の効率を犠牲にすることなく、これらのマスク間の相違を促進することで、ポリシーネットワーク間の多様性を促進する。 我々はKaleidoscopeを拡張してアクター批判アルゴリズムの文脈におけるアンサンブルを批判する。
  論文  参考訳（メタデータ） (2024-10-11T05:22:54Z)
• Merging Multi-Task Models via Weight-Ensembling Mixture of Experts [64.94129594112557]
  異なるタスクでトレーニングされたTransformerベースのモデルを単一の統一モデルにマージすることで、すべてのタスクを同時に実行できる。 従来の手法は、タスク演算によって例示され、効率的かつスケーラブルであることが証明されている。 本稿では,Transformer層をMoEモジュールにアップスケーリングしながら,ほとんどのパラメータをマージすることを提案する。
  論文  参考訳（メタデータ） (2024-02-01T08:58:57Z)
• Measuring Policy Distance for Multi-Agent Reinforcement Learning [9.80588687020087]
  マルチエージェント強化学習(MARL)における政策差を測定するための多エージェント政策距離(MAPD)を提案する。 エージェントの判断の条件表現を学習することで、PDはエージェント間のポリシー距離を計算することができる。 また、MAPDをカスタマイズ可能なバージョンに拡張し、特定の側面におけるエージェントポリシーの違いを定量化します。
  論文  参考訳（メタデータ） (2024-01-20T15:34:51Z)
• Parameter Sharing with Network Pruning for Scalable Multi-Agent Deep Reinforcement Learning [20.35644044703191]
  本稿では,ニューラルネットワークに構造化プルーニングを適用して,新たなパラメータを導入することなく,共同政策の表現能力を高める方法を提案する。 提案手法をいくつかのベンチマークタスクで評価し,提案手法が他のパラメータ共有手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-02T02:17:14Z)
• Multi-agent Deep Covering Skill Discovery [50.812414209206054]
  本稿では,複数エージェントの結合状態空間の予測被覆時間を最小化し,マルチエージェントオプションを構築するマルチエージェントDeep Covering Option Discoveryを提案する。 また、MARLプロセスにマルチエージェントオプションを採用するための新しいフレームワークを提案する。 提案アルゴリズムは,アテンション機構とエージェントの相互作用を効果的に把握し,マルチエージェントオプションの同定に成功した。
  論文  参考訳（メタデータ） (2022-10-07T00:40:59Z)
• Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent RL [107.58821842920393]
  我々はエージェントの行動差を定量化し、bfロールの多様性を通して政策パフォーマンスとの関係を構築する MARLの誤差は, 役割多様性と強い関係を持つ3つの部分に分けられる。 分解された要因は3つの一般的な方向における政策最適化に大きな影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2022-06-01T04:58:52Z)
• LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning [122.47938710284784]
  協調型MARLにおける動的サブタスク代入(LDSA)を学習するための新しいフレームワークを提案する。 エージェントを異なるサブタスクに合理的に割り当てるために,能力に基づくサブタスク選択戦略を提案する。 LDSAは、より優れたコラボレーションのために、合理的で効果的なサブタスクの割り当てを学習していることを示す。
  論文  参考訳（メタデータ） (2022-05-05T10:46:16Z)
• Scaling Multi-Agent Reinforcement Learning with Selective Parameter Sharing [4.855663359344748]
  深層強化学習におけるパラメータの共有は、アルゴリズムを多数のエージェントに拡張する上で重要な役割を担っている。 しかし、全てのエージェントが同じパラメータを共有することは、学習に有害な影響を及ぼす可能性がある。 それらの能力と目標に基づいて,パラメータを分割することで,パラメータ共有の恩恵を受けるエージェントを自動的に特定する手法を提案する。
  論文  参考訳（メタデータ） (2021-02-15T11:33:52Z)
• Small Towers Make Big Differences [59.243296878666285]
  マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。 マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。 本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
  論文  参考訳（メタデータ） (2020-08-13T10:45:31Z)
• Revisiting Parameter Sharing in Multi-Agent Deep Reinforcement Learning [14.017603575774361]
  我々はエージェント指示の概念を定式化し、それが最適政策への収束を初めて可能にすることを証明した。 次に,パラメータ共有を異種観測空間や行動空間における学習に拡張する手法を正式に導入する。
  論文  参考訳（メタデータ） (2020-05-27T20:14:28Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。