論文の概要: Scaling Multi-Agent Reinforcement Learning with Selective Parameter Sharing

• arxiv url: http://arxiv.org/abs/2102.07475v1
• Date: Mon, 15 Feb 2021 11:33:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-16 15:19:30.924177
• Title: Scaling Multi-Agent Reinforcement Learning with Selective Parameter Sharing
• Title（参考訳）: 選択パラメータ共有によるマルチエージェント強化学習のスケーリング
• Authors: Filippos Christianos, Georgios Papoudakis, Arrasy Rahman, Stefano V. Albrecht
• Abstract要約: 深層強化学習におけるパラメータの共有は、アルゴリズムを多数のエージェントに拡張する上で重要な役割を担っている。 しかし、全てのエージェントが同じパラメータを共有することは、学習に有害な影響を及ぼす可能性がある。 それらの能力と目標に基づいて,パラメータを分割することで,パラメータ共有の恩恵を受けるエージェントを自動的に特定する手法を提案する。
• 参考スコア（独自算出の注目度）: 4.855663359344748
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sharing parameters in multi-agent deep reinforcement learning has played an essential role in allowing algorithms to scale to a large number of agents. Parameter sharing between agents significantly decreases the number of trainable parameters, shortening training times to tractable levels, and has been linked to more efficient learning. However, having all agents share the same parameters can also have a detrimental effect on learning. We demonstrate the impact of parameter sharing methods on training speed and converged returns, establishing that when applied indiscriminately, their effectiveness is highly dependent on the environment. Therefore, we propose a novel method to automatically identify agents which may benefit from sharing parameters by partitioning them based on their abilities and goals. Our approach combines the increased sample efficiency of parameter sharing with the representational capacity of multiple independent networks to reduce training time and increase final returns.
• Abstract（参考訳）: 多エージェント深部強化学習におけるパラメータの共有は,アルゴリズムを多数のエージェントに拡張する上で重要な役割を担っている。 エージェント間のパラメータ共有は、トレーニング可能なパラメータの数を大幅に減少させ、トレーニング時間をトラクタブルレベルに短縮し、より効率的な学習に結びついている。 しかし、全てのエージェントが同じパラメータを共有することは、学習に有害な影響を及ぼす可能性がある。 パラメータ共有手法が学習速度と収束リターンに与える影響を実証し,無差別に適用した場合,その効果は環境に大きく依存することを示した。 そこで本研究では,その能力と目標に基づいてパラメータを分割することで,パラメータ共有の恩恵を受けるエージェントを自動的に特定する手法を提案する。 提案手法は,パラメータ共有のサンプル効率の向上と,複数の独立ネットワークの表現能力の併用により,トレーニング時間を短縮し,最終的なリターンを増大させる。

関連論文リスト

• Multimodal Parameter-Efficient Few-Shot Class Incremental Learning [0.587978226098469]
  FSCIL(Few-Shot Class Incremental Learning)は、いくつかの学習セッションで限られたトレーニング例が利用できる、挑戦的な継続的学習タスクである。 このタスクを成功させるためには、数発のトレーニングセットにおけるバイアス分布に起因する新しいクラスを過度に適合させるのを避ける必要がある。 CPE-CLIPは、最先端の提案と比較してFSCILの性能を著しく改善すると同時に、学習可能なパラメータの数やトレーニングコストを大幅に削減する。
  論文  参考訳（メタデータ） (2023-03-08T17:34:15Z)
• Parameter Sharing with Network Pruning for Scalable Multi-Agent Deep Reinforcement Learning [20.35644044703191]
  本稿では,ニューラルネットワークに構造化プルーニングを適用して,新たなパラメータを導入することなく,共同政策の表現能力を高める方法を提案する。 提案手法をいくつかのベンチマークタスクで評価し,提案手法が他のパラメータ共有手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-02T02:17:14Z)
• Decentralized scheduling through an adaptive, trading-based multi-agent system [1.7403133838762448]
  多エージェント強化学習システムでは、あるエージェントの動作が他のエージェントの報酬に悪影響を及ぼす可能性がある。 この作業は、エージェントが入ってくるジョブをコアに割り当てる責任を負うシミュレーションスケジューリング環境に、トレーディングアプローチを適用します。 エージェントは計算コアの使用権を交換して、低優先度で低報酬のジョブよりも高速に、高利益のジョブを処理できる。
  論文  参考訳（メタデータ） (2022-07-05T13:50:18Z)
• Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient Multi-task Knowledge Sharing [53.399742232323895]
  ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。 異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。 パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
  論文  参考訳（メタデータ） (2022-05-24T10:48:33Z)
• No Parameters Left Behind: Sensitivity Guided Adaptive Learning Rate for Training Large Transformer Models [132.90062129639705]
  本稿では,全てのパラメータを十分に訓練するための新しいトレーニング戦略を提案する。 感度の低いパラメータは冗長であり、学習率を高めて適合性を改善する。 対照的に、高い感度を持つパラメータを十分に訓練し、学習率を下げて正規化することで、さらなる過度なオーバーフィッティングを防止する。
  論文  参考訳（メタデータ） (2022-02-06T00:22:28Z)
• Efficient Single Image Super-Resolution Using Dual Path Connections with Multiple Scale Learning [26.916801759065056]
  本稿では,EMSRDPN という名前のマルチスケール学習を用いた2経路接続を用いた効率的な単一画像超解像ネットワークを提案する。 EMSRDPNはSOTA法よりも優れた性能と同等あるいはそれ以上のパラメータと推論効率を実現する。
  論文  参考訳（メタデータ） (2021-12-31T11:03:59Z)
• Training Neural Networks with Fixed Sparse Masks [19.58969772430058]
  最近の研究では、トレーニング中にモデルのパラメータの小さなサブセットだけを更新できることが示されている。 モデルのパラメータに固定されたスパースマスクを誘導し、サブセットを選択して複数のイテレーションで更新できることが示される。
  論文  参考訳（メタデータ） (2021-11-18T18:06:01Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
  機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。 本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
  論文  参考訳（メタデータ） (2020-03-10T05:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。