論文の概要: Deep Reinforcement Learning with Plasticity Injection

• arxiv url: http://arxiv.org/abs/2305.15555v1
• Date: Wed, 24 May 2023 20:41:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 18:40:48.710697
• Title: Deep Reinforcement Learning with Plasticity Injection
• Title（参考訳）: 塑性注入による深層強化学習
• Authors: Evgenii Nikishin, Junhyuk Oh, Georg Ostrovski, Clare Lyle, Razvan Pascanu, Will Dabney, Andr\'e Barreto
• Abstract要約: 深層強化学習(RL)ネットワークでは、可塑性が徐々に低下することを示す証拠がある。 可塑性注入はパラメータの数を変更せずにネットワーク可塑性を増加させる。 可塑性注入は 代替方法に比べて より強い性能を得る
• 参考スコア（独自算出の注目度）: 37.04729083823982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A growing body of evidence suggests that neural networks employed in deep reinforcement learning (RL) gradually lose their plasticity, the ability to learn from new data; however, the analysis and mitigation of this phenomenon is hampered by the complex relationship between plasticity, exploration, and performance in RL. This paper introduces plasticity injection, a minimalistic intervention that increases the network plasticity without changing the number of trainable parameters or biasing the predictions. The applications of this intervention are two-fold: first, as a diagnostic tool $\unicode{x2014}$ if injection increases the performance, we may conclude that an agent's network was losing its plasticity. This tool allows us to identify a subset of Atari environments where the lack of plasticity causes performance plateaus, motivating future studies on understanding and combating plasticity loss. Second, plasticity injection can be used to improve the computational efficiency of RL training if the agent has to re-learn from scratch due to exhausted plasticity or by growing the agent's network dynamically without compromising performance. The results on Atari show that plasticity injection attains stronger performance compared to alternative methods while being computationally efficient.
• Abstract（参考訳）: 深部強化学習(RL)に使用されるニューラルネットワークは、徐々に可塑性を失い、新しいデータから学習する能力が低下することを示す証拠が増えているが、この現象の分析と緩和は、RLの可塑性、探索、性能の複雑な関係によって妨げられている。 本稿では,学習可能なパラメータの数や予測のバイアスを伴わずに,ネットワーク可塑性を高める最小限の介入である塑性注入を導入する。 第一に、診断ツールである$\unicode{x2014}$ インジェクションが性能を向上させると、エージェントのネットワークはその可塑性を失いつつあると結論付けることができる。 このツールにより,可塑性の欠如が性能高原の原因となるアタリ環境のサブセットを特定し,可塑性損失の理解と対策に関する今後の研究を動機付けることができる。 第2に、可塑性注入は、消耗した可塑性によるスクラッチからの学習や、性能を損なうことなくエージェントのネットワークを動的に成長させることで、RLトレーニングの計算効率を向上させるために用いられる。 その結果, 可塑性注入は, 計算効率が高く, 代替手法に比べて高い性能が得られることがわかった。

関連論文リスト

• Loss of Plasticity in Continual Deep Reinforcement Learning [14.475963928766134]
  ディープRLエージェントは,Atari 2600の一連のゲームで,優れたポリシーを学習する能力を失っていることを実証する。 我々はこの現象を大規模に研究し、時間とともに重み、勾配、活性化がどのように変化するかを分析する。 解析の結果,ネットワークの活性化フットプリントがスペーサーとなり,勾配が減少することがわかった。
  論文  参考訳（メタデータ） (2023-03-13T22:37:15Z)
• Understanding plasticity in neural networks [35.08583334083054]
  可塑性は、ニューラルネットワークが新しい情報に反応して予測を素早く変更する能力である。 深層ニューラルネットワークは、比較的単純な学習問題であっても、トレーニングの過程で可塑性を失うことが知られている。
  論文  参考訳（メタデータ） (2023-03-02T18:47:51Z)
• Adversarial training with informed data selection [53.19381941131439]
  アドリアリトレーニングは、これらの悪意のある攻撃からネットワークを守るための最も効率的なソリューションである。 本研究では,ミニバッチ学習に適用すべきデータ選択戦略を提案する。 シミュレーションの結果,ロバスト性および標準精度に関して良好な妥協が得られることがわかった。
  論文  参考訳（メタデータ） (2023-01-07T12:09:50Z)
• An Adversarial Active Sampling-based Data Augmentation Framework for Manufacturable Chip Design [55.62660894625669]
  リソグラフィーモデリングは、チップ設計マスクが製造可能であることを保証するため、チップ設計において重要な問題である。 機械学習の最近の進歩は、時間を要するリソグラフィーシミュレーションをディープニューラルネットワークに置き換えるための代替ソリューションを提供している。 本稿では,限られたデータのジレンマを解消し,機械学習モデルの性能を向上させるために,データ拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-27T20:53:39Z)
• Ensemble plasticity and network adaptability in SNNs [0.726437825413781]
  人工スパイキングニューラルネットワーク(ASNN)は、離散的なイベントベース(スパイク)計算のため、より優れた情報処理効率を約束する。 本研究では,スパイク活動のみを用いたエントロピーとネットワークアクティベーションに基づく新しいアンサンブル学習手法を提案する。 その結果, スパイクレートの低いニューロンクラスターを刈り取ると, 一般化や性能の低下が予想されることがわかった。
  論文  参考訳（メタデータ） (2022-03-11T01:14:51Z)
• Deceive D: Adaptive Pseudo Augmentation for GAN Training with Limited Data [125.7135706352493]
  GAN(Generative Adversarial Network)は、高忠実度画像を合成するために、訓練に十分なデータを必要とする。 近年の研究では、差別者の過度な適合により、限られたデータでGANを訓練することは困難であることが示されている。 本稿では,APA (Adaptive Pseudo Augmentation) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-11-12T18:13:45Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• Unveiling the role of plasticity rules in reservoir computing [0.0]
  Reservoir Computing (RC) は機械学習において魅力的なアプローチである。 我々は,RCの性能向上につながる変化に対して,塑性規則が果たす役割を分析する。
  論文  参考訳（メタデータ） (2021-01-14T19:55:30Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• Optimality of short-term synaptic plasticity in modelling certain dynamic environments [0.5371337604556311]
  ランダムだが連続的に変化する環境のベイズ最適予測と推測は、短期的なスパイクタイミング依存の塑性に依存している。 興味深いことに、これは生物学的にモデル化されたAIを導入し、視覚的なタスクにおいて、ディープラーニングの複数の制限を克服し、人工知能より優れた人工知能を初めて導入する。 結果は,短期的可塑性から高次皮質機能,自然環境に対する自然知能の最適性,単なる効率性から計算上の優位性まで,ニューロモルフィックなAIを示唆する。
  論文  参考訳（メタデータ） (2020-09-15T01:04:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。