論文の概要: Efficient Reinforcement Learning by Reducing Forgetting with Elephant Activation Functions

• arxiv url: http://arxiv.org/abs/2509.19159v1
• Date: Tue, 23 Sep 2025 15:38:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.928907
• Title: Efficient Reinforcement Learning by Reducing Forgetting with Elephant Activation Functions
• Title（参考訳）: エレファント活性化関数による留意点の削減による効率的な強化学習
• Authors: Qingfeng Lan, Gautham Vasan, A. Rupam Mahmood,
• Abstract要約: 破滅的な忘れ物は、何十年にもわたって効率的な強化学習にとって重要な課題であり続けている。 ニューラルネットワークのトレーニング力学におけるアクティベーション機能の役割と,その破滅的忘れに対する影響について検討した。 従来の活性化関数を値ベースアルゴリズムのニューラルネットワークにおける象活性化関数に置き換えることで、破滅的な忘れ込みに対するニューラルネットワークのレジリエンスを大幅に改善できることを示す。
• 参考スコア（独自算出の注目度）: 10.730038944035838
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Catastrophic forgetting has remained a significant challenge for efficient reinforcement learning for decades (Ring 1994, Rivest and Precup 2003). While recent works have proposed effective methods to mitigate this issue, they mainly focus on the algorithmic side. Meanwhile, we do not fully understand what architectural properties of neural networks lead to catastrophic forgetting. This study aims to fill this gap by studying the role of activation functions in the training dynamics of neural networks and their impact on catastrophic forgetting in reinforcement learning setup. Our study reveals that, besides sparse representations, the gradient sparsity of activation functions also plays an important role in reducing forgetting. Based on this insight, we propose a new class of activation functions, elephant activation functions, that can generate both sparse outputs and sparse gradients. We show that by simply replacing classical activation functions with elephant activation functions in the neural networks of value-based algorithms, we can significantly improve the resilience of neural networks to catastrophic forgetting, thus making reinforcement learning more sample-efficient and memory-efficient.
• Abstract（参考訳）: 破滅的な忘れ物は、何十年にもわたって効率的な強化学習の重要な課題であり続けている(Ring 1994, Rivest and Precup 2003)。 近年の研究ではこの問題を緩和する効果的な方法が提案されているが、主にアルゴリズム的な側面に焦点を当てている。 一方、ニューラルネットワークのアーキテクチャ特性が破滅的な忘れに繋がる原因について、私たちは完全には理解していません。 本研究の目的は,ニューラルネットワークのトレーニング力学における活性化機能の役割と,強化学習装置における破滅的忘れに対する影響を考察することによって,このギャップを埋めることである。 本研究は, 疎表現以外にも, アクティベーション関数の勾配空間が, 忘れを減少させる上で重要な役割を担っていることを明らかにした。 この知見に基づき、スパース出力とスパース勾配の両方を生成できる新しい種類の活性化関数、ゾウ活性化関数を提案する。 従来の活性化関数を値ベースアルゴリズムのニューラルネットワークにおける象活性化関数に置き換えることによって、破滅的な忘れ方へのニューラルネットワークのレジリエンスを大幅に向上させることで、強化学習をよりサンプリング効率とメモリ効率を高めることができることを示す。

関連論文リスト

• The Importance of Being Lazy: Scaling Limits of Continual Learning [60.97756735877614]
  モデル幅の増大は,特徴学習の量を減らし,遅延度を高めた場合にのみ有益であることを示す。 特徴学習,タスク非定常性,および忘れることの複雑な関係について検討し,高い特徴学習が極めて類似したタスクにのみ有用であることを示す。
  論文  参考訳（メタデータ） (2025-06-20T10:12:38Z)
• Task-Specific Activation Functions for Neuroevolution using Grammatical Evolution [0.0]
  我々は,新しいアクティベーション関数を自動進化させるために,文法進化(GE)を活用する革新的なアプローチであるNevo GEAFを紹介する。 有名なバイナリ分類データセットで実施された実験では、ReLUよりもF1スコア(2.4%と9.4%)が統計的に顕著に改善された。
  論文  参考訳（メタデータ） (2025-03-13T20:50:21Z)
• $ε$-rank and the Staircase Phenomenon: New Insights into Neural Network Training Dynamics [1.7056144431280509]
  終端隠蔽層におけるニューロン機能の有効な特徴を定量化する新しい計量である $epsilon$-rank の概念を導入する。 その結果,損失の低減には高いエプシロン$ランクが不可欠であることが示唆された。 本稿では,初期隠蔽層上に,端末隠蔽層の$epsilon$-rankを上昇させる新しい事前学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-12-06T16:00:50Z)
• Elephant Neural Networks: Born to Be a Continual Learner [7.210328077827388]
  破滅的な忘れ物は、何十年にもわたって継続的な学習にとって重要な課題である。 ニューラルネットワークのトレーニング力学におけるアクティベーション機能の役割と,その破滅的忘れに対する影響について検討した。 古典的な活性化関数を象の活性化関数に置き換えることで、破滅的な忘れ物に対するニューラルネットワークのレジリエンスを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2023-10-02T17:27:39Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Advantages of biologically-inspired adaptive neural activation in RNNs during learning [10.357949759642816]
  生体ニューロンの入力周波数応答曲線にインスパイアされた非線形活性化関数のパラメトリックファミリーを導入する。 アクティベーション適応はタスク固有のソリューションを提供し、場合によっては学習速度と性能の両方を改善する。
  論文  参考訳（メタデータ） (2020-06-22T13:49:52Z)
• Untangling tradeoffs between recurrence and self-attention in neural networks [81.30894993852813]
  本稿では,再帰的ネットワークにおける自己注意が勾配伝播に与える影響を公式に分析する。 長期的な依存関係を捉えようとするとき、勾配をなくすことの問題を緩和することを証明する。 本稿では,スパース自己アテンションを反復的にスケーラブルに利用するための関連性スクリーニング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-16T19:24:25Z)
• Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
  破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。 本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
  論文  参考訳（メタデータ） (2020-06-12T06:00:27Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。