論文の概要: Activation Function Design Sustains Plasticity in Continual Learning

• arxiv url: http://arxiv.org/abs/2509.22562v1
• Date: Fri, 26 Sep 2025 16:41:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.590171
• Title: Activation Function Design Sustains Plasticity in Continual Learning
• Title（参考訳）: 連続学習における塑性維持のための活性化関数設計
• Authors: Lute Lillo, Nick Cheney,
• Abstract要約: 継続的な学習では、モデルは適応する能力を失う可能性がある。 可塑性損失を軽減するため, アクティベーション選択はアーキテクチャに依存しない主要なレバーであることを示す。
• 参考スコア（独自算出の注目度）: 1.618563064839635
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In independent, identically distributed (i.i.d.) training regimes, activation functions have been benchmarked extensively, and their differences often shrink once model size and optimization are tuned. In continual learning, however, the picture is different: beyond catastrophic forgetting, models can progressively lose the ability to adapt (referred to as loss of plasticity) and the role of the non-linearity in this failure mode remains underexplored. We show that activation choice is a primary, architecture-agnostic lever for mitigating plasticity loss. Building on a property-level analysis of negative-branch shape and saturation behavior, we introduce two drop-in nonlinearities (Smooth-Leaky and Randomized Smooth-Leaky) and evaluate them in two complementary settings: (i) supervised class-incremental benchmarks and (ii) reinforcement learning with non-stationary MuJoCo environments designed to induce controlled distribution and dynamics shifts. We also provide a simple stress protocol and diagnostics that link the shape of the activation to the adaptation under change. The takeaway is straightforward: thoughtful activation design offers a lightweight, domain-general way to sustain plasticity in continual learning without extra capacity or task-specific tuning.
• Abstract（参考訳）: 独立で、同一に分散された(すなわち)訓練システムでは、アクティベーション関数は広範囲にベンチマークされ、モデルのサイズや最適化が調整されると、その差は小さくなる。 しかし、連続的な学習では、この図形は異なる:破滅的な忘れ物を超えて、モデルは適応能力(可塑性の喪失)を徐々に失い、この障害モードにおける非線形性の役割は未解明のままである。 可塑性損失を軽減するため, アクティベーション選択はアーキテクチャに依存しない主要なレバーであることを示す。 負分岐形状と飽和挙動の特性レベル解析に基づいて、2つのドロップイン非線形性(Smooth-LeakyとRandomized Smooth-Leaky)を導入し、2つの相補的な設定で評価する。 (i)教師付きクラスインクリメンタルベンチマーク及び (II)非定常的 MuJoCo 環境による強化学習は,制御分布と動的シフトを誘導する。 また,アクティベーションの形状と変化に伴う適応を関連付ける,簡単なストレスプロトコルと診断手法も提供する。 思慮深いアクティベーションデザインは、余分な能力やタスク固有のチューニングを必要とせずに、継続的な学習において可塑性を維持する軽量で汎用的な方法を提供します。

関連論文リスト

• Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
  適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。 SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
  論文  参考訳（メタデータ） (2025-09-20T17:09:14Z)
• Balancing Expressivity and Robustness: Constrained Rational Activations for Reinforcement Learning [9.120944934920141]
  強化学習と継続学習の両方において、訓練可能な合理的なアクティベーションについて検討する。 我々の主な成果は、合理的なアクティベーションにおける表現性と可塑性のトレードオフを示すことである。 本研究は, 動的非定常環境におけるロバストかつトレーニング可能なアクティベーションに対して, 実用的な設計原理を提供する。
  論文  参考訳（メタデータ） (2025-07-19T19:53:08Z)
• Data-Driven Exploration for a Class of Continuous-Time Indefinite Linear--Quadratic Reinforcement Learning Problems [6.859965454961918]
  本研究では,LQ制御問題に対する強化学習について検討する。 本稿では, モデルフリーでデータ駆動型探索機構を提案し, 批判者によるエントロピー正規化を適応的に調整する。 本手法は,LQ問題のクラスにおいて,最もよく知られたモデルフリーな結果と一致するサブ線形後悔境界を実現する。
  論文  参考訳（メタデータ） (2025-07-01T01:09:06Z)
• SplitLoRA: Balancing Stability and Plasticity in Continual Learning Through Gradient Space Splitting [68.00007494819798]
  継続的な学習には、安定性を保ちながら複数のタスクを連続的に学習するモデルが必要である。 グラディエント・プロジェクションはCLにおいて有効で一般的なパラダイムとして現れ、以前に学習したタスクの勾配空間を2つの部分空間に分割する。 新しいタスクは小部分空間内で効果的に学習され、これにより以前取得した知識との干渉が軽減される。 既存の勾配射影法は、勾配空間を適切に分割することが困難であるため、塑性と安定性の最適なバランスを達成するのに苦労する。
  論文  参考訳（メタデータ） (2025-05-28T13:57:56Z)
• Preserving Plasticity in Continual Learning with Adaptive Linearity Injection [10.641213440191551]
  ディープニューラルネットワークにおける可塑性の喪失は、漸進的に学習するモデルの能力が徐々に低下することである。 近年の研究では、深い線形ネットワークは可塑性の喪失に対して弾力性があることが示されている。 適応線形化(AdaLin)は,各ニューロンの活性化機能を動的に適応し,可塑性損失を軽減する一般的な手法である。
  論文  参考訳（メタデータ） (2025-05-14T15:36:51Z)
• Training Dynamics of Nonlinear Contrastive Learning Model in the High Dimensional Limit [1.7597525104451157]
  モデル重みの実験的分布は、マッキーン・ブラソフ非線形偏微分方程式(PDE)によって支配される決定論的尺度に収束する L2正則化の下で、このPDEは低次元常微分方程式(ODE)の閉集合に還元する。 ODEの固定点位置とその安定性を解析し,いくつかの興味深い結果を示した。
  論文  参考訳（メタデータ） (2024-06-11T03:07:41Z)
• On the Stability-Plasticity Dilemma of Class-Incremental Learning [50.863180812727244]
  クラス増分学習の第一の目的は、安定性と可塑性のバランスをとることである。 本稿では,近年のクラス増分学習アルゴリズムが,安定性と塑性のトレードオフにいかに効果的かを明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2023-04-04T09:34:14Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Supervised Learning in the Presence of Concept Drift: A modelling framework [5.22609266390809]
  非定常環境における教師あり学習の研究のためのモデリングフレームワークを提案する。 学習システムの例として、分類のためのプロトタイプベースの学習ベクトル量子化(LVQ)と回帰タスクのための浅層ニューラルネットワークをモデル化する。
  論文  参考訳（メタデータ） (2020-05-21T09:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。