Fugu-MT 論文翻訳(概要): Preserving Plasticity in Continual Learning with Adaptive Linearity Injection

論文の概要: Preserving Plasticity in Continual Learning with Adaptive Linearity Injection

arxiv url: http://arxiv.org/abs/2505.09486v1
Date: Wed, 14 May 2025 15:36:51 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-15 21:44:09.514199
Title: Preserving Plasticity in Continual Learning with Adaptive Linearity Injection
Title（参考訳）: 適応線形性注入による連続学習における可塑性の保存
Authors: Seyed Roozbeh Razavi Rohani, Khashayar Khajavi, Wesley Chung, Mo Chen, Sharan Vaswani,
Abstract要約: ディープニューラルネットワークにおける可塑性の喪失は、漸進的に学習するモデルの能力が徐々に低下することである。近年の研究では、深い線形ネットワークは可塑性の喪失に対して弾力性があることが示されている。適応線形化(AdaLin)は,各ニューロンの活性化機能を動的に適応し,可塑性損失を軽減する一般的な手法である。
参考スコア（独自算出の注目度）: 10.641213440191551
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Loss of plasticity in deep neural networks is the gradual reduction in a model's capacity to incrementally learn and has been identified as a key obstacle to learning in non-stationary problem settings. Recent work has shown that deep linear networks tend to be resilient towards loss of plasticity. Motivated by this observation, we propose Adaptive Linearization (AdaLin), a general approach that dynamically adapts each neuron's activation function to mitigate plasticity loss. Unlike prior methods that rely on regularization or periodic resets, AdaLin equips every neuron with a learnable parameter and a gating mechanism that injects linearity into the activation function based on its gradient flow. This adaptive modulation ensures sufficient gradient signal and sustains continual learning without introducing additional hyperparameters or requiring explicit task boundaries. When used with conventional activation functions like ReLU, Tanh, and GeLU, we demonstrate that AdaLin can significantly improve performance on standard benchmarks, including Random Label and Permuted MNIST, Random Label and Shuffled CIFAR-10, and Class-Split CIFAR-100. Furthermore, its efficacy is shown in more complex scenarios, such as class-incremental learning on CIFAR-100 with a ResNet-18 backbone, and in mitigating plasticity loss in off-policy reinforcement learning agents. We perform a systematic set of ablations that show that neuron-level adaptation is crucial for good performance and analyze a number of metrics in the network that might be correlated to loss of plasticity.
Abstract（参考訳）: ディープニューラルネットワークにおける可塑性の喪失は、段階的に学習するモデルの能力が徐々に低下することであり、非定常的な問題設定で学習する上で重要な障害として認識されている。近年の研究では、深い線形ネットワークは可塑性の喪失に対して弾力性があることが示されている。本研究の目的は,各ニューロンの活性化機能を動的に適応して可塑性損失を緩和する適応線形化(AdaLin)を提案することである。正規化や周期的リセットに依存する従来の方法とは異なり、AdaLinは全てのニューロンに学習可能なパラメータと、その勾配フローに基づいて活性化関数に線形性を注入するゲーティング機構を装備する。この適応変調により、十分な勾配信号が保証され、追加のハイパーパラメータを導入したり、明示的なタスク境界を必要とせずに連続的な学習が維持される。 ReLU、Tanh、GeLUといった従来のアクティベーション機能を使用する場合、AdaLinは、ランダムラベルやPermuted MNIST、ランダムラベルとShuffled CIFAR-10、クラス分割CIFAR-100といった標準ベンチマークのパフォーマンスを大幅に向上させることができることを示す。さらに、CIFAR-100のResNet-18バックボーンによるクラスインクリメンタル学習や、非政治強化学習剤の可塑性損失の軽減など、より複雑なシナリオでその効果が示される。我々は、ニューロンレベルの適応が優れたパフォーマンスに不可欠であることを示し、可塑性の喪失と相関する可能性のあるネットワーク内の多くのメトリクスを分析します。

関連論文リスト

Plasticine: Accelerating Research in Plasticity-Motivated Deep Reinforcement Learning [122.67854581396578]
Plasticineは、深層強化学習における塑性最適化をベンチマークするためのオープンソースのフレームワークである。 Plasticineは13以上の緩和メソッド、評価メトリクス10、学習シナリオの単一ファイル実装を提供する。
論文参考訳（メタデータ） (2025-04-24T12:32:13Z)
Activation by Interval-wise Dropout: A Simple Way to Prevent Neural Networks from Plasticity Loss [3.841822016067955]
塑性損失は、新しいタスクやデータ分散のシフトに適応するモデルの能力を制限する。本稿では,AID (Activation by Interval-wise Dropout) について紹介する。 AIDはネットワークを正規化し,可塑性損失を伴わない深い線形ネットワークに類似した振舞いを促進する。
論文参考訳（メタデータ） (2025-02-03T13:34:53Z)
ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
論文参考訳（メタデータ） (2023-07-02T21:46:30Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
論文参考訳（メタデータ） (2022-10-27T13:24:08Z)
Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
論文参考訳（メタデータ） (2022-06-15T22:42:29Z)
NN-EUCLID: deep-learning hyperelasticity without stress data [0.0]
本稿では,物理一貫性のあるディープニューラルネットワークを用いた超弾性法則の教師なし学習手法を提案する。応力-ひずみを仮定する教師付き学習とは対照的に,本手法は実測可能な全弾性場変位と大域的力可用性データのみを用いる。
論文参考訳（メタデータ） (2022-05-04T13:54:54Z)
FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文参考訳（メタデータ） (2022-04-10T11:38:33Z)
SpikePropamine: Differentiable Plasticity in Spiking Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)におけるシナプス可塑性と神経調節シナプス可塑性のダイナミクスを学習するための枠組みを導入する。異なる可塑性で強化されたSNNは、時間的学習課題の集合を解決するのに十分であることを示す。これらのネットワークは、高次元のロボット学習タスクで移動を生成できることも示されている。
論文参考訳（メタデータ） (2021-06-04T19:29:07Z)
Robust Learning via Persistency of Excitation [4.674053902991301]
勾配勾配勾配を用いたネットワークトレーニングは力学系パラメータ推定問題と等価であることを示す。極値理論を用いて対応するリプシッツ定数を推定する効率的な手法を提案する。我々の手法は、様々な最先端の対数訓練モデルにおいて、対数精度を0.1%から0.3%に普遍的に向上させる。
論文参考訳（メタデータ） (2021-06-03T18:49:05Z)
Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文参考訳（メタデータ） (2020-05-02T06:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。