論文の概要: Self-Normalized Resets for Plasticity in Continual Learning

• arxiv url: http://arxiv.org/abs/2410.20098v1
• Date: Sat, 26 Oct 2024 06:47:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:16:43.758125
• Title: Self-Normalized Resets for Plasticity in Continual Learning
• Title（参考訳）: 連続学習における塑性の自己Normalized Reset
• Authors: Vivek F. Farias, Adam D. Jozefiak,
• Abstract要約: SNR(Self-Normalized Resets)は、ニューロンの重みをリセットすることで可塑性損失を緩和する適応アルゴリズムである。 我々は,SNRが競合するアルゴリズムと比較して常に優れた性能を発揮することを示す。
• 参考スコア（独自算出の注目度）: 6.5990719141691825
• License:
• Abstract: Plasticity Loss is an increasingly important phenomenon that refers to the empirical observation that as a neural network is continually trained on a sequence of changing tasks, its ability to adapt to a new task diminishes over time. We introduce Self-Normalized Resets (SNR), a simple adaptive algorithm that mitigates plasticity loss by resetting a neuron's weights when evidence suggests its firing rate has effectively dropped to zero. Across a battery of continual learning problems and network architectures, we demonstrate that SNR consistently attains superior performance compared to its competitor algorithms. We also demonstrate that SNR is robust to its sole hyperparameter, its rejection percentile threshold, while competitor algorithms show significant sensitivity. SNR's threshold-based reset mechanism is motivated by a simple hypothesis test that we derive. Seen through the lens of this hypothesis test, competing reset proposals yield suboptimal error rates in correctly detecting inactive neurons, potentially explaining our experimental observations. We also conduct a theoretical investigation of the optimization landscape for the problem of learning a single ReLU. We show that even when initialized adversarially, an idealized version of SNR learns the target ReLU, while regularization-based approaches can fail to learn.
• Abstract（参考訳）: 可塑性損失は、ニューラルネットワークが一連のタスクで継続的に訓練されているため、新しいタスクに適応する能力は時間の経過とともに低下するという経験的観察に言及する、ますます重要な現象である。 本稿では, ニューロンの重みをリセットすることで可塑性損失を軽減し, 発火速度をゼロに抑える簡単な適応アルゴリズムである自己Normalized Resets (SNR) を紹介する。 連続的な学習問題とネットワークアーキテクチャの電池を通して、SNRは競合するアルゴリズムと比較して一貫して優れた性能を発揮することを示した。 また,SNRは唯一のハイパーパラメータ,拒絶パーセンタイル閾値に対して頑健であり,競合アルゴリズムは高い感度を示すことを示した。 SNRのしきい値に基づくリセット機構は、我々が導いた単純な仮説テストによって動機づけられる。 この仮説テストのレンズを通して、競合するリセット提案は、不活性ニューロンを正しく検出する際の最適以下の誤差率をもたらす。 また,1つのReLUを学習する際の最適化環境についても理論的に検討する。 SNRの理想化バージョンは,初期化逆でもターゲットのReLUを学習し,正規化に基づくアプローチでは学習に失敗することを示した。

関連論文リスト

• Automatic debiasing of neural networks via moment-constrained learning [0.0]
  偏差推定器の回帰関数をネーティブに学習し,対象関数のサンプル平均値を取得する。 本稿では,自動脱バイアスの欠点に対処する新しいRR学習手法として,モーメント制約学習を提案する。
  論文  参考訳（メタデータ） (2024-09-29T20:56:54Z)
• ReLUs Are Sufficient for Learning Implicit Neural Representations [17.786058035763254]
  暗黙的神経表現学習におけるReLUアクティベーション関数の使用について再考する。 2次B-スプラインウェーブレットにインスパイアされ、ディープニューラルネットワーク(DNN)の各層にReLUニューロンに一連の簡単な制約を組み込む。 我々は、一般的な信念とは対照的に、ReLUニューロンのみからなるDNNに基づいて最先端のINRを学習できることを実証した。
  論文  参考訳（メタデータ） (2024-06-04T17:51:08Z)
• SynA-ResNet: Spike-driven ResNet Achieved through OR Residual Connection [10.702093960098104]
  スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。 ORRC(Residual Connection)を通じて大量の冗長情報を蓄積する新しいトレーニングパラダイムを提案する。 次に,SynA(SynA)モジュールを用いて冗長情報をフィルタリングし,背骨における特徴抽出を促進するとともに,ショートカットにおけるノイズや無駄な特徴の影響を抑える。
  論文  参考訳（メタデータ） (2023-11-11T13:36:27Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Path classification by stochastic linear recurrent neural networks [2.5499055723658097]
  トレーニングや分類作業に利用されるユニークな情報として,RNNが供給される経路の部分的なシグネチャを保持することを示す。 これらのRNNは訓練が容易で堅牢であり、これらの観測を合成データと実データの両方で数値実験で裏付けるものである、と我々は主張する。
  論文  参考訳（メタデータ） (2021-08-06T12:59:12Z)
• Robust Regularization with Adversarial Labelling of Perturbed Samples [22.37046166576859]
  本稿では、正規化手法として、ALPS(Adversarial Labelling of Perturbed Samples)を提案する。 ALPSはニューラルネットワークを、それぞれの真正な入力サンプルを、逆向きに割り当てられたラベルとともに、別のものに向かって摂動することによって形成された合成サンプルで訓練する。 SVHN、CIFAR-10、CIFAR-100、Tiny-ImageNetのデータセットによる実験は、ALPSが最先端の正規化性能を持っていることを示している。
  論文  参考訳（メタデータ） (2021-05-28T11:26:49Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。