論文の概要: Reinitializing weights vs units for maintaining plasticity in neural networks

• arxiv url: http://arxiv.org/abs/2508.00212v1
• Date: Thu, 31 Jul 2025 23:25:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.687402
• Title: Reinitializing weights vs units for maintaining plasticity in neural networks
• Title（参考訳）: ニューラルネットワークにおける可塑性維持のための単位に対する重みの再初期化
• Authors: J. Fernando Hernandez-Garcia, Shibhansh Dohare, Jun Luo, Rich S. Sutton,
• Abstract要約: 可塑性の喪失は、ニューラルネットワークが非定常データで長時間訓練されたときに学習能力を失う現象である。 可塑性の喪失を防ぐ効果的な技術は、ネットワークの活性化である。 本稿では,ネットワーク内の最短重みを再初期化するための,テキスト選択的重み再初期化という新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 6.404696914681301
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Loss of plasticity is a phenomenon in which a neural network loses its ability to learn when trained for an extended time on non-stationary data. It is a crucial problem to overcome when designing systems that learn continually. An effective technique for preventing loss of plasticity is reinitializing parts of the network. In this paper, we compare two different reinitialization schemes: reinitializing units vs reinitializing weights. We propose a new algorithm, which we name \textit{selective weight reinitialization}, for reinitializing the least useful weights in a network. We compare our algorithm to continual backpropagation and ReDo, two previously proposed algorithms that reinitialize units in the network. Through our experiments in continual supervised learning problems, we identify two settings when reinitializing weights is more effective at maintaining plasticity than reinitializing units: (1) when the network has a small number of units and (2) when the network includes layer normalization. Conversely, reinitializing weights and units are equally effective at maintaining plasticity when the network is of sufficient size and does not include layer normalization. We found that reinitializing weights maintains plasticity in a wider variety of settings than reinitializing units.
• Abstract（参考訳）: 可塑性の喪失は、ニューラルネットワークが非定常データで長時間訓練されたときに学習能力を失う現象である。 継続的に学習するシステムを設計する場合は、克服すべき重要な問題です。 可塑性の喪失を防ぐ効果的な技術は、ネットワークの活性化である。 本稿では,再初期化単位と再初期化ウェイトという2つの異なる再初期化スキームを比較する。 そこで本研究では,ネットワーク上で最も有用でない重みを再初期化するための新しいアルゴリズムである「textit{selective weight reitialization」を提案する。 ネットワーク内のユニットを再起動する2つのアルゴリズムであるReDoと連続的なバックプロパゲーションを比較した。 連続的な教師付き学習問題における実験を通して、重みの再開がユニットの再起動よりも可塑性の維持に有効である場合、(1)ネットワークが少数のユニットを持つ場合、(2)ネットワークが階層正規化を含む場合の2つの設定を同定する。 逆に、重みとユニットの再初期化は、ネットワークが十分な大きさであり、層正規化を含まない場合、可塑性を維持するのに等しく効果的である。 再初期化重量は再初期化単位よりも幅広い環境下で可塑性を維持することがわかった。

関連論文リスト

• Efficient Training with Denoised Neural Weights [65.14892033932895]
  この研究は、初期化のために神経重みを合成するウェイトジェネレータを構築するための新しい一歩を踏み出した。 本稿では,モデル重みの収集を容易にするために,GANを用いた画像間翻訳タスクを例に挙げる。 拡散モデルによって予測される重み付き画像翻訳モデルを初期化することにより、トレーニングは43.3秒しか必要としない。
  論文  参考訳（メタデータ） (2024-07-16T17:59:42Z)
• Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
  我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。 標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:52:04Z)
• Maintaining Plasticity in Deep Continual Learning [12.27972591521307]
  連続学習のためのデータセットをタスクのシーケンスとして利用して,可塑性損失の実証を行う。 ImageNetでは、バイナリ分類のパフォーマンスは、初期タスクで89%の精度から77%に低下した。 新しいアルゴリズム -- 連続的なバックプロパゲーション -- は、従来のバックプロパゲーションを変更して、各例の後で、あまり使われていないユニットを再使用する。
  論文  参考訳（メタデータ） (2023-06-23T23:19:21Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• Random Weights Networks Work as Loss Prior Constraint for Image Restoration [50.80507007507757]
  「画像復元の優先制約としてランダムウェイトネットワークを機能させることができる」という信念を提示する。」 我々の信念は、計算コストのトレーニングやテストなしに、既存のネットワークに直接挿入することができる。 強調しておきたいのは、損失関数の領域を刺激し、現在無視されている状態を保存することです。
  論文  参考訳（メタデータ） (2023-03-29T03:43:51Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• ZerO Initialization: Initializing Residual Networks with only Zeros and Ones [44.66636787050788]
  ディープニューラルネットワークは通常ランダムウェイトを持ち、トレーニング中に安定した信号伝達を保証するために適切に選択された初期分散を持つ。 ばらつきの選択方法にはコンセンサスがなく、レイヤーの数が増えるにつれて、これは難しくなります。 本研究では、広く使われているランダムウェイト初期化を、ゼロと1しか持たない残差ネットワークを初期化する完全決定論的初期化スキームZerOに置き換える。 驚くべきことに、ZerOはImageNetを含むさまざまな画像分類データセットに対して最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2021-10-25T06:17:33Z)
• The Impact of Reinitialization on Generalization in Convolutional Neural Networks [3.462210753108297]
  12のベンチマーク画像分類データセットにまたがる複数の畳み込みアーキテクチャにおける異なる再初期化手法の影響について検討する。 本稿では,従来の手法よりも優れた階層的再初期化アルゴリズムを提案する。 我々のメッセージは、ボトムアップ階層の再初期化を用いて、小さなデータセットに対して畳み込みニューラルネットワークの精度を改善することができるということだ。
  論文  参考訳（メタデータ） (2021-09-01T09:25:57Z)
• Good Students Play Big Lottery Better [84.6111281091602]
  宝くじの仮説は、高密度ニューラルネットワークは、元の高密度ネットのテスト精度に一致できる疎サブネットワークを含むことを示唆している。 近年の研究では、巻き戻し技術を用いてスパースサブネットワークが得られることが示されている。 本論文では,KDチケット (Knowledge Distillation Ticket) と呼ばれるサブネットワークを再訓練する手法を提案する。
  論文  参考訳（メタデータ） (2021-01-08T23:33:53Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Comparing Rewinding and Fine-tuning in Neural Network Pruning [28.663299059376897]
  我々は、微調整と学習率の巻き戻しを比較し、ニューラルネットワークプルーニングアルゴリズムを訓練する。 どちらの巻き戻し手法も、より多くのネットワーク固有の最先端技術の精度と圧縮率に一致する、ネットワークに依存しないアルゴリズムの基礎を形成する。
  論文  参考訳（メタデータ） (2020-03-05T00:53:18Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。