論文の概要: The Lifecycle Principle: Stabilizing Dynamic Neural Networks with State Memory

• arxiv url: http://arxiv.org/abs/2509.02575v1
• Date: Sun, 24 Aug 2025 05:20:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-07 09:10:15.283674
• Title: The Lifecycle Principle: Stabilizing Dynamic Neural Networks with State Memory
• Title（参考訳）: ライフサイクル原則:状態記憶による動的ニューラルネットワークの安定化
• Authors: Zichuan Yang,
• Abstract要約: 状態記憶を中心とした正規化機構を提案する。 再生したニューロンを再初期化する代わりに、私の方法はパラメータを最後の既知の有効状態に復元する。 画像分類ベンチマーク実験により, この手法が一般化とロバスト性を向上させることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: I investigate a stronger form of regularization by deactivating neurons for extended periods, a departure from the temporary changes of methods like Dropout. However, this long-term dynamism introduces a critical challenge: severe training instability when neurons are revived with random weights. To solve this, I propose the Lifecycle (LC) principle, a regularization mechanism centered on a key innovation: state memory. Instead of re-initializing a revived neuron, my method restores its parameters to their last known effective state. This process preserves learned knowledge and avoids destructive optimization shocks. My theoretical analysis reveals that the LC principle smooths the loss landscape, guiding optimization towards flatter minima associated with better generalization. Experiments on image classification benchmarks demonstrate that my method improves generalization and robustness. Crucially, ablation studies confirm that state memory is essential for achieving these gains.
• Abstract（参考訳）: 本研究は, 長期に渡りニューロンを不活性化させることにより, より強い正則化を図り, ドロップアウトのような手法の一時的な変化から逸脱する。 しかし、この長期的ダイナミズムは、ニューロンがランダムな重みで復活する際の厳しいトレーニング不安定性という重大な課題をもたらす。 そこで本研究では,ライフサイクル(LC)の原則として,ステートメモリという重要なイノベーションを中心とした正規化機構を提案する。 再生したニューロンを再初期化する代わりに、私の方法はパラメータを最後の既知の有効状態に復元する。 このプロセスは学習した知識を保存し、破壊的な最適化ショックを避ける。 私の理論的解析はLC原理が損失景観を円滑にし、より良い一般化を伴うより平坦なミニマへの最適化を導くことを明らかにしている。 画像分類ベンチマーク実験により, この手法が一般化とロバスト性を向上させることが示された。 重要なこととして、アブレーション研究は、状態記憶がこれらの利得を達成するのに不可欠であることを確認した。

関連論文リスト

• AR-LIF: Adaptive reset leaky integrate-and-fire neuron for spiking neural networks [19.595600625488004]
  スパイクニューラルネットワークは、イベント駆動性のため、低エネルギー消費を提供する。 我々は、入力、出力、リセットの関係を確立する適応リセットニューロンを設計する。 実験結果から, 省エネ性を維持しつつ, 優れた性能が得られた。
  論文  参考訳（メタデータ） (2025-07-28T11:54:48Z)
• Self-Normalized Resets for Plasticity in Continual Learning [6.5990719141691825]
  SNR(Self-Normalized Resets)は、ニューロンの重みをリセットすることで可塑性損失を緩和する適応アルゴリズムである。 我々は,SNRが競合するアルゴリズムと比較して常に優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-10-26T06:47:13Z)
• Fine-Grained Gradient Restriction: A Simple Approach for Mitigating Catastrophic Forgetting [41.891312602770746]
  Gradient Episodic Memory (GEM) は、過去のトレーニングサンプルのサブセットを利用して、モデルのパラメータの更新方向を制限することでバランスをとる。 メモリの強度は、主にGEMの能力を一般化し、それによってより有利なトレードオフをもたらすため、有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-01T17:03:56Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Flattening Sharpness for Dynamic Gradient Projection Memory Benefits Continual Learning [67.99349091593324]
  連続学習シナリオにおける減量景観と感度安定性の関係について検討した。 提案手法は,忘れを効果的に軽減しつつ,新しいスキルを習得する能力に優れたベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2021-10-09T15:13:44Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Gradient Descent on Neural Networks Typically Occurs at the Edge of Stability [94.4070247697549]
  ニューラルネットワークトレーニング対象に対するフルバッチ勾配降下は、安定性のエッジと呼ばれるレジームで動作します。 この体制では、トレーニング損失 Hessian の最大固有値は2/text(ステップサイズ)$ の数値よりすぐ上にあり、トレーニング損失は短い時間スケールで非単調に振る舞うが、長い時間スケールでは一貫して減少する。
  論文  参考訳（メタデータ） (2021-02-26T22:08:19Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。