論文の概要: Sustaining Plasticity via Learnable Wavelet Activations in Continual Learning
- arxiv url: http://arxiv.org/abs/2608.12874v1
- Date: Thu, 13 Aug 2026 06:38:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.413671
- Title: Sustaining Plasticity via Learnable Wavelet Activations in Continual Learning
- Title（参考訳）: 連続学習における学習可能なウェーブレット活性化による塑性維持
- Authors: Zeyang Zhang, Tieliang Gong, Junyan Lu, Weizhan Zhang,
- Abstract要約: 塑性損失は継続的な学習において重要な課題として浮上している。
本稿では,活性化関数を低周波成分と高周波成分に分解する新たなウェーブレット活性化法を提案する。
- 参考スコア（独自算出の注目度）: 23.89114000710872
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Plasticity loss has emerged as a critical challenge in continual learning that significantly hinders the acquisition of sequential tasks. While optimizing activation designs offers a potential solution, current fixed-form functions suffer from an inherent spectral bias towards low-frequency variations, whereas learnable variants permit unconstrained updates that induce catastrophic forgetting. To address these limitations, we propose a novel learnable wavelet activation that decomposes the activation function into low-frequency and high-frequency components to explicitly counter spectral bias. Furthermore, we employ dynamic wavelet injection to adaptively enhance plasticity for new tasks, alongside a regularization strategy to ensure the stability of previous learned knowledge. Theoretically, we provide rigorous mathematical guarantees for the proposed framework, proving the structural necessity of the hybrid wavelet architecture for efficient $L^2$ approximation and demonstrating that the decoupled learning rate mechanism successfully restores network plasticity for high-frequency information. Additionally, we provide a formal derivation of the loss-driven injection trigger mechanism to precisely guide the injection. Extensive empirical evaluations demonstrate that our approach maintains superior trainability and generalization throughout the learning process and achieves state-of-the-art performance across diverse continual learning benchmarks.
- Abstract（参考訳）: 塑性損失は連続学習における重要な課題として現れ、シーケンシャルなタスクの獲得を著しく妨げている。
アクティベーション設計の最適化は潜在的な解決策を提供する一方で、現在の固定形式関数は低周波変動に対する固有のスペクトルバイアスに悩まされ、学習可能な変種は、破滅的な忘れを誘発する制約のない更新を許す。
これらの制約に対処するため, スペクトルバイアスに明示的に対処するために, 活性化関数を低周波成分と高周波成分に分解する新たなウェーブレットアクティベーションを提案する。
さらに,従来の学習知識の安定性を確保するための正規化戦略とともに,動的ウェーブレット注入を用いて,新しいタスクの可塑性を適応的に向上する。
理論的には、提案手法の厳密な数学的保証を提供し、L^2$近似のためのハイブリッドウェーブレットアーキテクチャの構造の必要性を証明し、分離された学習率機構が高周波情報のネットワーク可塑性を回復することを示す。
さらに、損失駆動型インジェクショントリガー機構の正式な導出を行い、インジェクションを正確に誘導する。
大規模な実証実験により,本手法は学習過程を通じて優れた訓練性と一般化を維持し,多種多様な連続学習ベンチマークにおける最先端性能を実現することを実証した。
関連論文リスト
- A Systematic Post-Train Framework for Video Generation [76.26555417456773]
大規模ビデオ拡散モデルでは、高解像度でセマンティックにリッチなコンテンツを生成できることが顕著に示されている。
迅速な感度、時間的不整合、禁止的推論コストといった重要な問題のために、事前訓練されたパフォーマンスと実際のデプロイメント要件の間には、大きなギャップが残っている。
本研究では,事前学習されたモデルとユーザの意図を4つの相乗的段階を通して体系的に整合させる総合的なポストトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-28T09:34:51Z) - Euphonium: Steering Video Flow Matching via Process Reward Gradient Guided Stochastic Dynamics [49.242224984144904]
本稿では,プロセス報酬勾配誘導ダイナミクスによる生成を支援する新しいフレームワークであるEuphoniumを提案する。
我々の重要な洞察は、プロセス・リワード・モデルの勾配を明示的に組み込んだ理論的に原理化されたアルゴリズムとしてサンプリング・プロセスを定式化することである。
我々は,誘導信号をフローネットワークに内部化する蒸留目標を導出し,報奨モデルへの推論時間依存性を排除した。
論文 参考訳（メタデータ） (2026-02-04T08:59:57Z) - Autonomous Floquet Engineering of Bosonic Codes via Reinforcement Learning [4.78580425445851]
ボソニック符号は連続変数計算システムにおける量子誤り訂正への有望な経路を示す。
本稿では,一般,効率的,耐雑音性に優れたボソニックコードの自動作成のための強化学習支援Floquetエンジニアリング手法を提案する。
論文 参考訳（メタデータ） (2025-10-25T09:14:55Z) - Activation Function Design Sustains Plasticity in Continual Learning [1.618563064839635]
継続的な学習では、モデルは適応する能力を失う可能性がある。
可塑性損失を軽減するため, アクティベーション選択はアーキテクチャに依存しない主要なレバーであることを示す。
論文 参考訳（メタデータ） (2025-09-26T16:41:47Z) - Adaptive Variance-Penalized Continual Learning with Fisher Regularization [0.0]
本研究は、パラメータ分散のフィッシャー重み付き非対称正規化を統合する、新しい連続学習フレームワークを提案する。
本手法はパラメータの不確かさに応じて正規化強度を動的に変調し,安定性と性能を向上させる。
論文 参考訳（メタデータ） (2025-08-15T21:49:28Z) - Preserving Plasticity in Continual Learning with Adaptive Linearity Injection [10.641213440191551]
ディープニューラルネットワークにおける可塑性の喪失は、漸進的に学習するモデルの能力が徐々に低下することである。
近年の研究では、深い線形ネットワークは可塑性の喪失に対して弾力性があることが示されている。
適応線形化(AdaLin)は,各ニューロンの活性化機能を動的に適応し,可塑性損失を軽減する一般的な手法である。
論文 参考訳（メタデータ） (2025-05-14T15:36:51Z) - Super Level Sets and Exponential Decay: A Synergistic Approach to Stable Neural Network Training [0.0]
指数減衰と高度な反オーバーフィッティング戦略を統合する動的学習率アルゴリズムを開発した。
適応学習率の影響を受けて、損失関数の超レベル集合が常に連結であることを証明する。
論文 参考訳（メタデータ） (2024-09-25T09:27:17Z) - Normalization and effective learning rates in reinforcement learning [52.59508428613934]
正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。
正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。
そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
論文 参考訳（メタデータ） (2024-07-01T20:58:01Z) - Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level
Stability and High-Level Behavior [51.60683890503293]
生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。
任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
論文 参考訳（メタデータ） (2023-07-27T04:27:26Z) - Imitating, Fast and Slow: Robust learning from demonstrations via
decision-time planning [96.72185761508668]
テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。
IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-04-07T17:16:52Z) - Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。
本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。
経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文 参考訳（メタデータ） (2020-06-18T19:04:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。