Fugu-MT 論文翻訳(概要): Preserving Plasticity in Continual Learning via Dynamical Isometry

論文の概要: Preserving Plasticity in Continual Learning via Dynamical Isometry

arxiv url: http://arxiv.org/abs/2606.09762v1
Date: Mon, 08 Jun 2026 17:24:15 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-09 14:42:07.590038
Title: Preserving Plasticity in Continual Learning via Dynamical Isometry
Title（参考訳）: 動的アイソメトリーによる連続学習における塑性保存
Authors: Andries Rosseau, Robert Müller, Ann Nowé,
Abstract要約: 非定常性下での深層ニューラルネットワークの継続的なトレーニングは、可塑性の進行的な損失をもたらし、最終的にはさらなる学習を制限する。実験的なニューラルカーネルに可塑性を関連付け,動的アイソメトリーを連続学習における可塑性保存の鍵となるメカニズムとして同定する。
参考スコア（独自算出の注目度）: 5.9237150961415
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continual training of deep neural networks under non-stationarity often leads to a progressive loss of plasticity, eventually limiting further learning. We relate plasticity to the empirical Neural Tangent Kernel, and identify dynamical isometry (the condition that layer-wise Jacobian singular values remain close to one) as a key mechanism for preserving plasticity in continual learning. We revisit a class of networks that are almost-everywhere isometric while remaining universal Lipschitz function approximators, demonstrating that near-dynamical isometry is compatible with expressive nonlinear representations. For general architectures, we propose an efficient isometry-promoting regularization scheme and identify a novel mechanism by which it can reactivate dormant ReLU units. Building on this, we introduce AdamO, an Adam-style adaptive optimizer that decouples isometry regularization from gradient updates, analogous to AdamW. We further reinterpret prior plasticity-preserving approaches through the lens of dynamical isometry, showing that they target only a partial measure of isometry. Across supervised and reinforcement-learning continual-learning benchmarks designed to induce plasticity loss, our methods consistently match or outperform existing approaches.
Abstract（参考訳）: 非定常性下での深層ニューラルネットワークの継続的なトレーニングは、しばしば可塑性の進行的な損失をもたらし、最終的にはさらなる学習を制限する。実験的なニューラルタンジェントカーネルに可塑性を関連付け,動的アイソメトリー(層次ジャコビアン特異値が1に近い状態)を連続学習における可塑性保存の鍵機構として同定する。我々は,ユビキタスリプシッツ関数近似器を保ちながら,ほぼ至る所で等方性を持つネットワークのクラスを再検討し,ニアダイナミックな等方性が表現的非線形表現と互換性があることを実証した。一般的なアーキテクチャでは、効率的な等尺性プロモート正規化スキームを提案し、休眠型ReLUユニットを再活性化する新しいメカニズムを同定する。これに基づいて、AdamWと類似した勾配更新から等尺正則化を分離するAdamスタイル適応オプティマイザAdamOを導入する。さらに, 動的アイソメトリのレンズを用いて, 従来の可塑性保存法を解釈し, アイソメトリの部分的測定のみを対象としていることを示す。可塑性損失を誘導するために設計された教師付きおよび強化学習連続学習ベンチマーク全体にわたって、我々の手法は、既存のアプローチと一貫して一致し、より優れています。

関連論文リスト

A Geometrically-Grounded Drive for MDL-Based Optimization in Deep Learning [3.2452107817263003]
本稿では,MDL(Minimum Description Length)の原理を深層ニューラルネットワークのトレーニング力学に根本的に統合する,新しい最適化フレームワークを提案する。我々は、数値安定性(Theoremrefthm:stability)と凸性仮定の下での指数収束(Theoremrefthm:convergence_rate)の保証とともに、$O(N log N)$ per-iteration complexity(Theoremrefthm:complexity)の実用的な計算効率のアルゴリズムを提供する。この研究は、より自律的で、一般化可能で、解釈可能なAIへの原則化された道を提供する
論文参考訳（メタデータ） (2026-03-12T08:31:00Z)
Vision Transformers that Never Stop Learning [13.804234595369058]
視覚変換器(ViT)の可塑性損失に関する系統的研究について述べる。分析の結果,重み付きアテンションモジュールは可塑性損失を増大させる不安定性を示し,フィードフォワードネットワークモジュールはより顕著に劣化することがわかった。本稿では,アテンションモジュールのオンライン曲率推定値を用いて方向を適応的に変換することで,可塑性を保った幾何学的認識モデルであるARROWを提案する。
論文参考訳（メタデータ） (2026-03-08T20:07:43Z)
Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
論文参考訳（メタデータ） (2025-10-14T03:03:08Z)
Learning by Steering the Neural Dynamics: A Statistical Mechanics Perspective [0.0]
我々は、ニューラルネットワークが完全に局所的な分散学習をサポートする方法について研究する。そこで本研究では,任意のバイナリ再帰ネットワークを用いた教師あり学習のための生物学的に妥当なアルゴリズムを提案する。
論文参考訳（メタデータ） (2025-10-13T22:28:34Z)
Dynamical Learning in Deep Asymmetric Recurrent Neural Networks [1.3421746809394772]
非対称なディープリカレントニューラルネットワークは、指数関数的に大きく、密度の高い内部表現の多様体を生み出すことを示す。本稿では,再帰的ダイナミクスからインプット・アウトプット・アソシエーションが自然に出現する分散学習手法を提案する。
論文参考訳（メタデータ） (2025-09-05T12:05:09Z)
Preserving Plasticity in Continual Learning with Adaptive Linearity Injection [10.641213440191551]
ディープニューラルネットワークにおける可塑性の喪失は、漸進的に学習するモデルの能力が徐々に低下することである。近年の研究では、深い線形ネットワークは可塑性の喪失に対して弾力性があることが示されている。適応線形化(AdaLin)は,各ニューロンの活性化機能を動的に適応し,可塑性損失を軽減する一般的な手法である。
論文参考訳（メタデータ） (2025-05-14T15:36:51Z)
Plasticine: Accelerating Research in Plasticity-Motivated Deep Reinforcement Learning [122.67854581396578]
Plasticineは、深層強化学習における塑性最適化をベンチマークするためのオープンソースのフレームワークである。 Plasticineは13以上の緩和メソッド、評価メトリクス10、学習シナリオの単一ファイル実装を提供する。
論文参考訳（メタデータ） (2025-04-24T12:32:13Z)
Neural Abstractions [72.42530499990028]
本稿では,ニューラルネットワークを用いた非線形力学モデルの安全性検証手法を提案する。提案手法は,既存のベンチマーク非線形モデルにおいて,成熟度の高いFlow*と同等に動作することを示す。
論文参考訳（メタデータ） (2023-01-27T12:38:09Z)
A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
論文参考訳（メタデータ） (2022-10-27T13:24:08Z)
GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
論文参考訳（メタデータ） (2021-02-22T19:42:40Z)
Limited-angle tomographic reconstruction of dense layered objects by dynamical machine learning [68.9515120904028]
強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
論文参考訳（メタデータ） (2020-07-21T11:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。