論文の概要: Predicting Plasticity in Deep Continual Learning: A Theoretical Perspective

• arxiv url: http://arxiv.org/abs/2605.09044v1
• Date: Sat, 09 May 2026 16:35:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.041768
• Title: Predicting Plasticity in Deep Continual Learning: A Theoretical Perspective
• Title（参考訳）: 深層学習における塑性予測 : 理論的展望
• Abstract要約: 我々は、可塑性をトレーニング容易性、すなわち、ニューラルネットワークの将来の目標タスクにおける最適化の利益と解釈する実践的な視点を採っている。 本稿では,勾配強度と勾配信頼性を組み合わせた最適化準備性という新しい指標を提案する。
• 参考スコア（独自算出の注目度）: 41.50730100158907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep continual learning requires models to adapt to new tasks without retraining from scratch. However, neural networks can lose their ability to adapt to new tasks after training on previous ones, a phenomenon known as loss of plasticity. There have been several explanations and diagnostics proposed for plasticity loss. Motivated by the philosophy that "all models are wrong, but some are useful", we ask: can existing diagnostics predict a neural network's plasticity? In this work, we take a practical view to interpret plasticity as trainability, i.e., a neural network's future optimization gain on a target task. We first take a theoretical approach, showing, by constructing a few counterexamples, that some widely adopted diagnostics of plasticity, including representation rank and neural tangent kernel rank, can fail to predict the loss of trainability in both regression and classification settings. We instead propose a novel metric, called optimization readiness, which combines gradient strength and gradient reliability. We prove that optimization readiness lower bounds one-step optimization gain under standard smoothness assumptions, providing a theoretical guarantee for its predictive power. Empirically, we show that across commonly used deep continual learning settings, such as Slowly-Changing Regression and Permuted MNIST, optimization readiness more reliably ranks checkpoints by trainability than prior diagnostics, even with substantially fewer samples.
• Abstract（参考訳）: 深い継続的学習は、スクラッチから再トレーニングすることなく、モデルが新しいタスクに適応する必要がある。 しかし、ニューラルネットワークは、以前のタスクでトレーニングした後、新しいタスクに適応する能力を失う可能性がある。 可塑性損失に関するいくつかの説明と診断が提案されている。 既存の診断では、ニューラルネットワークの可塑性を予測できるのだろうか? 本研究では,可塑性をトレーニング容易性として解釈する実践的な視点,すなわち,ニューラルネットワークの将来の目標タスクにおける最適化向上について考察する。 まず,いくつかの反例を構築することによって,表現ランクやニューラルタンジェントカーネルランクなど,広く採用されている可塑性診断のいくつかは,回帰と分類の両方においてトレーニング可能性の喪失を予測できないことを示す。 代わりに、勾配強度と勾配信頼性を組み合わせた最適化準備性と呼ばれる新しい計量を提案する。 最適化の即応性は、標準的な滑らか性仮定の下で1ステップの最適化ゲインを低くし、その予測力の理論的保証を提供する。 実験により,Slowly-Changing Regression や Permuted MNIST など,一般的に使われている深層学習環境において,事前診断よりも訓練性によるチェックポイントのランク付けが確実であることを示す。

関連論文リスト

• Rethinking Plasticity in Deep Reinforcement Learning [3.18807491942654]
  本稿では, 深部強化学習(RL)における塑性損失の基本的なメカニズムについて検討する。 本稿では,従来のタスクの最適点が,新しいタスクの局所的最適度に乏しいため,可塑性損失が発生することを示唆する最適化・中心塑性(OCP)仮説を提案する。 複雑なドメインにおけるネットワーク可塑性の理解と復元のための厳密な最適化に基づくフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-03-22T11:27:16Z)
• Simmering: Sufficient is better than optimal for training neural networks [0.0]
  これは、ニューラルネットワークをトレーニングして、十分十分な重みとバイアスを生成する物理ベースの方法です。 我々は、SimmeringがAdamが過剰に適合するニューラルネットワークを修正していることを示し、Simmeringが最初からデプロイされた場合、過適合を避けることを示す。 本稿では,ニューラルネットワーク学習のパラダイムとして最適化を問うとともに,情報幾何学的議論を活用し,十分な学習アルゴリズムのクラスの存在を示唆する。
  論文  参考訳（メタデータ） (2024-10-25T18:02:08Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• More is Better in Modern Machine Learning: when Infinite Overparameterization is Optimal and Overfitting is Obligatory [12.689249854199982]
  RF劣化試験のリスクは特徴数とサンプル数の両方で単調に低下することを示した。 次に、パワーロー固有構造を特徴とするタスクの大規模なクラスにおいて、ほぼゼロに近いトレーニング損失に対するトレーニングが義務付けられていることを示す。
  論文  参考訳（メタデータ） (2023-11-24T18:27:41Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• No Wrong Turns: The Simple Geometry Of Neural Networks Optimization Paths [12.068608358926317]
  1次最適化アルゴリズムは、ディープニューラルネットワークにおいて好ましいミニマを効率的に見つけることが知られている。 2つの鍵経路における標本最適化量の基本的な幾何学的性質に焦点をあてる。 以上の結果から,最適化トラジェクトリは大きな障害に遭遇しないだけでなく,ほとんどのトレーニングにおいて安定なダイナミクスも維持できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-06-20T22:10:40Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。