論文の概要: A Thermodynamic Theory of Learning Part II: Critical Period Closure and Continual Learning Failure

• arxiv url: http://arxiv.org/abs/2602.07950v2
• Date: Wed, 11 Feb 2026 09:59:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 15:03:20.023748
• Title: A Thermodynamic Theory of Learning Part II: Critical Period Closure and Continual Learning Failure
• Title（参考訳）: 学習の熱力学理論 その2: 臨界周期閉鎖と連続学習失敗
• Authors: Daisuke Okanohara,
• Abstract要約: 非可逆性は、学習力学の構成構造を通して、将来の適応性に幾何的制約を課すことを示す。 我々は、タスク保存方向のログボリュームとして定義された、互換性のある有効ランクの観点でモデルの残りの適応性を定式化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning performed over finite time is inherently irreversible. In Part~I of this series, we modeled learning as a transport process in the space of parameter distributions and derived the Epistemic Speed Limit (ESL), which lower-bounds entropy production under finite-time dynamics. In this work (Part~II), we show that irreversibility imposes a geometric restriction on future adaptability through the compositional structure of learning dynamics. Successive learning phases compose multiplicatively as transport maps, and their Jacobians form a semigroup whose rank and singular values are submultiplicative. As a result, dynamically usable degrees of reconfiguration can only decrease under composition. We formalize the remaining adaptability of a model in terms of compatible effective rank, defined as the log-volume of task-preserving directions that remain dynamically accessible. Although task performance may remain unchanged, finite-time learning can progressively reduce this reconfiguration capacity. We prove a capacity-threshold criterion for continual learning: let m_B denote the stable rank of the Hessian of a new task B restricted to the task-preserving manifold of a previously learned task A. If m_B exceeds the residual compatible effective rank, then task B is trajectory-level incompatible with task A; any sufficient adaptation necessarily induces forgetting. Thus catastrophic forgetting arises not from the absence of multi-task solutions, but from irreversible loss of reconfiguration capacity under compositional learning dynamics. This establishes a trajectory-level capacity limit for continual learning.
• Abstract（参考訳）: 有限時間にわたる学習は本質的に不可逆である。 本シリーズのパート~Iでは,パラメータ分布の空間における伝達過程として学習をモデル化し,有限時間力学下でのエントロピー生成を低バウンドとするエピステミック速度限界(ESL)を導出した。 この研究 (Part~II) において, 非可逆性は, 学習力学の構成構造を通して, 将来の適応性に幾何学的制約を与えることを示した。 逐次学習相は輸送写像として乗法的に構成し、そのヤコビアンは階数と特異値が半乗法的な半群を形成する。 結果として、動的に使用可能な再構成の度合いは、構成においてのみ減少する。 我々は、動的にアクセス可能なタスク保存方向のログボリュームとして定義される、互換性のある有効ランクの観点で、モデルの残りの適応性を形式化する。 タスク性能は変わらないかもしれないが、有限時間学習は、この再構成能力を徐々に減少させる。 m_B がタスク A のタスク保存多様体に制限された新しいタスク B の Hessian の安定ランクを表すとすると、m_B がタスク A と相容れない軌道レベルであるならば、タスク B はタスク A と相容れない。 したがって、破滅的な忘れはマルチタスクの解が存在しないことではなく、構成学習力学の下で再構成能力が失われることによって生じる。 これにより、連続学習のための軌道レベルの容量制限が確立される。

関連論文リスト

• A Thermodynamic Theory of Learning I: Irreversible Ensemble Transport and Epistemic Costs [0.0]
  学習は本質的に有限時間で行うと不可逆なプロセスであると主張する。 任意の学習プロセスが与えられた分布変換を実現するために必要な最小エントロピー生成を下限に制限する有限時間不等式を導出する。
  論文  参考訳（メタデータ） (2026-01-24T21:57:54Z)
• A Backpropagation-Free Feedback-Hebbian Network for Continual Learning Dynamics [0.0]
  局所的な可塑性で訓練されたコンパクトなフィードバック経路は、再生と連続学習-関連するダイナミクスをサポートすることができることを示す。 その結果,局所的可塑性で訓練されたコンパクトなフィードバック経路は,再生と連続学習-関連するダイナミクスをサポートすることが示唆された。
  論文  参考訳（メタデータ） (2026-01-11T03:25:38Z)
• On the Limits of Self-Improving in LLMs and Why AGI, ASI and the Singularity Are Not Near Without Symbolic Model Synthesis [0.01269104766024433]
  我々は,大規模言語モデル(LLM)における自己学習と生成AIを離散時間力学系として定式化する。 1) 有限サンプリング効果が分布多様性の単調な損失(モード崩壊)を引き起こすエントロピー減衰と,(2) 外部グラウンドの損失がモデルの真理表現をランダムウォークとして漂流させる変数増幅の2つの基本的障害モードを導出する。
  論文  参考訳（メタデータ） (2026-01-05T19:50:49Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• Activation Function Design Sustains Plasticity in Continual Learning [1.618563064839635]
  継続的な学習では、モデルは適応する能力を失う可能性がある。 可塑性損失を軽減するため, アクティベーション選択はアーキテクチャに依存しない主要なレバーであることを示す。
  論文  参考訳（メタデータ） (2025-09-26T16:41:47Z)
• The Importance of Being Lazy: Scaling Limits of Continual Learning [60.97756735877614]
  モデル幅の増大は,特徴学習の量を減らし,遅延度を高めた場合にのみ有益であることを示す。 特徴学習,タスク非定常性,および忘れることの複雑な関係について検討し,高い特徴学習が極めて類似したタスクにのみ有用であることを示す。
  論文  参考訳（メタデータ） (2025-06-20T10:12:38Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• DeepLTL: Learning to Efficiently Satisfy Complex LTL Specifications for Multi-Task RL [59.01527054553122]
  線形時間論理(LTL)は、最近、複雑で時間的に拡張されたタスクを特定するための強力なフォーマリズムとして採用されている。 既存のアプローチにはいくつかの欠点がある。 これらの問題に対処するための新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-06T21:30:38Z)
• DySLIM: Dynamics Stable Learning by Invariant Measure for Chaotic Systems [22.62539147446799]
  散逸的なカオスシステムからダイナミクスを学ぶことは、その固有の不安定性のため、非常に難しい。 不変測度と力学の学習を対象とする新しいフレームワークを提案する。 スケーラブルな正規化項で分布をターゲットとすることで、このアプローチをより複雑なシステムに拡張できることを期待する。
  論文  参考訳（メタデータ） (2024-02-06T23:26:12Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Resilient Constrained Learning [94.27081585149836]
  本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。 我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
  論文  参考訳（メタデータ） (2023-06-04T18:14:18Z)
• Temporal Logic Imitation: Learning Plan-Satisficing Motion Policies from Demonstrations [15.762916270583698]
  実演法(LfD)から学ぶことで,多段階課題の解決が期待できる。 本研究では,このような課題のルーツを,実証において暗黙的な個別計画を満たすための学習された継続的政策の失敗とみなす。 我々は,線形時間論理(LTL)式で規定される任意の離散計画について,学習された連続ポリシーがシミュレート可能であることを証明した。
  論文  参考訳（メタデータ） (2022-06-09T17:25:22Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。