論文の概要: A Thermodynamic Theory of Learning Part II: Critical Period Closure and Continual Learning Failure

• arxiv url: http://arxiv.org/abs/2602.07950v2
• Date: Wed, 11 Feb 2026 09:59:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 15:03:20.023748
• Title: A Thermodynamic Theory of Learning Part II: Critical Period Closure and Continual Learning Failure
• Title（参考訳）: 学習の熱力学理論 その2: 臨界周期閉鎖と連続学習失敗
• Authors: Daisuke Okanohara,
• Abstract要約: 非可逆性は、学習力学の構成構造を通して、将来の適応性に幾何的制約を課すことを示す。 我々は、タスク保存方向のログボリュームとして定義された、互換性のある有効ランクの観点でモデルの残りの適応性を定式化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning performed over finite time is inherently irreversible. In Part~I of this series, we modeled learning as a transport process in the space of parameter distributions and derived the Epistemic Speed Limit (ESL), which lower-bounds entropy production under finite-time dynamics. In this work (Part~II), we show that irreversibility imposes a geometric restriction on future adaptability through the compositional structure of learning dynamics. Successive learning phases compose multiplicatively as transport maps, and their Jacobians form a semigroup whose rank and singular values are submultiplicative. As a result, dynamically usable degrees of reconfiguration can only decrease under composition. We formalize the remaining adaptability of a model in terms of compatible effective rank, defined as the log-volume of task-preserving directions that remain dynamically accessible. Although task performance may remain unchanged, finite-time learning can progressively reduce this reconfiguration capacity. We prove a capacity-threshold criterion for continual learning: let m_B denote the stable rank of the Hessian of a new task B restricted to the task-preserving manifold of a previously learned task A. If m_B exceeds the residual compatible effective rank, then task B is trajectory-level incompatible with task A; any sufficient adaptation necessarily induces forgetting. Thus catastrophic forgetting arises not from the absence of multi-task solutions, but from irreversible loss of reconfiguration capacity under compositional learning dynamics. This establishes a trajectory-level capacity limit for continual learning.
• Abstract（参考訳）: 有限時間にわたる学習は本質的に不可逆である。 本シリーズのパート~Iでは,パラメータ分布の空間における伝達過程として学習をモデル化し,有限時間力学下でのエントロピー生成を低バウンドとするエピステミック速度限界(ESL)を導出した。 この研究 (Part~II) において, 非可逆性は, 学習力学の構成構造を通して, 将来の適応性に幾何学的制約を与えることを示した。 逐次学習相は輸送写像として乗法的に構成し、そのヤコビアンは階数と特異値が半乗法的な半群を形成する。 結果として、動的に使用可能な再構成の度合いは、構成においてのみ減少する。 我々は、動的にアクセス可能なタスク保存方向のログボリュームとして定義される、互換性のある有効ランクの観点で、モデルの残りの適応性を形式化する。 タスク性能は変わらないかもしれないが、有限時間学習は、この再構成能力を徐々に減少させる。 m_B がタスク A のタスク保存多様体に制限された新しいタスク B の Hessian の安定ランクを表すとすると、m_B がタスク A と相容れない軌道レベルであるならば、タスク B はタスク A と相容れない。 したがって、破滅的な忘れはマルチタスクの解が存在しないことではなく、構成学習力学の下で再構成能力が失われることによって生じる。 これにより、連続学習のための軌道レベルの容量制限が確立される。

関連論文リスト

• A Thermodynamic Theory of Learning I: Irreversible Ensemble Transport and Epistemic Costs [0.0]
  学習は本質的に有限時間で行うと不可逆なプロセスであると主張する。 任意の学習プロセスが与えられた分布変換を実現するために必要な最小エントロピー生成を下限に制限する有限時間不等式を導出する。
  論文  参考訳（メタデータ） (2026-01-24T21:57:54Z)
• DeepLTL: Learning to Efficiently Satisfy Complex LTL Specifications for Multi-Task RL [59.01527054553122]
  線形時間論理(LTL)は、最近、複雑で時間的に拡張されたタスクを特定するための強力なフォーマリズムとして採用されている。 既存のアプローチにはいくつかの欠点がある。 これらの問題に対処するための新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-06T21:30:38Z)
• DySLIM: Dynamics Stable Learning by Invariant Measure for Chaotic Systems [22.62539147446799]
  散逸的なカオスシステムからダイナミクスを学ぶことは、その固有の不安定性のため、非常に難しい。 不変測度と力学の学習を対象とする新しいフレームワークを提案する。 スケーラブルな正規化項で分布をターゲットとすることで、このアプローチをより複雑なシステムに拡張できることを期待する。
  論文  参考訳（メタデータ） (2024-02-06T23:26:12Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Resilient Constrained Learning [94.27081585149836]
  本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。 我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
  論文  参考訳（メタデータ） (2023-06-04T18:14:18Z)
• Temporal Logic Imitation: Learning Plan-Satisficing Motion Policies from Demonstrations [15.762916270583698]
  実演法(LfD)から学ぶことで,多段階課題の解決が期待できる。 本研究では,このような課題のルーツを,実証において暗黙的な個別計画を満たすための学習された継続的政策の失敗とみなす。 我々は,線形時間論理(LTL)式で規定される任意の離散計画について,学習された連続ポリシーがシミュレート可能であることを証明した。
  論文  参考訳（メタデータ） (2022-06-09T17:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。