論文の概要: Analytic and Variational Stability of Deep Learning Systems

• arxiv url: http://arxiv.org/abs/2512.21208v1
• Date: Wed, 24 Dec 2025 14:43:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-25 19:43:21.800763
• Title: Analytic and Variational Stability of Deep Learning Systems
• Title（参考訳）: ディープラーニングシステムの解析と変分安定性
• Authors: Ronald Katende,
• Abstract要約: 安定性シグネチャの均一な有界性は、学習の流れに沿って散逸するリャプノフ型エネルギーの存在と等価であることを示す。 スムーズな状況下では、このフレームワークは、スペクトルノルム、アクティベーション規則性、ステップサイズ、学習速度を学習力学の収縮率にリンクする明確な安定性指数を得る。 この理論は、ReLUネットワーク、近近と近近の更新、下位のフローを含む非滑らかな学習システムにまで拡張されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a unified analytic and variational framework for studying stability in deep learning systems viewed as coupled representation-parameter dynamics. The central object is the Learning Stability Profile, which tracks the infinitesimal response of representations, parameters, and update mechanisms to perturbations along the learning trajectory. We prove a Fundamental Analytic Stability Theorem showing that uniform boundedness of these stability signatures is equivalent, up to norm equivalence, to the existence of a Lyapunov-type energy that dissipates along the learning flow. In smooth regimes, the framework yields explicit stability exponents linking spectral norms, activation regularity, step sizes, and learning rates to contractivity of the learning dynamics. Classical spectral stability results for feedforward networks, a discrete CFL-type condition for residual architectures, and parametric and temporal stability laws for stochastic gradient methods arise as direct consequences. The theory extends to non-smooth learning systems, including ReLU networks, proximal and projected updates, and stochastic subgradient flows, by replacing classical derivatives with Clarke generalized derivatives and smooth energies with variational Lyapunov functionals. The resulting framework provides a unified dynamical description of stability across architectures and optimization methods, clarifying how architectural and algorithmic choices jointly govern robustness and sensitivity to perturbations. It also provides a foundation for further extensions to continuous-time limits and geometric formulations of learning dynamics.
• Abstract（参考訳）: 本研究では,複合表現パラメータ力学とみなす深層学習システムにおける安定度を解析的・変動的に研究するための統合的枠組みを提案する。 中心となるオブジェクトは学習安定プロファイル(Learning Stability Profile)で、表現やパラメータの無限小応答を追跡し、学習軌道に沿った摂動のメカニズムを更新する。 これらの安定性シグネチャの均一な有界性は、標準等価性から学習の流れに沿って散逸するリャプノフ型エネルギーの存在まで等価であることを示す。 スムーズな状況下では、このフレームワークは、スペクトルノルム、アクティベーション正則性、ステップサイズ、学習速度を学習力学の収縮率にリンクする明確な安定性指数を生成する。 フィードフォワードネットワークの古典的なスペクトル安定性、残留アーキテクチャの離散CFL型条件、確率勾配法におけるパラメトリックおよび時間安定性則が直接的な結果として現れる。 この理論は、ReLUネットワーク、近近近近近近距離更新、確率的下次フローを含む非滑らかな学習システムにまで拡張され、古典微分をクラーク一般化微分に、滑らかエネルギーをリアプノフ汎函数に置き換える。 結果として得られるフレームワークは、アーキテクチャと最適化メソッドをまたいだ安定性の統一された動的記述を提供し、アーキテクチャとアルゴリズムの選択が、摂動に対する堅牢性と敏感さをいかに共同で支配するかを明確にする。 また、連続時間制限へのさらなる拡張と学習力学の幾何学的定式化の基盤も提供する。

関連論文リスト

• LILAD: Learning In-context Lyapunov-stable Adaptive Dynamics Models [4.66260462241022]
  LILADは、安定性と適応性を共同で保証する、システム識別のための新しいフレームワークである。 我々は、LILADをベンチマーク自律システム上で評価し、適応性、堅牢性、非適応性のベースラインを予測精度で上回ることを示す。
  論文  参考訳（メタデータ） (2025-11-26T19:20:49Z)
• Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
  リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。 線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。 数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
  論文  参考訳（メタデータ） (2025-04-16T10:39:43Z)
• Stability properties of gradient flow dynamics for the symmetric low-rank matrix factorization problem [22.648448759446907]
  多くの学習課題において,低ランク因子化がビルディングブロックとして機能することを示す。 ダイナミクスの局所的な探索部分に関連する軌跡の形状に関する新たな知見を提供する。
  論文  参考訳（メタデータ） (2024-11-24T20:05:10Z)
• Unified theoretical guarantees for stability, consistency, and convergence in neural PDE solvers from non-IID data to physics-informed networks [0.0]
  現実的なトレーニング条件下では,ニューラルネットワークの安定性,一貫性,収束性に対処する統一的な理論的枠組みを確立する。 従属データを用いた標準教師付き学習では、勾配法に対して一様安定性境界を導出する。 ヘテロジニアスデータを用いたフェデレーション学習では、曲率認識の集約と情報理論の分岐によるモデル不整合性の定量化を行う。
  論文  参考訳（メタデータ） (2024-09-08T08:48:42Z)
• Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms [61.59448949684493]
  学習例から構築した合成降下アルゴリズムの安定性と一般化解析について述べる。 SCGD と SCSC という2つの一般的な合成勾配勾配勾配アルゴリズムの均一安定性について検討した。 SCGD と SCSC の非依存的過剰リスク境界は,安定性結果と最適化誤差をトレードオフすることによって導出する。
  論文  参考訳（メタデータ） (2023-07-07T02:40:09Z)
• KCRL: Krasovskii-Constrained Reinforcement Learning with Guaranteed Stability in Nonlinear Dynamical Systems [66.9461097311667]
  形式的安定性を保証するモデルに基づく強化学習フレームワークを提案する。 提案手法は,特徴表現を用いて信頼区間までシステムダイナミクスを学習する。 我々は、KCRLが、基礎となる未知のシステムとの有限数の相互作用において安定化ポリシーを学ぶことが保証されていることを示す。
  論文  参考訳（メタデータ） (2022-06-03T17:27:04Z)
• Contraction Theory for Nonlinear Stability Analysis and Learning-based Control: A Tutorial Overview [13.228663415967624]
  収縮理論 (contraction theory) は、非自明(時間変化)非線形系の微分力学を研究するための解析ツールである。 これは、比較補題と共に用いられる指数的安定性の優れた性質を利用する。 これにより、ニューラルネットワークベースの制御と推定スキームに対して、待望の安全性と安定性が保証される。
  論文  参考訳（メタデータ） (2021-10-01T23:03:21Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Euclideanizing Flows: Diffeomorphic Reduction for Learning Stable Dynamical Systems [74.80320120264459]
  本研究では、限られた数の人間の実演からそのような動きを学ぶためのアプローチを提案する。 複素運動は安定な力学系のロールアウトとして符号化される。 このアプローチの有効性は、確立されたベンチマーク上での検証と、現実世界のロボットシステム上で収集されたデモによって実証される。
  論文  参考訳（メタデータ） (2020-05-27T03:51:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。