論文の概要: Training instability in deep learning follows low-dimensional dynamical principles

• arxiv url: http://arxiv.org/abs/2601.13160v1
• Date: Mon, 19 Jan 2026 15:37:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.956222
• Title: Training instability in deep learning follows low-dimensional dynamical principles
• Title（参考訳）: 深層学習における訓練不安定性は低次元力学原理に従う
• Authors: Zhipeng Zhang, Zhenjie Yao, Kai Li, Lei Yang,
• Abstract要約: トレーニングは、最適化、データ、パラメータ、学習信号に対する小さな摂動が突然で不可逆的な崩壊を引き起こす、高次元力学系として展開される。 本稿では,学習システムの本質的な特性としてトレーニング安定性を特徴付ける統一力学的視点を提案する。
• 参考スコア（独自算出の注目度）: 24.97566911521709
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning systems achieve remarkable empirical performance, yet the stability of the training process itself remains poorly understood. Training unfolds as a high-dimensional dynamical system in which small perturbations to optimization, data, parameters, or learning signals can induce abrupt and irreversible collapse, undermining reproducibility and scalability. We propose a unified dynamical perspective that characterizes training stability as an intrinsic property of learning systems, organized along four interacting dimensions: optimization, environmental/data, parametric, and learning-signal stability. We operationalize this perspective through controlled perturbation auditing of training trajectories, probing how learning dynamics respond to structured disturbances without modifying learning algorithms. Across reinforcement learning and large language model training, we identify three recurring regularities: high final performance is frequently decoupled from training stability; controlled stochasticity consistently buffers learning dynamics across paradigms; and deviations in low-dimensional latent meta-states systematically precede observable performance collapse. Together, these findings establish training stability as a measurable and comparable dynamical property of learning systems, providing a descriptive foundation for studying learning dynamics beyond final performance outcomes.
• Abstract（参考訳）: ディープラーニングシステムは目覚ましい経験的性能を達成するが、トレーニングプロセス自体の安定性はいまだによく分かっていない。 トレーニングは、最適化、データ、パラメータ、学習信号に対する小さな摂動が突然かつ不可逆的な崩壊を引き起こし、再現性とスケーラビリティを損なうような、高次元の力学システムとして展開される。 本研究では,学習システムの本質的な特性としてトレーニング安定性を特徴付ける統一力学的視点を提案し,最適化,環境・データ,パラメトリック,学習信号安定性の4つの相互作用次元に沿って構成する。 本研究は,学習軌跡の摂動監査を制御し,学習アルゴリズムを変更することなく,学習ダイナミクスが構造化障害にどう反応するかを探索することによって,この視点を運用する。 強化学習と大規模言語モデルトレーニングでは,高次性能がトレーニング安定性からしばしば切り離されていること,制御された確率性はパラダイム間の学習ダイナミクスを一貫してバッファリングすること,低次元の潜時メタ状態における偏差は,観測可能な性能崩壊に先立って体系的に先行すること,の3つの繰り返し規則を識別する。 これらの知見は、学習システムの測定可能かつ同等の動的特性としてトレーニング安定性を確立し、最終結果以上の学習力学を研究するための記述的基盤を提供する。

関連論文リスト

• Analytic and Variational Stability of Deep Learning Systems [0.0]
  安定性シグネチャの均一な有界性は、学習の流れに沿って散逸するリャプノフ型エネルギーの存在と等価であることを示す。 スムーズな状況下では、このフレームワークは、スペクトルノルム、アクティベーション規則性、ステップサイズ、学習速度を学習力学の収縮率にリンクする明確な安定性指数を得る。 この理論は、ReLUネットワーク、近近と近近の更新、下位のフローを含む非滑らかな学習システムにまで拡張されている。
  論文  参考訳（メタデータ） (2025-12-24T14:43:59Z)
• Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
  ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。 我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。 アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
  論文  参考訳（メタデータ） (2025-10-14T03:03:08Z)
• Adaptive Variance-Penalized Continual Learning with Fisher Regularization [0.0]
  本研究は、パラメータ分散のフィッシャー重み付き非対称正規化を統合する、新しい連続学習フレームワークを提案する。 本手法はパラメータの不確かさに応じて正規化強度を動的に変調し,安定性と性能を向上させる。
  論文  参考訳（メタデータ） (2025-08-15T21:49:28Z)
• Dynamic Manipulation of Deformable Objects in 3D: Simulation, Benchmark and Learning Strategy [88.8665000676562]
  従来の手法は、しばしば問題を低速または2D設定に単純化し、現実の3Dタスクに適用性を制限する。 データ不足を軽減するため、新しいシミュレーションフレームワークと、低次ダイナミクスに基づくベンチマークを導入する。 本研究では,シミュレーション前トレーニングと物理インフォームドテスト時間適応を統合するフレームワークであるDynamics Informed Diffusion Policy (DIDP)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T03:28:25Z)
• Data-Driven Control with Inherent Lyapunov Stability [3.695480271934742]
  本研究では,非線形力学モデルと安定化制御器のパラメトリック表現をデータから共同学習する手法として,インヒーレント・リャプノフ安定度制御(CoILS)を提案する。 新たな構成によって保証される学習力学の安定化性に加えて、学習した制御器は学習力学の忠実性に関する特定の仮定の下で真の力学を安定化することを示す。
  論文  参考訳（メタデータ） (2023-03-06T14:21:42Z)
• Active Learning of Discrete-Time Dynamics for Uncertainty-Aware Model Predictive Control [46.81433026280051]
  本稿では,非線形ロボットシステムの力学を積極的にモデル化する自己教師型学習手法を提案する。 我々のアプローチは、目に見えない飛行条件に一貫して適応することで、高いレジリエンスと一般化能力を示す。
  論文  参考訳（メタデータ） (2022-10-23T00:45:05Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Learning Unstable Dynamical Systems with Time-Weighted Logarithmic Loss [20.167719985846002]
  勾配降下アルゴリズムの力学を考察し、不安定なシステムの学習が困難になる原因をピンポイントする。 この不均衡を解消し,不安定なシステムを学習する上での有効性を示すために,時間重対数損失関数を導入する。
  論文  参考訳（メタデータ） (2020-07-10T06:28:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。