論文の概要: The Vanishing Gradient Problem for Stiff Neural Differential Equations

• arxiv url: http://arxiv.org/abs/2508.01519v1
• Date: Sat, 02 Aug 2025 23:44:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.920606
• Title: The Vanishing Gradient Problem for Stiff Neural Differential Equations
• Title（参考訳）: 剛性ニューラル微分方程式の減衰勾配問題
• Authors: Colby Fronk, Linda Petzold,
• Abstract要約: 強靭なシステムでは、高速脱着モードを制御するパラメータに対する感度が訓練中に著しく小さくなることが観察されている。 ここでは, この勾配の消失現象は, 特定の手法の人工物ではなく, A-stable および L-stable の厳密な数値積分スキームの普遍的な特徴であることを示す。
• 参考スコア（独自算出の注目度）: 3.941173292703699
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient-based optimization of neural differential equations and other parameterized dynamical systems fundamentally relies on the ability to differentiate numerical solutions with respect to model parameters. In stiff systems, it has been observed that sensitivities to parameters controlling fast-decaying modes become vanishingly small during training, leading to optimization difficulties. In this paper, we show that this vanishing gradient phenomenon is not an artifact of any particular method, but a universal feature of all A-stable and L-stable stiff numerical integration schemes. We analyze the rational stability function for general stiff integration schemes and demonstrate that the relevant parameter sensitivities, governed by the derivative of the stability function, decay to zero for large stiffness. Explicit formulas for common stiff integration schemes are provided, which illustrate the mechanism in detail. Finally, we rigorously prove that the slowest possible rate of decay for the derivative of the stability function is $O(|z|^{-1})$, revealing a fundamental limitation: all A-stable time-stepping methods inevitably suppress parameter gradients in stiff regimes, posing a significant barrier for training and parameter identification in stiff neural ODEs.
• Abstract（参考訳）: 神経微分方程式やその他のパラメータ化力学系の勾配に基づく最適化は、基本的にモデルパラメータに関する数値解を区別する能力に依存している。 強靭なシステムでは、高速脱着モードを制御するパラメータに対する感度が訓練中に著しく小さくなり、最適化が困難になる。 本稿では、この消滅する勾配現象は特定の方法の人工物ではなく、A安定およびL安定の厳密な数値積分スキームの普遍的な特徴であることを示す。 一般剛性積分スキームの有理安定関数を解析し、安定関数の微分によって支配される関連するパラメータ感度が、大きな剛性のためにゼロに減衰することを示した。 共通剛性積分スキームの明示的な公式が提供され、そのメカニズムが詳細に説明されている。 最後に、安定性関数の導関数に対する最小の崩壊確率が$O(|z|^{-1})$であることが厳密に証明され、基本的限界が明らかとなった。

関連論文リスト

• Implicit Neural Differential Model for Spatiotemporal Dynamics [5.1854032131971195]
  In-PiNDiffは、安定時間力学のための新しい暗黙の物理積分型ニューラル微分可能解法である。 深い平衡モデルにインスパイアされたIm-PiNDiffは、暗黙の固定点層を用いて状態を前進させ、堅牢な長期シミュレーションを可能にする。 Im-PiNDiffは優れた予測性能、数値安定性の向上、メモリとコストの大幅な削減を実現している。
  論文  参考訳（メタデータ） (2025-04-03T04:07:18Z)
• Diffusion Tempering Improves Parameter Estimation with Probabilistic Integrators for Ordinary Differential Equations [34.500484733973536]
  通常微分方程式(ODE)は科学の力学系を記述するために広く用いられているが、実験的な測定を説明するパラメータを特定することは困難である。 本稿では,ODEにおける勾配に基づくパラメータ最適化の収束性を改善する確率的数値法の新しい正規化手法である拡散テンパリングを提案する。 本手法は複雑性の異なる力学系に対して有効であることを示すとともに,実際に関連するパラメータ数を持つHodgkin-Huxleyモデルに対して,信頼性の高いパラメータ推定値が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-19T15:36:36Z)
• An optimization-based equilibrium measure describes non-equilibrium steady state dynamics: application to edge of chaos [2.5690340428649328]
  神経力学を理解することは、機械学習、非線形物理学、神経科学において中心的なトピックである。 力学は非線形であり、特に非勾配、すなわち駆動力はポテンシャルの勾配として書けない。
  論文  参考訳（メタデータ） (2024-01-18T14:25:32Z)
• Closed-Form Diffeomorphic Transformations for Time Series Alignment [0.0]
  本稿では, ODE 解に対する閉形式表現とその勾配を, 連続的なピースワイド・ファイン速度関数の下で表現する。 その結果,効率と精度の両面で有意な改善が認められた。
  論文  参考訳（メタデータ） (2022-06-16T12:02:12Z)
• Global Convergence of Over-parameterized Deep Equilibrium Models [52.65330015267245]
  ディープ均衡モデル(Deep equilibrium model, DEQ)は、入射を伴う無限深度重み付きモデルの平衡点を通して暗黙的に定義される。 無限の計算の代わりに、ルートフィンディングで直接平衡点を解き、暗黙の微分で勾配を計算する。 本稿では,無限深度重み付きモデルの非漸近解析における技術的困難を克服する新しい確率的枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-27T08:00:13Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution Differential Equations [83.3201889218775]
  広く使われている1次サドル点最適化法は、帰納的導出時に同一の連続時間常微分方程式(ODE)を導出する。 しかし、これらの方法の収束特性は、単純な双線型ゲームでさえ質的に異なる。 いくつかのサドル点最適化法のための微分方程式モデルの設計に流体力学の研究フレームワークを採用する。
  論文  参考訳（メタデータ） (2021-12-27T18:31:34Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)
• Euclideanizing Flows: Diffeomorphic Reduction for Learning Stable Dynamical Systems [74.80320120264459]
  本研究では、限られた数の人間の実演からそのような動きを学ぶためのアプローチを提案する。 複素運動は安定な力学系のロールアウトとして符号化される。 このアプローチの有効性は、確立されたベンチマーク上での検証と、現実世界のロボットシステム上で収集されたデモによって実証される。
  論文  参考訳（メタデータ） (2020-05-27T03:51:57Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)
• Convergence and sample complexity of gradient methods for the model-free linear quadratic regulator problem [27.09339991866556]
  本稿では,コントローラの空間を直接探索することにより,未知の計算系に対する最適制御を求める。 我々は、安定化フィードバックゲインの勾配-フローのダイナミクスセットに焦点をあてて、そのような手法の性能と効率を最小化するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2019-12-26T16:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。