論文の概要: Stability-Informed Initialization of Neural Ordinary Differential Equations
- arxiv url: http://arxiv.org/abs/2311.15890v3
- Date: Tue, 6 Aug 2024 13:47:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 19:41:33.857808
- Title: Stability-Informed Initialization of Neural Ordinary Differential Equations
- Title(参考訳): ニューラル正規微分方程式の安定性インフォームド初期化
- Authors: Theodor Westny, Arman Mohammadi, Daniel Jung, Erik Frisk,
- Abstract要約: 統合手法の選択が学習モデルを暗黙的に正規化する方法と,学習者の安定領域がトレーニングや予測性能にどのように影響するかを示す。
- 参考スコア(独自算出の注目度): 0.7999703756441756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses the training of Neural Ordinary Differential Equations (neural ODEs), and in particular explores the interplay between numerical integration techniques, stability regions, step size, and initialization techniques. It is shown how the choice of integration technique implicitly regularizes the learned model, and how the solver's corresponding stability region affects training and prediction performance. From this analysis, a stability-informed parameter initialization technique is introduced. The effectiveness of the initialization method is displayed across several learning benchmarks and industrial applications.
- Abstract(参考訳): 本稿では,ニューラル正規微分方程式 (Neural Ordinary Differential Equations,neural ODEs) の学習について考察し,特に数値積分法,安定領域,ステップサイズ,初期化技術との相互作用について考察する。
統合手法の選択が学習モデルを暗黙的に正規化する方法と,学習者の安定領域がトレーニングや予測性能にどのように影響するかを示す。
この分析から,安定性インフォームドパラメータ初期化手法を提案する。
初期化手法の有効性は、いくつかの学習ベンチマークと産業応用にまたがる。
関連論文リスト
- An Orthogonal Polynomial Kernel-Based Machine Learning Model for
Differential-Algebraic Equations [0.24578723416255746]
本稿では,LS-SVR機械学習モデル,重み付き残差法,レジェンダ間の接続を確立することにより,一般DAEを演算子形式で解く新しい手法を提案する。
提案手法の有効性を評価するため,非線形システム,分数次微分,積分微分,部分DAEなど,様々なDAEシナリオを考慮したシミュレーションを行った。
論文 参考訳(メタデータ) (2024-01-25T18:37:17Z) - Towards stable real-world equation discovery with assessing
differentiating quality influence [52.2980614912553]
一般的に用いられる有限差分法に代わる方法を提案する。
我々は,これらの手法を実問題と類似した問題に適用可能であること,および方程式発見アルゴリズムの収束性を確保する能力の観点から評価する。
論文 参考訳(メタデータ) (2023-11-09T23:32:06Z) - Stability and Generalization of Stochastic Compositional Gradient
Descent Algorithms [61.59448949684493]
学習例から構築した合成降下アルゴリズムの安定性と一般化解析について述べる。
SCGD と SCSC という2つの一般的な合成勾配勾配勾配アルゴリズムの均一安定性について検討した。
SCGD と SCSC の非依存的過剰リスク境界は,安定性結果と最適化誤差をトレードオフすることによって導出する。
論文 参考訳(メタデータ) (2023-07-07T02:40:09Z) - Stabilized Neural Differential Equations for Learning Dynamics with
Explicit Constraints [4.656302602746229]
そこで我々は, ニューラルネットワーク微分方程式に対する任意の多様体制約を強制するために, 安定化されたニューラル微分方程式(SNDE)を提案する。
我々のアプローチは安定化項に基づいており、元の力学に加えると、制約多様体は確実に安定である。
その単純さのため、我々の手法はすべての共通神経微分方程式(NDE)モデルと互換性があり、広く適用できる。
論文 参考訳(メタデータ) (2023-06-16T10:16:59Z) - On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。
まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文 参考訳(メタデータ) (2023-02-05T01:39:21Z) - Semi-supervised Learning of Partial Differential Operators and Dynamical
Flows [68.77595310155365]
本稿では,超ネットワーク解法とフーリエニューラル演算子アーキテクチャを組み合わせた新しい手法を提案する。
本手法は, 1次元, 2次元, 3次元の非線形流体を含む様々な時間発展PDEを用いて実験を行った。
その結果、新しい手法は、監督点の時点における学習精度を向上し、任意の中間時間にその解を補間できることを示した。
論文 参考訳(メタデータ) (2022-07-28T19:59:14Z) - Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。
本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。
本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文 参考訳(メタデータ) (2022-02-07T17:47:46Z) - Galerkin Neural Networks: A Framework for Approximating Variational
Equations with Error Control [0.0]
本稿では,ニューラルネットワークを用いて変分方程式の解を近似する手法を提案する。
基本関数がニューラルネットワークの列の実現である有限次元部分空間の列を用いる。
論文 参考訳(メタデータ) (2021-05-28T20:25:40Z) - Training Generative Adversarial Networks by Solving Ordinary
Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。
この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。
本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文 参考訳(メタデータ) (2020-10-28T15:23:49Z) - ImitationFlow: Learning Deep Stable Stochastic Dynamic Systems by
Normalizing Flows [29.310742141970394]
我々は,世界規模で安定な非線形力学を学習できる新しいDeep生成モデルであるImitationFlowを紹介した。
提案手法の有効性を,標準データセットと実ロボット実験の両方で示す。
論文 参考訳(メタデータ) (2020-10-25T14:49:46Z) - Constrained Neural Ordinary Differential Equations with Stability
Guarantees [1.1086440815804224]
代数的非線形性を持つ離散常微分方程式をディープニューラルネットワークとしてモデル化する方法を示す。
我々は、重みの固有値に課される暗黙の制約に基づいて、ネットワーク層の安定性を保証する。
オープンループシミュレーションを用いて,学習したニューラルネットワークの予測精度を検証した。
論文 参考訳(メタデータ) (2020-04-22T22:07:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。