Fugu-MT 論文翻訳(概要): Semi-Implicit Neural Ordinary Differential Equations

論文の概要: Semi-Implicit Neural Ordinary Differential Equations

arxiv url: http://arxiv.org/abs/2412.11301v1
Date: Sun, 15 Dec 2024 20:21:02 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-17 14:00:22.122763
Title: Semi-Implicit Neural Ordinary Differential Equations
Title（参考訳）: 半指数ニューラル正規微分方程式
Authors: Hong Zhang, Ying Liu, Romit Maulik,
Abstract要約: 基礎となる力学の分割可能な構造を利用する半単純ニューラルODE手法を提案する。我々の手法は、既存のアプローチよりも大きな計算上の優位性を持つ暗黙のニューラルネットワークにつながる。
参考スコア（独自算出の注目度）: 5.196303789025002
License:
Abstract: Classical neural ODEs trained with explicit methods are intrinsically limited by stability, crippling their efficiency and robustness for stiff learning problems that are common in graph learning and scientific machine learning. We present a semi-implicit neural ODE approach that exploits the partitionable structure of the underlying dynamics. Our technique leads to an implicit neural network with significant computational advantages over existing approaches because of enhanced stability and efficient linear solves during time integration. We show that our approach outperforms existing approaches on a variety of applications including graph classification and learning complex dynamical systems. We also demonstrate that our approach can train challenging neural ODEs where both explicit methods and fully implicit methods are intractable.
Abstract（参考訳）: 明示的な手法で訓練された古典的なニューラルなODEは、安定性によって本質的に制限されており、グラフ学習や科学機械学習に共通する厳密な学習問題に対して、その効率性と頑健さを犠牲にしている。基礎となる力学の分割可能な構造を利用する半単純ニューラルODE手法を提案する。我々の手法は、時間統合時の安定性の向上と効率的な線形解法により、既存のアプローチよりも計算上の優位性を持つ暗黙のニューラルネットワークに導かれる。本手法は,グラフ分類や複雑な力学系の学習など,様々なアプリケーションにおける既存手法よりも優れていることを示す。我々はまた、明示的な方法と完全に暗黙的な方法の両方が難解である、挑戦的なニューラルなODEを訓練できることを実証した。

関連論文リスト

Learning Controlled Stochastic Differential Equations [61.82896036131116]
本研究では,非一様拡散を伴う連続多次元非線形微分方程式のドリフト係数と拡散係数の両方を推定する新しい手法を提案する。我々は、(L2)、(Linfty)の有限サンプル境界や、係数の正則性に適応する学習率を持つリスクメトリクスを含む、強力な理論的保証を提供する。当社のメソッドはオープンソースPythonライブラリとして利用可能です。
論文参考訳（メタデータ） (2024-11-04T11:09:58Z)
Projected Neural Differential Equations for Learning Constrained Dynamics [3.570367665112327]
本稿では,学習ベクトル場の射影を制約多様体の接空間に向けることで,ニューラル微分方程式を制約する新しい手法を提案する。 PNDEは、ハイパーパラメータを少なくしながら、既存のメソッドよりも優れています。提案手法は、制約付き力学系のモデリングを強化する重要な可能性を示す。
論文参考訳（メタデータ） (2024-10-31T06:32:43Z)
Training Stiff Neural Ordinary Differential Equations with Implicit Single-Step Methods [3.941173292703699]
通常の微分方程式(ODE)の剛系は多くの科学や工学の分野で普及している。標準的なニューラルODEアプローチは、それらを学ぶのに苦労する。本稿では,1ステップの暗黙的スキームに基づくニューラルネットワークによる剛性処理手法を提案する。
論文参考訳（メタデータ） (2024-10-08T01:08:17Z)
Adaptive Feedforward Gradient Estimation in Neural ODEs [0.0]
本稿では,適応フィードフォワード勾配推定を利用してニューラルネットワークの効率,一貫性,解釈性を向上させる手法を提案する。提案手法では,バックプロパゲーションとアジョイントを不要にし,計算オーバーヘッドとメモリ使用量を削減し,精度を向上する。
論文参考訳（メタデータ） (2024-09-22T18:21:01Z)
Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文参考訳（メタデータ） (2024-02-20T15:23:24Z)
Stabilized Neural Differential Equations for Learning Dynamics with Explicit Constraints [4.656302602746229]
そこで我々は, ニューラルネットワーク微分方程式に対する任意の多様体制約を強制するために, 安定化されたニューラル微分方程式(SNDE)を提案する。我々のアプローチは安定化項に基づいており、元の力学に加えると、制約多様体は確実に安定である。その単純さのため、我々の手法はすべての共通神経微分方程式(NDE)モデルと互換性があり、広く適用できる。
論文参考訳（メタデータ） (2023-06-16T10:16:59Z)
On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文参考訳（メタデータ） (2023-02-05T01:39:21Z)
IQ-Learn: Inverse soft-Q Learning for Imitation [95.06031307730245]
少数の専門家データからの模倣学習は、複雑な力学を持つ高次元環境では困難である。行動クローニングは、実装の単純さと安定した収束性のために広く使われている単純な方法である。本稿では,1つのQ-関数を学習することで,対向学習を回避する動的適応型ILを提案する。
論文参考訳（メタデータ） (2021-06-23T03:43:10Z)
Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models [38.17499046781131]
本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
論文参考訳（メタデータ） (2021-06-22T08:40:51Z)
Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文参考訳（メタデータ） (2020-03-11T13:15:57Z)
Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。