論文の概要: From Fourier to Neural ODEs: Flow matching for modeling complex systems

• arxiv url: http://arxiv.org/abs/2405.11542v1
• Date: Sun, 19 May 2024 13:15:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 15:22:21.026868
• Title: From Fourier to Neural ODEs: Flow matching for modeling complex systems
• Title（参考訳）: FourierからNeural ODEへ:複雑なシステムのモデリングのためのフローマッチング
• Authors: Xin Li, Jingdong Zhang, Qunxi Zhu, Chengli Zhao, Xue Zhang, Xiaojun Duan, Wei Lin,
• Abstract要約: ニューラル常微分方程式(NODE)を学習するためのシミュレーション不要なフレームワークを提案する。 フーリエ解析を用いて、ノイズの多い観測データから時間的および潜在的高次空間勾配を推定する。 我々の手法は、トレーニング時間、ダイナミクス予測、堅牢性の観点から、最先端の手法よりも優れています。
• 参考スコア（独自算出の注目度）: 20.006163951844357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling complex systems using standard neural ordinary differential equations (NODEs) often faces some essential challenges, including high computational costs and susceptibility to local optima. To address these challenges, we propose a simulation-free framework, called Fourier NODEs (FNODEs), that effectively trains NODEs by directly matching the target vector field based on Fourier analysis. Specifically, we employ the Fourier analysis to estimate temporal and potential high-order spatial gradients from noisy observational data. We then incorporate the estimated spatial gradients as additional inputs to a neural network. Furthermore, we utilize the estimated temporal gradient as the optimization objective for the output of the neural network. Later, the trained neural network generates more data points through an ODE solver without participating in the computational graph, facilitating more accurate estimations of gradients based on Fourier analysis. These two steps form a positive feedback loop, enabling accurate dynamics modeling in our framework. Consequently, our approach outperforms state-of-the-art methods in terms of training time, dynamics prediction, and robustness. Finally, we demonstrate the superior performance of our framework using a number of representative complex systems.
• Abstract（参考訳）: 標準的なニューラル常微分方程式(NODE)を用いた複雑なシステムのモデリングは、高い計算コストや局所最適性への感受性など、いくつかの重要な課題に直面している。 これらの課題に対処するために、フーリエ解析に基づいてターゲットベクトル場を直接マッチングすることにより、効果的にNODEを訓練するFourier NODEs (FNODEs) と呼ばれるシミュレーションフリーフレームワークを提案する。 具体的には、フーリエ解析を用いて、ノイズの多い観測データから時間的および潜在的高次空間勾配を推定する。 次に、推定空間勾配をニューラルネットワークへの追加入力として組み込む。 さらに、推定時間勾配をニューラルネットワークの出力の最適化目的として利用する。 その後、トレーニングされたニューラルネットワークは、計算グラフに参加せずにODEソルバを介してより多くのデータポイントを生成し、フーリエ解析に基づくより正確な勾配推定を容易にする。 これら2つのステップは肯定的なフィードバックループを形成し、フレームワーク内で正確な動的モデリングを可能にします。 その結果,本手法は,トレーニング時間,動的予測,堅牢性の観点から,最先端の手法よりも優れていた。 最後に、複数の代表的な複雑なシステムを用いて、フレームワークの優れた性能を実証する。

関連論文リスト

• Training Hamiltonian neural networks without backpropagation [0.0]
  本稿では,ハミルトニアン系を近似するニューラルネットワークのトレーニングを高速化するバックプロパゲーションフリーアルゴリズムを提案する。 従来のハミルトニアンニューラルネットワークよりもCPUの方が100倍以上高速であることを示す。
  論文  参考訳（メタデータ） (2024-11-26T15:22:30Z)
• PhyMPGN: Physics-encoded Message Passing Graph Network for spatiotemporal PDE systems [31.006807854698376]
  我々は物理符号化されたメッセージパッシンググラフネットワーク(PhyMPGN)という新しいグラフ学習手法を提案する。 我々は,GNNを数値積分器に組み込んで,与えられたPDEシステムに対する時間的時間的ダイナミクスの時間的行進を近似する。 PhyMPGNは、粗い非構造メッシュ上での様々なタイプの時間的ダイナミクスを正確に予測することができる。
  論文  参考訳（メタデータ） (2024-10-02T08:54:18Z)
• KFD-NeRF: Rethinking Dynamic NeRF with Kalman Filter [49.85369344101118]
  KFD-NeRFは,Kalmanフィルタに基づく効率的かつ高品質な運動再構成フレームワークと統合された,新しい動的ニューラル放射場である。 我々のキーとなる考え方は、動的放射場を、観測と予測という2つの知識源に基づいて時間的に異なる状態が推定される動的システムとしてモデル化することである。 我々のKFD-NeRFは、同等の計算時間と最先端の視線合成性能で、徹底的な訓練を施した類似または優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-18T05:48:24Z)
• Spectral-Refiner: Fine-Tuning of Accurate Spatiotemporal Neural Operator for Turbulent Flows [6.961408873053586]
  本稿では,ボヒナー空間間のマップを学習する新しい時間的ニューラル演算子(SFNO)と,これらの問題に対処する新しい学習フレームワークを提案する。 この新しいパラダイムは、従来の数値PDE理論と技法の知恵を利用して、一般的に採用されているエンドツーエンドのニューラル演算子のトレーニングと評価のパイプラインを洗練する。 2次元NSEのための一般的なベンチマークの数値実験は、エンドツーエンド評価や従来の数値PDEソルバと比較して計算効率と精度の両方が大幅に向上した。
  論文  参考訳（メタデータ） (2024-05-27T14:33:06Z)
• Neural Network-Based Score Estimation in Diffusion Models: Optimization and Generalization [12.812942188697326]
  拡散モデルは、忠実さ、柔軟性、堅牢性を改善した高品質なサンプルを生成する際に、GANと競合する強力なツールとして登場した。 これらのモデルの主要な構成要素は、スコアマッチングを通じてスコア関数を学ぶことである。 様々なタスクにおいて経験的な成功にもかかわらず、勾配に基づくアルゴリズムが証明可能な精度でスコア関数を学習できるかどうかは不明である。
  論文  参考訳（メタデータ） (2024-01-28T08:13:56Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Fourier Sensitivity and Regularization of Computer Vision Models [11.79852671537969]
  本稿では,ディープニューラルネットワークの周波数感度特性について,原理的アプローチを用いて検討する。 コンピュータビジョンモデルは、データセット、トレーニング方法、アーキテクチャに依存する特定の周波数に一貫して敏感であることがわかった。
  論文  参考訳（メタデータ） (2023-01-31T10:05:35Z)
• Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics [73.77459272878025]
  ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。 我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
  論文  参考訳（メタデータ） (2021-06-08T08:04:47Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。