論文の概要: Differentiability in Unrolled Training of Neural Physics Simulators on Transient Dynamics

• arxiv url: http://arxiv.org/abs/2402.12971v2
• Date: Thu, 10 Oct 2024 16:27:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-11 14:27:47.183359
• Title: Differentiability in Unrolled Training of Neural Physics Simulators on Transient Dynamics
• Title（参考訳）: 過渡的ダイナミクスに基づくニューラル物理シミュレータのアンロールトレーニングにおける微分可能性
• Authors: Bjoern List, Li-Wei Chen, Kartik Bali, Nils Thuerey,
• Abstract要約: 時間の経過とともにトレーニングトラジェクトリをアンロールすることは、ニューラルネットワーク強化された物理シミュレータの推論精度に影響を与える。 本稿では,物理システム,ネットワークサイズとアーキテクチャ,トレーニングセットアップ,テストシナリオについて検討する。
• 参考スコア（独自算出の注目度）: 22.40149186064481
• License:
• Abstract: Unrolling training trajectories over time strongly influences the inference accuracy of neural network-augmented physics simulators. We analyze this in three variants of training neural time-steppers. In addition to one-step setups and fully differentiable unrolling, we include a third, less widely used variant: unrolling without temporal gradients. Comparing networks trained with these three modalities disentangles the two dominant effects of unrolling, training distribution shift and long-term gradients. We present detailed study across physical systems, network sizes and architectures, training setups, and test scenarios. It also encompasses two simulation modes: In prediction setups, we rely solely on neural networks to compute a trajectory. In contrast, correction setups include a numerical solver that is supported by a neural network. Spanning these variations, our study provides the empirical basis for our main findings: Non-differentiable but unrolled training with a numerical solver in a correction setup can yield substantial improvements over a fully differentiable prediction setup not utilizing this solver. The accuracy of models trained in a fully differentiable setup differs compared to their non-differentiable counterparts. Differentiable ones perform best in a comparison among correction networks as well as among prediction setups. For both, the accuracy of non-differentiable unrolling comes close. Furthermore, we show that these behaviors are invariant to the physical system, the network architecture and size, and the numerical scheme. These results motivate integrating non-differentiable numerical simulators into training setups even if full differentiability is unavailable. We show the convergence rate of common architectures to be low compared to numerical algorithms. This motivates correction setups combining neural and numerical parts which utilize benefits of both.
• Abstract（参考訳）: 時間の経過とともにトレーニングトラジェクトリをアンロールすることは、ニューラルネットワーク強化された物理シミュレータの推論精度に強く影響を及ぼす。 我々はこれを3種類のトレーニング時間ステップで分析する。 一段階のセットアップと完全に微分可能なアンローリングに加えて、第3の、あまり広く使われていない変種(アンローリング)も含んでいる。 これら3つのモードでトレーニングされたネットワークを比較すると、アンローリング、トレーニング分布シフト、長期勾配の2つの主要な効果が解消される。 本稿では,物理システム,ネットワークサイズとアーキテクチャ,トレーニングセットアップ,テストシナリオについて詳細に検討する。 予測設定では、軌道を計算するためにニューラルネットワークのみに依存しています。 対照的に、補正設定には、ニューラルネットワークによって支持される数値解法が含まれる。 本研究は, 数値解法と数値解法を併用した非微分型トレーニングにより, この解法を用いない完全微分型予測装置よりも大幅に改善できることを示す。 完全に微分可能な設定で訓練されたモデルの精度は、微分不可能な設定と比べて異なる。 微分可能なものは、予測設定だけでなく、補正ネットワーク間の比較でも最高に機能する。 どちらの場合も、微分不可能なアンローリングの精度は近い。 さらに,これらの挙動は,物理システム,ネットワークアーキテクチャ,サイズ,数値スキームに不変であることを示す。 これらの結果は,完全微分可能でない場合でも,非微分可能数値シミュレータをトレーニング環境に統合する動機付けとなる。 我々は,共通アーキテクチャの収束率を数値アルゴリズムと比較して低くすることを示した。 これは、両方の利点を利用するニューラルネットワークと数値部品を組み合わせた補正設定を動機付けている。

関連論文リスト

• From Variance to Veracity: Unbundling and Mitigating Gradient Variance in Differentiable Bundle Adjustment Layers [10.784222655465264]
  ロボット工学における様々なポーズ推定と追跡問題は、対応推定問題と重み付き最小二乗最適化問題に分解することができる。 近年の研究では、他方の出力に条件付きを反復的に精製することで2つの問題を結合させることで、ドメイン間でSOTA結果が得られることが示されている。 これらのモデルのトレーニングは難しいことが分かり、トレーニングを安定させ、スピードアップするためには、数多くのトリックが必要になることがわかりました。
  論文  参考訳（メタデータ） (2024-06-12T00:41:25Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Boosted Dynamic Neural Networks [53.559833501288146]
  典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。 モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。 トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。 EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T04:23:12Z)
• On the (Non-)Robustness of Two-Layer Neural Networks in Different Learning Regimes [27.156666384752548]
  ニューラルネットワークは敵の例に非常に敏感である。 異なるシナリオにおける堅牢性と一般化について研究する。 線形化された遅延学習体制がいかに堅牢性を悪化させるかを示す。
  論文  参考訳（メタデータ） (2022-03-22T16:40:52Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Finite Difference Neural Networks: Fast Prediction of Partial Differential Equations [5.575293536755126]
  データから偏微分方程式を学習するための新しいニューラルネットワークフレームワークである有限差分ニューラルネットワーク(FDNet)を提案する。 具体的には、トラジェクトリデータから基礎となる偏微分方程式を学習するために提案した有限差分ネットワークを設計する。
  論文  参考訳（メタデータ） (2020-06-02T19:17:58Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)
• Mean-Field and Kinetic Descriptions of Neural Differential Equations [0.0]
  この研究では、ニューラルネットワークの特定のクラス、すなわち残留ニューラルネットワークに焦点を当てる。 我々は、ネットワークのパラメータ、すなわち重みとバイアスに関する定常状態と感度を分析する。 残留ニューラルネットワークにインスパイアされた微視的ダイナミクスの修正は、ネットワークのフォッカー・プランクの定式化につながる。
  論文  参考訳（メタデータ） (2020-01-07T13:41:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。