論文の概要: How Temporal Unrolling Supports Neural Physics Simulators

• arxiv url: http://arxiv.org/abs/2402.12971v1
• Date: Tue, 20 Feb 2024 12:40:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 15:19:07.755352
• Title: How Temporal Unrolling Supports Neural Physics Simulators
• Title（参考訳）: テンポラルアンロールが神経物理シミュレーターをどのようにサポートするか
• Authors: Bjoern List, Li-Wei Chen, Kartik Bali, Nils Thuerey
• Abstract要約: 時間の経過とともにトレーニングトラジェクトリをアンロールすることは、ニューラルネットワーク強化された物理シミュレータの推論精度に影響を与える。 数値解法で支えられた非微分可能だが無回転のトレーニング設定は、完全に微分可能な予測設定よりも4.5倍の改善が得られる。 異なる設定が最適であるのに対して、時間勾配のないアンローリングの精度は比較的近い。
• 参考スコア（独自算出の注目度）: 24.472020545551842
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Unrolling training trajectories over time strongly influences the inference accuracy of neural network-augmented physics simulators. We analyze these effects by studying three variants of training neural networks on discrete ground truth trajectories. In addition to commonly used one-step setups and fully differentiable unrolling, we include a third, less widely used variant: unrolling without temporal gradients. Comparing networks trained with these three modalities makes it possible to disentangle the two dominant effects of unrolling, training distribution shift and long-term gradients. We present a detailed study across physical systems, network sizes, network architectures, training setups, and test scenarios. It provides an empirical basis for our main findings: A non-differentiable but unrolled training setup supported by a numerical solver can yield 4.5-fold improvements over a fully differentiable prediction setup that does not utilize this solver. We also quantify a difference in the accuracy of models trained in a fully differentiable setup compared to their non-differentiable counterparts. While differentiable setups perform best, the accuracy of unrolling without temporal gradients comes comparatively close. Furthermore, we empirically show that these behaviors are invariant to changes in the underlying physical system, the network architecture and size, and the numerical scheme. These results motivate integrating non-differentiable numerical simulators into training setups even if full differentiability is unavailable. We also observe that the convergence rate of common neural architectures is low compared to numerical algorithms. This encourages the use of hybrid approaches combining neural and numerical algorithms to utilize the benefits of both.
• Abstract（参考訳）: 時間の経過とともにトレーニングトラジェクタの展開は、ニューラルネットワークによる物理シミュレータの推論精度に大きく影響する。 離散的基底的真理軌跡に対するニューラルネットワークのトレーニングの3つの変種について検討し,これらの効果を分析した。 一般的に使用されるワンステップのセットアップと完全に微分可能なアンロールに加えて、第3の、あまり広く使われていない変種も含んでいる。 これら3つのモダリティでトレーニングされたネットワークを比較することで、ロールング、トレーニング分布シフト、長期勾配の2つの主要な効果を分離することができる。 本稿では,物理システム,ネットワークサイズ,ネットワークアーキテクチャ,トレーニングセットアップ,テストシナリオに関する詳細な研究について述べる。 数値ソルバがサポートする非微分可能だがロールされていないトレーニングセットアップは、このソルバを使用しない完全に微分可能な予測設定よりも4.5倍の改善が得られます。 また、完全に微分可能な設定でトレーニングされたモデルの精度の差を、微分不能なモデルと比較して定量化する。 異なる設定が最良であるが、時間勾配のないアンローリングの精度は比較的近い。 さらに, 基礎となる物理システム, ネットワークアーキテクチャ, サイズ, 数値スキームの変化に対して, これらの挙動が不変であることを示す。 これらの結果は,完全微分不可能であっても,非微分可能数値シミュレータをトレーニング環境に統合する動機付けとなる。 また,一般的なニューラルネットワークの収束率は,数値アルゴリズムと比較して低い。 これにより、ニューラルネットワークと数値アルゴリズムを組み合わせて両方の利点を利用するハイブリッドアプローチの利用が促進される。

関連論文リスト

• From Variance to Veracity: Unbundling and Mitigating Gradient Variance in Differentiable Bundle Adjustment Layers [10.784222655465264]
  ロボット工学における様々なポーズ推定と追跡問題は、対応推定問題と重み付き最小二乗最適化問題に分解することができる。 近年の研究では、他方の出力に条件付きを反復的に精製することで2つの問題を結合させることで、ドメイン間でSOTA結果が得られることが示されている。 これらのモデルのトレーニングは難しいことが分かり、トレーニングを安定させ、スピードアップするためには、数多くのトリックが必要になることがわかりました。
  論文  参考訳（メタデータ） (2024-06-12T00:41:25Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Boosted Dynamic Neural Networks [53.559833501288146]
  典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。 モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。 トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。 EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T04:23:12Z)
• On the (Non-)Robustness of Two-Layer Neural Networks in Different Learning Regimes [27.156666384752548]
  ニューラルネットワークは敵の例に非常に敏感である。 異なるシナリオにおける堅牢性と一般化について研究する。 線形化された遅延学習体制がいかに堅牢性を悪化させるかを示す。
  論文  参考訳（メタデータ） (2022-03-22T16:40:52Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Finite Difference Neural Networks: Fast Prediction of Partial Differential Equations [5.575293536755126]
  データから偏微分方程式を学習するための新しいニューラルネットワークフレームワークである有限差分ニューラルネットワーク(FDNet)を提案する。 具体的には、トラジェクトリデータから基礎となる偏微分方程式を学習するために提案した有限差分ネットワークを設計する。
  論文  参考訳（メタデータ） (2020-06-02T19:17:58Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)
• Mean-Field and Kinetic Descriptions of Neural Differential Equations [0.0]
  この研究では、ニューラルネットワークの特定のクラス、すなわち残留ニューラルネットワークに焦点を当てる。 我々は、ネットワークのパラメータ、すなわち重みとバイアスに関する定常状態と感度を分析する。 残留ニューラルネットワークにインスパイアされた微視的ダイナミクスの修正は、ネットワークのフォッカー・プランクの定式化につながる。
  論文  参考訳（メタデータ） (2020-01-07T13:41:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。