論文の概要: How Temporal Unrolling Supports Neural Physics Simulators
- arxiv url: http://arxiv.org/abs/2402.12971v1
- Date: Tue, 20 Feb 2024 12:40:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 15:19:07.755352
- Title: How Temporal Unrolling Supports Neural Physics Simulators
- Title(参考訳): テンポラルアンロールが神経物理シミュレーターをどのようにサポートするか
- Authors: Bjoern List, Li-Wei Chen, Kartik Bali, Nils Thuerey
- Abstract要約: 時間の経過とともにトレーニングトラジェクトリをアンロールすることは、ニューラルネットワーク強化された物理シミュレータの推論精度に影響を与える。
数値解法で支えられた非微分可能だが無回転のトレーニング設定は、完全に微分可能な予測設定よりも4.5倍の改善が得られる。
異なる設定が最適であるのに対して、時間勾配のないアンローリングの精度は比較的近い。
- 参考スコア(独自算出の注目度): 24.472020545551842
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Unrolling training trajectories over time strongly influences the inference
accuracy of neural network-augmented physics simulators. We analyze these
effects by studying three variants of training neural networks on discrete
ground truth trajectories. In addition to commonly used one-step setups and
fully differentiable unrolling, we include a third, less widely used variant:
unrolling without temporal gradients. Comparing networks trained with these
three modalities makes it possible to disentangle the two dominant effects of
unrolling, training distribution shift and long-term gradients. We present a
detailed study across physical systems, network sizes, network architectures,
training setups, and test scenarios. It provides an empirical basis for our
main findings: A non-differentiable but unrolled training setup supported by a
numerical solver can yield 4.5-fold improvements over a fully differentiable
prediction setup that does not utilize this solver. We also quantify a
difference in the accuracy of models trained in a fully differentiable setup
compared to their non-differentiable counterparts. While differentiable setups
perform best, the accuracy of unrolling without temporal gradients comes
comparatively close. Furthermore, we empirically show that these behaviors are
invariant to changes in the underlying physical system, the network
architecture and size, and the numerical scheme. These results motivate
integrating non-differentiable numerical simulators into training setups even
if full differentiability is unavailable. We also observe that the convergence
rate of common neural architectures is low compared to numerical algorithms.
This encourages the use of hybrid approaches combining neural and numerical
algorithms to utilize the benefits of both.
- Abstract(参考訳): 時間の経過とともにトレーニングトラジェクタの展開は、ニューラルネットワークによる物理シミュレータの推論精度に大きく影響する。
離散的基底的真理軌跡に対するニューラルネットワークのトレーニングの3つの変種について検討し,これらの効果を分析した。
一般的に使用されるワンステップのセットアップと完全に微分可能なアンロールに加えて、第3の、あまり広く使われていない変種も含んでいる。
これら3つのモダリティでトレーニングされたネットワークを比較することで、ロールング、トレーニング分布シフト、長期勾配の2つの主要な効果を分離することができる。
本稿では,物理システム,ネットワークサイズ,ネットワークアーキテクチャ,トレーニングセットアップ,テストシナリオに関する詳細な研究について述べる。
数値ソルバがサポートする非微分可能だがロールされていないトレーニングセットアップは、このソルバを使用しない完全に微分可能な予測設定よりも4.5倍の改善が得られます。
また、完全に微分可能な設定でトレーニングされたモデルの精度の差を、微分不能なモデルと比較して定量化する。
異なる設定が最良であるが、時間勾配のないアンローリングの精度は比較的近い。
さらに, 基礎となる物理システム, ネットワークアーキテクチャ, サイズ, 数値スキームの変化に対して, これらの挙動が不変であることを示す。
これらの結果は,完全微分不可能であっても,非微分可能数値シミュレータをトレーニング環境に統合する動機付けとなる。
また,一般的なニューラルネットワークの収束率は,数値アルゴリズムと比較して低い。
これにより、ニューラルネットワークと数値アルゴリズムを組み合わせて両方の利点を利用するハイブリッドアプローチの利用が促進される。
関連論文リスト
- Locally Regularized Neural Differential Equations: Some Black Boxes Were
Meant to Remain Closed! [3.222802562733787]
ニューラル微分方程式のような暗黙の層深層学習技術は重要なモデリングフレームワークとなっている。
パフォーマンスとトレーニング時間をトレードオフする2つのサンプリング戦略を開発します。
本手法は,関数評価を0.556-0.733xに削減し,予測を1.3-2xに高速化する。
論文 参考訳(メタデータ) (2023-03-03T23:31:15Z) - Predictive Coding beyond Gaussian Distributions [38.51699576854394]
予測符号化(英: Predictive coding, PC)は、階層型ガウス生成モデルに基づく推論を行う神経科学に着想を得た手法である。
これらの手法は、複雑な層やアクティベーション関数のダイナミクスを複製できないため、現代のニューラルネットワークに従わない。
提案手法は,条件付き言語モデルにおいて,トランスフォーマネットワークをトレーニングし,BPに匹敵する性能を実現する。
論文 参考訳(メタデータ) (2022-11-07T12:02:05Z) - On the (Non-)Robustness of Two-Layer Neural Networks in Different
Learning Regimes [27.156666384752548]
ニューラルネットワークは敵の例に非常に敏感である。
異なるシナリオにおける堅牢性と一般化について研究する。
線形化された遅延学習体制がいかに堅牢性を悪化させるかを示す。
論文 参考訳(メタデータ) (2022-03-22T16:40:52Z) - Characterizing and overcoming the greedy nature of learning in
multi-modal deep neural networks [62.48782506095565]
深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。
本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
論文 参考訳(メタデータ) (2022-02-10T20:11:21Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳(メタデータ) (2021-12-04T18:07:47Z) - What training reveals about neural network complexity [80.87515604428346]
この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。
我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
論文 参考訳(メタデータ) (2021-06-08T08:58:00Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳(メタデータ) (2021-02-20T23:26:58Z) - Finite Difference Neural Networks: Fast Prediction of Partial
Differential Equations [5.575293536755126]
データから偏微分方程式を学習するための新しいニューラルネットワークフレームワークである有限差分ニューラルネットワーク(FDNet)を提案する。
具体的には、トラジェクトリデータから基礎となる偏微分方程式を学習するために提案した有限差分ネットワークを設計する。
論文 参考訳(メタデータ) (2020-06-02T19:17:58Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳(メタデータ) (2020-03-25T10:49:22Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳(メタデータ) (2020-03-04T17:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。