論文の概要: Inverse-Dirichlet Weighting Enables Reliable Training of Physics Informed Neural Networks

• arxiv url: http://arxiv.org/abs/2107.00940v1
• Date: Fri, 2 Jul 2021 10:01:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-05 22:58:27.908634
• Title: Inverse-Dirichlet Weighting Enables Reliable Training of Physics Informed Neural Networks
• Title（参考訳）: 逆ディリクレ重み付けによる物理情報ニューラルネットワークの信頼性向上
• Authors: Suryanarayana Maddu, Dominik Sturm, Christian L. M\"uller, Ivo F. Sbalzarini
• Abstract要約: 我々は、深層ニューラルネットワークのトレーニング中に、スケール不均衡を伴うマルチスケールダイナミクスから生じる障害モードを記述し、治療する。 PINNは、物理方程式モデルとデータとのシームレスな統合を可能にする、一般的な機械学習テンプレートである。 逐次トレーニングを用いた逆モデリングでは,逆ディリクレ重み付けがPINNを破滅的忘れから保護することがわかった。
• 参考スコア（独自算出の注目度）: 2.580765958706854
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We characterize and remedy a failure mode that may arise from multi-scale dynamics with scale imbalances during training of deep neural networks, such as Physics Informed Neural Networks (PINNs). PINNs are popular machine-learning templates that allow for seamless integration of physical equation models with data. Their training amounts to solving an optimization problem over a weighted sum of data-fidelity and equation-fidelity objectives. Conflicts between objectives can arise from scale imbalances, heteroscedasticity in the data, stiffness of the physical equation, or from catastrophic interference during sequential training. We explain the training pathology arising from this and propose a simple yet effective inverse-Dirichlet weighting strategy to alleviate the issue. We compare with Sobolev training of neural networks, providing the baseline of analytically $\boldsymbol{\epsilon}$-optimal training. We demonstrate the effectiveness of inverse-Dirichlet weighting in various applications, including a multi-scale model of active turbulence, where we show orders of magnitude improvement in accuracy and convergence over conventional PINN training. For inverse modeling using sequential training, we find that inverse-Dirichlet weighting protects a PINN against catastrophic forgetting.
• Abstract（参考訳）: 我々は、物理情報ニューラルネットワーク(PINN)のような深層ニューラルネットワークのトレーニング中に、スケール不均衡を伴うマルチスケールダイナミクスから生じる障害モードを特徴付け、治療する。 PINNは、物理方程式モデルのデータとのシームレスな統合を可能にする、一般的な機械学習テンプレートである。 彼らのトレーニングは、データ忠実度と方程式忠実度目標の重み付け和による最適化問題を解決することにかかっている。 目的間の衝突は、スケールの不均衡、データのヘテロシディスティック性、物理方程式の剛性、または逐次訓練中の破滅的な干渉によって生じる。 このことから生じる訓練病理を説明し,この問題を軽減するための単純かつ効果的な逆ディリクレ重み付け戦略を提案する。 ニューラルネットワークのソボレフトレーニングと比較し、分析的に$\boldsymbol{\epsilon}$-Optimalトレーニングのベースラインを提供する。 本研究では,多スケールのアクティブ乱流モデルを含む様々な応用における逆ディリクレ重み付けの有効性を実証し,従来のピン訓練よりも精度と収束度が桁違いに向上することを示す。 逐次トレーニングを用いた逆モデリングでは,逆ディリクレ重み付けがPINNを破滅的忘れから保護することがわかった。

関連論文リスト

• Randomized Forward Mode Gradient for Spiking Neural Networks in Scientific Machine Learning [4.178826560825283]
  スパイキングニューラルネットワーク(SNN)は、ディープニューラルネットワークの階層的学習能力とスパイクベースの計算のエネルギー効率を組み合わせた、機械学習における有望なアプローチである。 SNNの伝統的なエンドツーエンドトレーニングは、しばしばバックプロパゲーションに基づいており、重み更新はチェーンルールによって計算された勾配から導かれる。 この手法は, 生体適合性に限界があり, ニューロモルフィックハードウェアの非効率性のため, 課題に遭遇する。 本研究では,SNNの代替トレーニング手法を導入する。後方伝搬の代わりに,前方モード内での重量摂動手法を活用する。
  論文  参考訳（メタデータ） (2024-11-11T15:20:54Z)
• Multi-fidelity physics constrained neural networks for dynamical systems [16.6396704642848]
  マルチスケール物理制約ニューラルネットワーク(MSPCNN)を提案する。 MSPCNNは、異なるレベルの忠実度を持つデータを統一された潜在空間に組み込む新しい手法を提供する。 従来の手法とは異なり、MSPCNNは予測モデルをトレーニングするために複数の忠実度データを使用する。
  論文  参考訳（メタデータ） (2024-02-03T05:05:26Z)
• Analyzing and Improving the Training Dynamics of Diffusion Models [36.37845647984578]
  一般的なADM拡散モデルアーキテクチャにおいて、不均一かつ非効率なトレーニングの原因をいくつか特定し、修正する。 この哲学の体系的な応用は、観測されたドリフトと不均衡を排除し、同じ計算複雑性でネットワークをかなり良くする。
  論文  参考訳（メタデータ） (2023-12-05T11:55:47Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Dual adaptive training of photonic neural networks [30.86507809437016]
  フォトニックニューラルネットワーク(PNN)は、低レイテンシ、高エネルギー効率、高並列性を特徴とする電子の代わりに光子を用いて計算する。 既存のトレーニングアプローチでは、大規模PNNにおける体系的エラーの広範な蓄積には対処できない。 そこで本研究では,PNNモデルが実質的な系統的誤りに適応できるように,DAT(Dual Adaptive Training)を提案する。
  論文  参考訳（メタデータ） (2022-12-09T05:03:45Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Neural Galerkin Schemes with Active Learning for High-Dimensional Evolution Equations [44.89798007370551]
  本研究では,高次元偏微分方程式を数値的に解くために,能動的学習を用いた学習データを生成するディープラーニングに基づくニューラル・ガレルキンスキームを提案する。 ニューラル・ガレルキンスキームはディラック・フランケル変分法に基づいて、残余を時間とともに最小化することで、ネットワークを訓練する。 提案したニューラル・ガレルキン・スキームの学習データ収集は,高次元におけるネットワークの表現力を数値的に実現するための鍵となる。
  論文  参考訳（メタデータ） (2022-03-02T19:09:52Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。