Fugu-MT 論文翻訳(概要): On Theory-training Neural Networks to Infer the Solution of Highly Coupled Differential Equations

論文の概要: On Theory-training Neural Networks to Infer the Solution of Highly Coupled Differential Equations

arxiv url: http://arxiv.org/abs/2102.04890v2
Date: Wed, 10 Feb 2021 09:52:18 GMT
ステータス: 処理完了
システム内更新日: 2021-02-11 12:29:52.289474
Title: On Theory-training Neural Networks to Infer the Solution of Highly Coupled Differential Equations
Title（参考訳）: 高結合微分方程式の解を推定する理論訓練ニューラルネットワークについて
Authors: M. Torabi Rad, A. Viardin, and M. Apel
Abstract要約: 高度に結合した微分方程式の解を学習するための理論学習ネットワークに関する知見を提示する。本稿では,正規化を活用することにより,これらの振動を除去し,最終的なトレーニング損失を低減し,推定解の精度を向上させる理論学習手法を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep neural networks are transforming fields ranging from computer vision to computational medicine, and we recently extended their application to the field of phase-change heat transfer by introducing theory-trained neural networks (TTNs) for a solidification problem \cite{TTN}. Here, we present general, in-depth, and empirical insights into theory-training networks for learning the solution of highly coupled differential equations. We analyze the deteriorating effects of the oscillating loss on the ability of a network to satisfy the equations at the training data points, measured by the final training loss, and on the accuracy of the inferred solution. We introduce a theory-training technique that, by leveraging regularization, eliminates those oscillations, decreases the final training loss, and improves the accuracy of the inferred solution, with no additional computational cost. Then, we present guidelines that allow a systematic search for the network that has the optimal training time and inference accuracy for a given set of equations; following these guidelines can reduce the number of tedious training iterations in that search. Finally, a comparison between theory-training and the rival, conventional method of solving differential equations using discretization attests to the advantages of theory-training not being necessarily limited to high-dimensional sets of equations. The comparison also reveals a limitation of the current theory-training framework that may limit its application in domains where extreme accuracies are necessary.
Abstract（参考訳）: 深層ニューラルネットワークは,コンピュータビジョンから計算医学まで幅広い分野を変革し,最近,固化問題 \cite{ttn} に対して理論訓練ニューラルネットワーク (ttns) を導入することで,相変化熱伝達の分野に応用を広げた。本稿では,高結合微分方程式の解法を学ぶために,理論学習ネットワークに対する一般的,深く,経験的洞察を提案する。振動損失の劣化がトレーニングデータポイントで方程式を満たすネットワークの能力、最終的なトレーニング損失によって測定される、および推論されたソリューションの精度に与える影響を分析します。正規化を活用し,これらの振動を除去し,最終的なトレーニング損失を低減し,計算コストを増すことなく推定解の精度を向上させる理論学習手法を提案する。そして、与えられた方程式の集合に対して最適なトレーニング時間と推論精度を有するネットワークを体系的に探索できるガイドラインを提案し、これらのガイドラインに従うと、その探索における退屈なトレーニングイテレーションの数を減らすことができる。最後に、離散化を用いた従来の微分方程式の解法と理論学習の比較により、高次元の方程式集合に限らない理論訓練の利点が証明される。この比較により、現在の理論訓練フレームワークの限界が明らかになり、極端な精度が必要なドメインへの適用が制限される可能性がある。

関連論文リスト

Quantifying Training Difficulty and Accelerating Convergence in Neural Network-Based PDE Solvers [9.936559796069844]
ニューラルネットワークに基づくPDEソルバのトレーニングダイナミクスについて検討する。統一分割(PoU)と分散スケーリング(VS)という2つの手法が有効ランクを高めていることがわかった。 PINNやDeep Ritz、オペレータ学習フレームワークのDeepOnetなど、人気のあるPDE解決フレームワークを使用した実験では、これらのテクニックが収束を継続的に加速することを確認した。
論文参考訳（メタデータ） (2024-10-08T19:35:19Z)
Unsupervised Learning Method for the Wave Equation Based on Finite Difference Residual Constraints Loss [8.251460531915997]
本稿では,有限差分残差制約に基づく波動方程式の教師なし学習法を提案する。構造化格子と有限差分法に基づく新しい有限差分残差制約と教師なし学習戦略を構築する。
論文参考訳（メタデータ） (2024-01-23T05:06:29Z)
Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文参考訳（メタデータ） (2023-09-26T17:42:52Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文参考訳（メタデータ） (2023-02-20T19:36:52Z)
Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural Networks on Coupled Ordinary Differential Equations [64.78260098263489]
本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。 PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。 PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
論文参考訳（メタデータ） (2022-10-14T15:01:32Z)
Multi-resolution partial differential equations preserved learning framework for spatiotemporal dynamics [11.981731023317945]
物理インフォームドディープラーニング(PiDL)は、物理原理をモデルに組み込むことによって、これらの課題に対処する。我々は、ニューラルネットワークアーキテクチャに離散化された支配方程式を焼いて、物理の事前知識を活用することを提案する。離散化されたPDEを畳み込み残差ネットワークを介して多分解能設定に埋め込むことにより、一般化可能性と長期予測を大幅に改善する。
論文参考訳（メタデータ） (2022-05-09T01:27:58Z)
Hierarchical Learning to Solve Partial Differential Equations Using Physics-Informed Neural Networks [2.0305676256390934]
偏微分方程式に対するニューラルネットワーク解の収束率と精度を改善するための階層的手法を提案する。線形偏微分方程式と非線形偏微分方程式の組によって提案した階層的手法の効率性とロバスト性を検証する。
論文参考訳（メタデータ） (2021-12-02T13:53:42Z)
Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文参考訳（メタデータ） (2021-11-02T20:24:01Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。