論文の概要: Data vs. Physics: The Apparent Pareto Front of Physics-Informed Neural Networks
- arxiv url: http://arxiv.org/abs/2105.00862v2
- Date: Mon, 10 Jun 2024 12:18:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 02:02:19.125633
- Title: Data vs. Physics: The Apparent Pareto Front of Physics-Informed Neural Networks
- Title(参考訳): データ vs. 物理:物理インフォームドニューラルネットワークの最前線
- Authors: Franz M. Rohrhofer, Stefan Posch, Clemens Gößnitzer, Bernhard C. Geiger,
- Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は、有望なディープラーニング手法として登場した。
PINNは訓練が困難であり、データと物理損失関数を組み合わせた場合、損失重み付けを慎重に調整する必要があることが多い。
- 参考スコア(独自算出の注目度): 8.487185704099925
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Physics-informed neural networks (PINNs) have emerged as a promising deep learning method, capable of solving forward and inverse problems governed by differential equations. Despite their recent advance, it is widely acknowledged that PINNs are difficult to train and often require a careful tuning of loss weights when data and physics loss functions are combined by scalarization of a multi-objective (MO) problem. In this paper, we aim to understand how parameters of the physical system, such as characteristic length and time scales, the computational domain, and coefficients of differential equations affect MO optimization and the optimal choice of loss weights. Through a theoretical examination of where these system parameters appear in PINN training, we find that they effectively and individually scale the loss residuals, causing imbalances in MO optimization with certain choices of system parameters. The immediate effects of this are reflected in the apparent Pareto front, which we define as the set of loss values achievable with gradient-based training and visualize accordingly. We empirically verify that loss weights can be used successfully to compensate for the scaling of system parameters, and enable the selection of an optimal solution on the apparent Pareto front that aligns well with the physically valid solution. We further demonstrate that by altering the system parameterization, the apparent Pareto front can shift and exhibit locally convex parts, resulting in a wider range of loss weights for which gradient-based training becomes successful. This work explains the effects of system parameters on MO optimization in PINNs, and highlights the utility of proposed loss weighting schemes.
- Abstract(参考訳): 物理インフォームドニューラルネットワーク(PINN)は、微分方程式によって支配される前方および逆問題を解くことができる有望なディープラーニング手法として登場した。
最近の進歩にもかかわらず、PINNは訓練が困難であり、多目的(MO)問題のスカラー化によってデータと物理損失関数が組み合わされた場合、損失重み付けを慎重に調整する必要があることが広く認識されている。
本稿では,物理系のパラメータ,例えば特徴量や時間スケール,微分方程式の計算領域,係数が,MO最適化や損失重みの最適選択にどのように影響するかを理解することを目的とする。
PINNトレーニングでこれらのシステムパラメータがどこに現れるのかを理論的に検討した結果、損失残差を効果的に個々にスケールし、システムパラメータの特定の選択とMO最適化の不均衡を引き起こすことがわかった。
これの即時効果は、勾配に基づくトレーニングで達成可能な損失値の集合として定義し、それに応じて可視化するパレートフロントに反映される。
我々は、損失重みがシステムパラメータのスケーリングを補うのに成功し、物理的に有効な解とよく整合したパレートフロントでの最適解の選択を可能にすることを実証的に検証した。
さらに, システムのパラメータ化を変えることで, 見かけのパレートフロントは局所凸部をシフトさせ, より広い範囲の損失重みを生じさせ, 勾配に基づくトレーニングが成功することを示した。
本研究は,システムパラメータがPINNのMO最適化に与える影響を解説し,損失重み付け方式の有用性を強調した。
関連論文リスト
- Network scaling and scale-driven loss balancing for intelligent poroelastography [2.665036498336221]
フルウェーブフォームデータからポリ弾性媒体のマルチスケールキャラクタリゼーションのためのディープラーニングフレームワークを開発した。
2つの大きな課題は、この目的のために既存の最先端技術を直接適用することを妨げる。
本稿では, ニューラルネットワークをスケーリング層に構成した単位形状関数を用いて, ニューラルプロパティマップを構築する, エンフェネティックスケーリングの考え方を提案する。
論文 参考訳(メタデータ) (2024-10-27T23:06:29Z) - Learning Physics From Video: Unsupervised Physical Parameter Estimation for Continuous Dynamical Systems [49.11170948406405]
ビデオからの自動パラメータ推定の最先端は、大規模データセット上で教師付きディープネットワークをトレーニングすることによって解決される。
単一ビデオから, 既知, 連続制御方程式の物理パラメータを推定する手法を提案する。
論文 参考訳(メタデータ) (2024-10-02T09:44:54Z) - Physics-Informed Neural Network for Discovering Systems with
Unmeasurable States with Application to Lithium-Ion Batteries [6.375364752891239]
本稿では,損失項の少ないPINNをトレーニングするためのロバストな手法を導入し,最適化のためのより複雑なランドスケープを構築する。
各微分方程式から損失項を持つ代わりに、この方法は力学を損失関数に埋め込み、観測されたシステム出力と予測されたシステム出力の間の誤差を定量化する。
これは、既知のダイナミクスを使用してニューラルネットワーク(NN)から予測された状態を数値的に統合し、予測された出力のシーケンスを取得することで達成される。
論文 参考訳(メタデータ) (2023-11-27T23:35:40Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural
Networks on Coupled Ordinary Differential Equations [64.78260098263489]
本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。
PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。
PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
論文 参考訳(メタデータ) (2022-10-14T15:01:32Z) - Critical Investigation of Failure Modes in Physics-informed Neural
Networks [0.9137554315375919]
合成定式化による物理インフォームドニューラルネットワークは、最適化が難しい非学習損失面を生成することを示す。
また,2つの楕円問題に対する2つのアプローチを,より複雑な目標解を用いて評価する。
論文 参考訳(メタデータ) (2022-06-20T18:43:35Z) - Understanding the Difficulty of Training Physics-Informed Neural
Networks on Dynamical Systems [5.878411350387833]
物理情報ニューラルネットワーク(PINN)は、微分方程式によって支配される問題の解決にデータと物理的制約をシームレスに統合する。
力学系の固定点近傍における物理損失関数について検討する。
計算領域の削減は、最適化の複雑さと非物理的解に閉じ込められる確率を低下させる。
論文 参考訳(メタデータ) (2022-03-25T13:50:14Z) - Learning Physics-Informed Neural Networks without Stacked
Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文 参考訳(メタデータ) (2022-02-18T18:07:54Z) - Physics-Informed Neural Operator for Learning Partial Differential
Equations [55.406540167010014]
PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。
結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
論文 参考訳(メタデータ) (2021-11-06T03:41:34Z) - Multi-Objective Loss Balancing for Physics-Informed Deep Learning [0.0]
PINNを効果的に訓練するために、複数の競合損失関数の組み合わせを正しく重み付けする役割を観察する。
本稿では,ReLoBRaLoと呼ばれるPINNの自己適応的損失分散を提案する。
シミュレーションにより、ReLoBRaLoトレーニングは、他のバランシング手法によるPINNのトレーニングよりもはるかに高速で精度の高いことが示されている。
論文 参考訳(メタデータ) (2021-10-19T09:00:12Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳(メタデータ) (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。