Fugu-MT 論文翻訳(概要): Self-adaptive weights based on balanced residual decay rate for physics-informed neural networks and deep operator networks

論文の概要: Self-adaptive weights based on balanced residual decay rate for physics-informed neural networks and deep operator networks

arxiv url: http://arxiv.org/abs/2407.01613v1
Date: Fri, 28 Jun 2024 00:53:48 GMT
ステータス: 処理完了
システム内更新日: 2024-07-03 20:02:00.762575
Title: Self-adaptive weights based on balanced residual decay rate for physics-informed neural networks and deep operator networks
Title（参考訳）: 物理インフォームドニューラルネットワークとディープオペレータネットワークの平衡残留崩壊速度に基づく自己適応重み
Authors: Wenqian Chen, Amanda A. Howard, Panos Stinis,
Abstract要約: 物理インフォームド・ディープ・ラーニングは偏微分方程式を解くための有望な代替手段として登場した。複雑な問題に対して、これらのネットワークをトレーニングすることは依然として困難であり、しばしば不満足な精度と効率をもたらす。本稿では,異なるトレーニングポイント間で残留減衰率のバランスをとる点幅適応重み付け法を提案する。
参考スコア（独自算出の注目度）: 1.0562108865927007
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Physics-informed deep learning has emerged as a promising alternative for solving partial differential equations. However, for complex problems, training these networks can still be challenging, often resulting in unsatisfactory accuracy and efficiency. In this work, we demonstrate that the failure of plain physics-informed neural networks arises from the significant discrepancy in the convergence speed of residuals at different training points, where the slowest convergence speed dominates the overall solution convergence. Based on these observations, we propose a point-wise adaptive weighting method that balances the residual decay rate across different training points. The performance of our proposed adaptive weighting method is compared with current state-of-the-art adaptive weighting methods on benchmark problems for both physics-informed neural networks and physics-informed deep operator networks. Through extensive numerical results we demonstrate that our proposed approach of balanced residual decay rates offers several advantages, including bounded weights, high prediction accuracy, fast convergence speed, low training uncertainty, low computational cost and ease of hyperparameter tuning.
Abstract（参考訳）: 物理インフォームド・ディープ・ラーニングは偏微分方程式を解くための有望な代替手段として登場した。しかし、複雑な問題に対して、これらのネットワークをトレーニングすることは依然として困難であり、しばしば不満足な精度と効率をもたらす。本研究では,各学習点における残差の収束速度に差が生じ,最も遅い収束速度が全体の収束を支配していることを示す。これらの観測に基づいて,異なるトレーニングポイント間で残留減衰率のバランスをとる点適応重み付け法を提案する。提案手法の性能は,物理インフォームド・ニューラルネットワークと物理インフォームド・ディープ・オペレーター・ネットワークのベンチマーク問題に対する最新の適応重み付け法と比較した。提案手法は, 境界重み, 高予測精度, 高速収束速度, 低トレーニング不確実性, 計算コストの低減, ハイパーパラメータチューニングの容易性など, 様々な利点があることを示す。

関連論文リスト

Enriched Physics-informed Neural Networks for Dynamic Poisson-Nernst-Planck Systems [0.8192907805418583]
本稿では、動的Poisson-Nernst-Planck(PNP)方程式を解くために、メッシュレス深層学習アルゴリズム、EPINN(enriched Physics-informed Neural Network)を提案する。 EPINNは、従来の物理インフォームドニューラルネットワークを基盤フレームワークとして、損失関数のバランスをとるために適応的な損失重みを追加する。数値計算の結果, 結合された非線形系の解法において, 従来の数値法よりも適用性が高いことがわかった。
論文参考訳（メタデータ） (2024-02-01T02:57:07Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文参考訳（メタデータ） (2023-02-20T19:36:52Z)
Physics-informed neural networks for pathloss prediction [0.9208007322096533]
提案した学習問題の解法は、少数のニューラルネットワーク層とパラメータを用いて一般化と予測品質を向上させる。物理インフォームド・フォーミュレーションは、少量のトレーニングデータによるトレーニングと予測を可能にし、幅広い実用的なパスロス予測シナリオにアピールする。
論文参考訳（メタデータ） (2022-11-23T14:45:48Z)
Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural Networks on Coupled Ordinary Differential Equations [64.78260098263489]
本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。 PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。 PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
論文参考訳（メタデータ） (2022-10-14T15:01:32Z)
Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
論文参考訳（メタデータ） (2022-07-19T16:37:24Z)
Hierarchical Learning to Solve Partial Differential Equations Using Physics-Informed Neural Networks [2.0305676256390934]
偏微分方程式に対するニューラルネットワーク解の収束率と精度を改善するための階層的手法を提案する。線形偏微分方程式と非線形偏微分方程式の組によって提案した階層的手法の効率性とロバスト性を検証する。
論文参考訳（メタデータ） (2021-12-02T13:53:42Z)
Efficient training of physics-informed neural networks via importance sampling [2.9005223064604078]
Physics-In Neural Networks(PINN)は、偏微分方程式(PDE)によって制御されるシステムを計算するために訓練されているディープニューラルネットワークのクラスである。重要サンプリング手法により,PINN訓練の収束挙動が改善されることが示唆された。
論文参考訳（メタデータ） (2021-04-26T02:45:10Z)
On Theory-training Neural Networks to Infer the Solution of Highly Coupled Differential Equations [0.0]
高度に結合した微分方程式の解を学習するための理論学習ネットワークに関する知見を提示する。本稿では,正規化を活用することにより,これらの振動を除去し,最終的なトレーニング損失を低減し,推定解の精度を向上させる理論学習手法を提案する。
論文参考訳（メタデータ） (2021-02-09T15:45:08Z)
Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文参考訳（メタデータ） (2020-10-21T14:49:00Z)
Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。