論文の概要: Dual-Balancing for Physics-Informed Neural Networks

• arxiv url: http://arxiv.org/abs/2505.11117v2
• Date: Mon, 19 May 2025 12:32:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 12:45:56.190259
• Title: Dual-Balancing for Physics-Informed Neural Networks
• Title（参考訳）: 物理インフォームドニューラルネットワークのためのデュアルバランシング
• Authors: Chenhong Zhou, Jie Chen, Zaifeng Yang, Ching Eng Png,
• Abstract要約: 偏微分方程式(PDE)を解くための新しい学習パラダイムとして、物理情報ニューラルネットワーク(PINN)が登場した。 PINNは、難解な多目的最適化の問題のため、精度が悪く、収束が遅い。 本稿では,バランシングとイントラバランシングを統合し,損失重みを動的に調整する新しいDual-Balanced PINN(DB-PINN)を提案する。
• 参考スコア（独自算出の注目度）: 5.8096456298528745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-informed neural networks (PINNs) have emerged as a new learning paradigm for solving partial differential equations (PDEs) by enforcing the constraints of physical equations, boundary conditions (BCs), and initial conditions (ICs) into the loss function. Despite their successes, vanilla PINNs still suffer from poor accuracy and slow convergence due to the intractable multi-objective optimization issue. In this paper, we propose a novel Dual-Balanced PINN (DB-PINN), which dynamically adjusts loss weights by integrating inter-balancing and intra-balancing to alleviate two imbalance issues in PINNs. Inter-balancing aims to mitigate the gradient imbalance between PDE residual loss and condition-fitting losses by determining an aggregated weight that offsets their gradient distribution discrepancies. Intra-balancing acts on condition-fitting losses to tackle the imbalance in fitting difficulty across diverse conditions. By evaluating the fitting difficulty based on the loss records, intra-balancing can allocate the aggregated weight proportionally to each condition loss according to its fitting difficulty level. We further introduce a robust weight update strategy to prevent abrupt spikes and arithmetic overflow in instantaneous weight values caused by large loss variances, enabling smooth weight updating and stable training. Extensive experiments demonstrate that DB-PINN achieves significantly superior performance than those popular gradient-based weighting methods in terms of convergence speed and prediction accuracy. Our code and supplementary material are available at https://github.com/chenhong-zhou/DualBalanced-PINNs.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、物理方程式、境界条件(BC)、初期条件(IC)の制約を損失関数に強制することにより、偏微分方程式(PDE)を解くための新しい学習パラダイムとして登場した。 その成功にもかかわらず、バニラPINNは、難解な多目的最適化の問題のため、精度が悪く、収束が遅い。 本稿では,2つの不均衡問題を緩和するために,バランス間のバランスとバランス内バランスを統合することで,損失重みを動的に調整する新しいDual-Balanced PINN(DB-PINN)を提案する。 バランス間のバランスは、PDE残留損失と条件適合損失の勾配不均衡を軽減することを目的として、勾配分布の相違を相殺する集約重みを決定する。 バランス内バランスは、様々な条件にまたがる困難に適合する不均衡に取り組むために条件適合損失に作用する。 損失レコードに基づいて嵌合難度を評価することにより、その嵌合難度に応じて、各条件損失に比例して集約重量を割り当てることができる。 さらに、大きな損失分散に起因する瞬時重み値の急激なスパイクや算術的オーバーフローを防止し、スムーズな重み更新と安定したトレーニングを可能にする頑健な重み更新戦略を導入する。 広汎な実験により,DB-PINNは,収束速度と予測精度の点で,一般的な勾配に基づく重み付け法よりもはるかに優れた性能を示した。 私たちのコードと補足資料はhttps://github.com/chenhong-zhou/DualBalanced-PINNsで公開されています。

関連論文リスト

• Accuracy and Robustness of Weight-Balancing Methods for Training PINNs [0.06906005491572399]
  PINNの文脈で精度と堅牢性を明確に定義する。 本稿では,Primal-Dual (PD) 最適化フレームワークに基づく新しいトレーニングアルゴリズムを提案する。 提案手法は,既存のウェイトバランス法に匹敵する性能を維持しつつ,PINNの堅牢性を向上する。
  論文  参考訳（メタデータ） (2025-01-30T18:54:22Z)
• Fast Adversarial Training with Smooth Convergence [51.996943482875366]
  我々は,FAT(Fast Adversarial Training)作業のトレーニングプロセスを分析し,破滅的なオーバーフィッティングが損失収束アウトリーの出現に伴うことを観察した。 円滑な損失収束過程を実現するために,隣接するエポック間の損失差を制限する新しい振動制約(Dubed ConvergeSmooth)を提案する。 提案手法は攻撃非依存であり,様々なFAT技術の訓練安定性を向上させることができる。
  論文  参考訳（メタデータ） (2023-08-24T15:28:52Z)
• Enhancing Convergence Speed with Feature-Enforcing Physics-Informed Neural Networks: Utilizing Boundary Conditions as Prior Knowledge for Faster Convergence [0.0]
  本研究では,Vanilla Physics-Informed-Neural-Networks(PINN)の高速化学習手法を提案する。 ニューラルネットワークの初期重み付け状態、ドメイン間境界点比、損失重み付け係数という、損失関数の不均衡な3つの要因に対処する。 ニューラルネットワークの構造に第1のトレーニングフェーズで生成された重みを組み込むことで、不均衡因子の影響を中和することがわかった。
  論文  参考訳（メタデータ） (2023-08-17T09:10:07Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Enhanced Physics-Informed Neural Networks with Augmented Lagrangian Relaxation Method (AL-PINNs) [1.7403133838762446]
  物理インフォームドニューラルネットワーク(PINN)は非線形偏微分方程式(PDE)の解の強力な近似器である PINN(AL-PINN)のための拡張ラグランジアン緩和法を提案する。 AL-PINNは、最先端の適応的損失分散アルゴリズムと比較して、相対誤差がはるかに小さいことを様々な数値実験で示している。
  論文  参考訳（メタデータ） (2022-04-29T08:33:11Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Physics-Informed Neural Operator for Learning Partial Differential Equations [55.406540167010014]
  PINOは、演算子を学ぶために異なる解像度でデータとPDE制約を組み込んだ最初のハイブリッドアプローチである。 結果の PINO モデルは、多くの人気のある PDE ファミリの基底構造解演算子を正確に近似することができる。
  論文  参考訳（メタデータ） (2021-11-06T03:41:34Z)
• Multi-Objective Loss Balancing for Physics-Informed Deep Learning [0.0]
  PINNを効果的に訓練するために、複数の競合損失関数の組み合わせを正しく重み付けする役割を観察する。 本稿では,ReLoBRaLoと呼ばれるPINNの自己適応的損失分散を提案する。 シミュレーションにより、ReLoBRaLoトレーニングは、他のバランシング手法によるPINNのトレーニングよりもはるかに高速で精度の高いことが示されている。
  論文  参考訳（メタデータ） (2021-10-19T09:00:12Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。