論文の概要: Overcoming the Loss Conditioning Bottleneck in Optimization-Based PDE Solvers: A Novel Well-Conditioned Loss Function

• arxiv url: http://arxiv.org/abs/2508.02692v1
• Date: Thu, 24 Jul 2025 10:17:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-10 09:30:49.31346
• Title: Overcoming the Loss Conditioning Bottleneck in Optimization-Based PDE Solvers: A Novel Well-Conditioned Loss Function
• Title（参考訳）: 最適化型PDE解におけるロスコンディショニング・ボトルネックの克服:新しい良質なロス関数
• Authors: Wenbo Cao, Weiwei Zhang,
• Abstract要約: 近年,スカラー損失関数を最小化するPDEソルバが注目されている。 このような手法は古典的反復解法よりもはるかにゆっくりと収束し、一般に非効率的とみなされる。 この研究は理論的な洞察を与え、平均二乗誤差(MSE)損失の使用に非効率性をもたらす。 重みパラメータをチューニングすることにより、制限ケースでのMSE損失を低減しつつ、元のシステムとその正規方程式の間の条件数を柔軟に変調する。
• 参考スコア（独自算出の注目度）: 1.6135205846394396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimization-based PDE solvers that minimize scalar loss functions have gained increasing attention in recent years. These methods either define the loss directly over discrete variables, as in Optimizing a Discrete Loss (ODIL), or indirectly through a neural network surrogate, as in Physics-Informed Neural Networks (PINNs). However, despite their promise, such methods often converge much more slowly than classical iterative solvers and are commonly regarded as inefficient. This work provides a theoretical insight, attributing the inefficiency to the use of the mean squared error (MSE) loss, which implicitly forms the normal equations, squares the condition number, and severely impairs optimization. To address this, we propose a novel Stabilized Gradient Residual (SGR) loss. By tuning a weight parameter, it flexibly modulates the condition number between the original system and its normal equations, while reducing to the MSE loss in the limiting case. We systematically benchmark the convergence behavior and optimization stability of the SGR loss within both the ODIL framework and PINNs-employing either numerical or automatic differentiation-and compare its performance against classical iterative solvers. Numerical experiments on a range of benchmark problems demonstrate that, within the ODIL framework, the proposed SGR loss achieves orders-of-magnitude faster convergence than the MSE loss. Further validation within the PINNs framework shows that, despite the high nonlinearity of neural networks, SGR consistently outperforms the MSE loss. These theoretical and empirical findings help bridge the performance gap between classical iterative solvers and optimization-based solvers, highlighting the central role of loss conditioning, and provide key insights for the design of more efficient PDE solvers.
• Abstract（参考訳）: 近年,スカラー損失関数を最小化する最適化型PDEソルバが注目されている。 これらの方法は、離散的損失(ODIL)の最適化のように、離散変数を直接的に損失を定義するか、あるいは物理情報ニューラルネットワーク(PINN)のように、ニューラルネットワークサロゲートを介して間接的に損失を定義する。 しかし、その約束にもかかわらず、そのような手法は古典的な反復解法よりもはるかにゆっくりと収束し、一般に非効率的とみなされる。 この研究は理論的な洞察を与え、平均二乗誤差(MSE)損失の使用に非効率性をもたらす。 そこで本研究では,SGR(Stabilized Gradient Residual Los)を提案する。 重みパラメータをチューニングすることにより、制限ケースでのMSE損失を低減しつつ、元のシステムとその正規方程式の間の条件数を柔軟に変調する。 ODILフレームワークとPINNの両方におけるSGR損失の収束挙動と最適化安定性を系統的に評価し,その性能を古典的反復解法と比較した。 様々なベンチマーク問題に関する数値実験により、ODILフレームワーク内では、提案したSGR損失がMSE損失よりも高速に収束することを示す。 PINNフレームワークのさらなる検証は、ニューラルネットワークの高非線形性にもかかわらず、SGRが一貫してMSE損失を上回っていることを示している。 これらの理論的および実証的な発見は、古典的反復解法と最適化に基づく解法の間の性能ギャップを埋める助けとなり、損失条件付けの中心的な役割を強調し、より効率的なPDE解法の設計のための重要な洞察を提供する。

関連論文リスト

• Convolution-weighting method for the physics-informed neural network: A Primal-Dual Optimization Perspective [14.65008276932511]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く用いられている PINNは一般に有限個の点を用いて最適化され、収束と精度を保証する上で大きな課題となる。 そこで本稿では, 減量関数に対する重み付けを, 孤立点から連続近傍領域への適応的に変更する手法を提案する。
  論文  参考訳（メタデータ） (2025-06-24T17:13:51Z)
• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• The Larger the Merrier? Efficient Large AI Model Inference in Wireless Edge Networks [56.37880529653111]
  大規模計算モデル(LAIM)サービスの需要は、従来のクラウドベースの推論から、低レイテンシでプライバシ保護のアプリケーションのためのエッジベースの推論へのパラダイムシフトを推進している。 本稿では,事前学習したLAIMをデバイス上のサブモデルとサーバ上のサブモデルに分割して配置するLAIM推論方式について検討する。
  論文  参考訳（メタデータ） (2025-05-14T08:18:55Z)
• Dual Cone Gradient Descent for Training Physics-Informed Neural Networks [0.0]
  物理インフォームド・デュアルニューラルネットワーク(PINN)は偏微分方程式の解法として注目されている。 コーン領域内に落下するのを確実にするために、更新された勾配の方向を調節する新しいフレームワークであるDual Cone Gradient Descent (DCGD)を提案する。
  論文  参考訳（メタデータ） (2024-09-27T03:27:46Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• A Deep Unrolling Model with Hybrid Optimization Structure for Hyperspectral Image Deconvolution [50.13564338607482]
  本稿では,DeepMixと呼ばれるハイパースペクトルデコンボリューション問題に対する新しい最適化フレームワークを提案する。 これは3つの異なるモジュール、すなわちデータ一貫性モジュール、手作りの正規化器の効果を強制するモジュール、および装飾モジュールで構成されている。 本研究は,他のモジュールの協調作業によって達成される進歩を維持するために設計された,文脈を考慮した認知型モジュールを提案する。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Enhanced Physics-Informed Neural Networks with Augmented Lagrangian Relaxation Method (AL-PINNs) [1.7403133838762446]
  物理インフォームドニューラルネットワーク(PINN)は非線形偏微分方程式(PDE)の解の強力な近似器である PINN(AL-PINN)のための拡張ラグランジアン緩和法を提案する。 AL-PINNは、最先端の適応的損失分散アルゴリズムと比較して、相対誤差がはるかに小さいことを様々な数値実験で示している。
  論文  参考訳（メタデータ） (2022-04-29T08:33:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。