論文の概要: Gradient Alignment in Physics-informed Neural Networks: A Second-Order Optimization Perspective

• arxiv url: http://arxiv.org/abs/2502.00604v1
• Date: Sun, 02 Feb 2025 00:21:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:01:25.551645
• Title: Gradient Alignment in Physics-informed Neural Networks: A Second-Order Optimization Perspective
• Title（参考訳）: 物理インフォームドニューラルネットワークにおけるグラディエントアライメント:2次最適化の視点
• Authors: Sifan Wang, Ananyae Kumar Bhartari, Bowen Li, Paris Perdikaris,
• Abstract要約: 損失項間の方向性衝突に対処するための理論的および実践的なアプローチを提案する。 これらの矛盾が一階法にどのように制限されているかを示し、二階最適化が自然にそれらを解決することを示す。 我々は,最近提案された準ニュートン法であるSOAPが,ヘッセンのプレコンディショナーを効率的に近似していることを証明する。
• 参考スコア（独自算出の注目度）: 12.712238596012742
• License:
• Abstract: Multi-task learning through composite loss functions is fundamental to modern deep learning, yet optimizing competing objectives remains challenging. We present new theoretical and practical approaches for addressing directional conflicts between loss terms, demonstrating their effectiveness in physics-informed neural networks (PINNs) where such conflicts are particularly challenging to resolve. Through theoretical analysis, we demonstrate how these conflicts limit first-order methods and show that second-order optimization naturally resolves them through implicit gradient alignment. We prove that SOAP, a recently proposed quasi-Newton method, efficiently approximates the Hessian preconditioner, enabling breakthrough performance in PINNs: state-of-the-art results on 10 challenging PDE benchmarks, including the first successful application to turbulent flows with Reynolds numbers up to 10,000, with 2-10x accuracy improvements over existing methods. We also introduce a novel gradient alignment score that generalizes cosine similarity to multiple gradients, providing a practical tool for analyzing optimization dynamics. Our findings establish frameworks for understanding and resolving gradient conflicts, with broad implications for optimization beyond scientific computing.
• Abstract（参考訳）: 複合損失関数によるマルチタスク学習は、現代のディープラーニングの基本であるが、競合する目的を最適化することは依然として困難である。 本稿では,損失項間の方向性衝突に対処する新たな理論的,実践的なアプローチを提案する。 理論的解析により、これらの矛盾が一階法を制限し、二階最適化が暗黙の勾配アライメントによって自然に解決することを示す。 我々は、最近提案された準ニュートン法であるSOAPが、Hessianプリコンディショナーを効率的に近似し、PINNのブレークスルー性能を実現することを証明した。 また,複数の勾配に対するコサイン類似性を一般化する新たな勾配アライメントスコアを導入し,最適化力学を解析するための実用的なツールを提供する。 本研究は,科学計算を超越した最適化をめざして,勾配コンフリクトの理解と解決の枠組みを確立した。

関連論文リスト

• Learning Provably Improves the Convergence of Gradient Descent [9.82454981262489]
  本稿では,学習者によるL2O(Learning to Optimize)問題の収束について検討する。 アルゴリズムの接点により、L2Oの収束が著しく向上する。 以上の結果から,GD法では50%の成績を示した。
  論文  参考訳（メタデータ） (2025-01-30T02:03:30Z)
• Which Optimizer Works Best for Physics-Informed Neural Networks and Kolmogorov-Arnold Networks? [1.8175282137722093]
  物理学 アーノルドニューラルネットワーク(PINN)は偏微分方程式(PDE)の計算に革命をもたらした これらのPINNは、ニューラルネットワークのトレーニングプロセスにPDEをソフト制約として統合する。
  論文  参考訳（メタデータ） (2025-01-22T21:19:42Z)
• Component-based Sketching for Deep ReLU Nets [55.404661149594375]
  各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。 我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。 提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:30:43Z)
• Unveiling the optimization process of Physics Informed Neural Networks: How accurate and competitive can PINNs be? [0.0]
  本研究では、物理インフォームドニューラルネットワークの潜在的な精度について、従来の類似した研究や従来の数値手法と対比して検討する。 改良された最適化アルゴリズムを選択することで、結果の精度が大幅に向上することがわかった。 損失関数の簡単な修正は精度を向上し、拡張のための追加の道を提供する。
  論文  参考訳（メタデータ） (2024-05-07T11:50:25Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• Half-Inverse Gradients for Physical Deep Learning [25.013244956897832]
  異なる物理シミュレータをトレーニングプロセスに統合することは、結果の質を大幅に向上させる。 勾配に基づく解法は、多くの物理過程の固有の性質であるスケールと方向を操作できるため、勾配流に深い影響を与える。 本研究では,この現象に苦しむことのない新しい手法を導出するために,物理・ニューラルネットワーク最適化の特性を解析する。
  論文  参考訳（メタデータ） (2022-03-18T19:11:04Z)
• A theoretical and empirical study of new adaptive algorithms with additional momentum steps and shifted updates for stochastic non-convex optimization [0.0]
  適応最適化アルゴリズムは学習分野の鍵となる柱を表現していると考えられる。 本稿では,異なる非滑らかな目的問題に対する適応運動量法を提案する。
  論文  参考訳（メタデータ） (2021-10-16T09:47:57Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。