論文の概要: ConFIG: Towards Conflict-free Training of Physics Informed Neural Networks

• arxiv url: http://arxiv.org/abs/2408.11104v2
• Date: Fri, 07 Feb 2025 10:02:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:53:20.716523
• Title: ConFIG: Towards Conflict-free Training of Physics Informed Neural Networks
• Title（参考訳）: ConFIG:物理情報ニューラルネットワークの衝突のないトレーニングを目指して
• Authors: Qiang Liu, Mengyu Chu, Nils Thuerey,
• Abstract要約: PINNに対してコンフリクトフリーな更新を提供するConFIG法を提案する。 すべての損失項に対して一貫した最適化率を維持し、競合レベルに基づいて勾配の等級を動的に調整する。 本稿では,ConFIG法の収束性を示す数学的証明について述べる。
• 参考スコア（独自算出の注目度）: 25.333488397742432
• License:
• Abstract: The loss functions of many learning problems contain multiple additive terms that can disagree and yield conflicting update directions. For Physics-Informed Neural Networks (PINNs), loss terms on initial/boundary conditions and physics equations are particularly interesting as they are well-established as highly difficult tasks. To improve learning the challenging multi-objective task posed by PINNs, we propose the ConFIG method, which provides conflict-free updates by ensuring a positive dot product between the final update and each loss-specific gradient. It also maintains consistent optimization rates for all loss terms and dynamically adjusts gradient magnitudes based on conflict levels. We additionally leverage momentum to accelerate optimizations by alternating the back-propagation of different loss terms. We provide a mathematical proof showing the convergence of the ConFIG method, and it is evaluated across a range of challenging PINN scenarios. ConFIG consistently shows superior performance and runtime compared to baseline methods. We also test the proposed method in a classic multi-task benchmark, where the ConFIG method likewise exhibits a highly promising performance. Source code is available at https://tum-pbs.github.io/ConFIG
• Abstract（参考訳）: 多くの学習問題の損失関数には、矛盾する更新方向を導出する複数の追加項が含まれている。 物理インフォームドニューラルネットワーク(PINN)の場合、初期/境界条件と物理方程式の損失項は非常に難しいタスクとして確立されているため、特に興味深い。 PINNの課題である多目的タスクの学習を改善するために,最終更新と損失固有勾配の正の点積を確保することで,競合のない更新を提供するConFIG法を提案する。 また、全ての損失項に対する一貫した最適化率を維持し、競合レベルに基づいて勾配の等級を動的に調整する。 また、異なる損失項のバックプロパゲーションを交互に行い、運動量を利用して最適化を加速する。 本稿では,ConFIG法の収束性を示す数学的証明について述べる。 ConFIGは、ベースラインメソッドよりもパフォーマンスとランタイムが優れている。 また,提案手法を従来のマルチタスク・ベンチマークで検証し,ConFIG法も有望な性能を示した。 ソースコードはhttps://tum-pbs.github.io/ConFIGで入手できる。

関連論文リスト

• Gradient Alignment in Physics-informed Neural Networks: A Second-Order Optimization Perspective [12.712238596012742]
  損失項間の方向性衝突に対処するための理論的および実践的なアプローチを提案する。 これらの矛盾が一階法にどのように制限されているかを示し、二階最適化が自然にそれらを解決することを示す。 我々は,最近提案された準ニュートン法であるSOAPが,ヘッセンのプレコンディショナーを効率的に近似していることを証明する。
  論文  参考訳（メタデータ） (2025-02-02T00:21:45Z)
• Causal Context Adjustment Loss for Learned Image Compression [72.7300229848778]
  近年,学習画像圧縮(lic)技術は,特にRD性能の点で従来の手法を上回りつつある。 現在の技術のほとんどは、自己回帰エントロピーモデルを備えたVAEベースで、デコードされた因果コンテキストを利用してRD性能を向上する。 本稿では,提案した因果文脈調整損失を用いて因果文脈を的確に調整する方法を初めて検討する。
  論文  参考訳（メタデータ） (2024-10-07T09:08:32Z)
• DiffGrad for Physics-Informed Neural Networks [0.0]
  バーガーズ方程式(英: Burgers' equation)は流体力学の基本方程式であり、PINNで広く用いられている。 本稿では,DiffGradをPINNに組み込むことで,バーガースの方程式を解く新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-05T04:39:35Z)
• Unveiling the optimization process of Physics Informed Neural Networks: How accurate and competitive can PINNs be? [0.0]
  本研究では、物理インフォームドニューラルネットワークの潜在的な精度について、従来の類似した研究や従来の数値手法と対比して検討する。 改良された最適化アルゴリズムを選択することで、結果の精度が大幅に向上することがわかった。 損失関数の簡単な修正は精度を向上し、拡張のための追加の道を提供する。
  論文  参考訳（メタデータ） (2024-05-07T11:50:25Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Mixed formulation of physics-informed neural networks for thermo-mechanically coupled systems and heterogeneous domains [0.0]
  物理インフォームドニューラルネットワーク(PINN)は境界値問題を解決するための新しいツールである。 近年の研究では、多くの工学的問題に対して損失関数を設計する際には、一階微分を使い、強い形式と弱い形式の方程式を組み合わせることにより、はるかに精度が向上することが示されている。 本研究では,多物理問題,特に定常熱力学的に結合した方程式系を解くために混合定式化を適用することを提案する。
  論文  参考訳（メタデータ） (2023-02-09T21:56:59Z)
• TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels [141.29156234353133]
  最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。 我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。 本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
  論文  参考訳（メタデータ） (2022-07-13T16:58:22Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Multi-Objective Loss Balancing for Physics-Informed Deep Learning [0.0]
  PINNを効果的に訓練するために、複数の競合損失関数の組み合わせを正しく重み付けする役割を観察する。 本稿では,ReLoBRaLoと呼ばれるPINNの自己適応的損失分散を提案する。 シミュレーションにより、ReLoBRaLoトレーニングは、他のバランシング手法によるPINNのトレーニングよりもはるかに高速で精度の高いことが示されている。
  論文  参考訳（メタデータ） (2021-10-19T09:00:12Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。