Fugu-MT 論文翻訳(概要): ConFIG: Towards Conflict-free Training of Physics Informed Neural Networks

論文の概要: ConFIG: Towards Conflict-free Training of Physics Informed Neural Networks

arxiv url: http://arxiv.org/abs/2408.11104v1
Date: Tue, 20 Aug 2024 18:00:20 GMT
ステータス: 処理完了
システム内更新日: 2024-08-22 21:26:55.669214
Title: ConFIG: Towards Conflict-free Training of Physics Informed Neural Networks
Title（参考訳）: ConFIG:物理情報ニューラルネットワークの衝突のないトレーニングを目指して
Authors: Qiang Liu, Mengyu Chu, Nils Thuerey,
Abstract要約: 本稿では,物理インフォームドニューラルネットワーク(PINN)タスクの学習を改善するためのConFIG法を提案する。最終更新と各損失固有の勾配の間の正のドット積を保証することで、コンフリクトフリーな更新を提供する。また、全ての損失項に対する一貫した最適化率を維持し、競合レベルに基づいて勾配の等級を動的に調整する。
参考スコア（独自算出の注目度）: 25.333488397742432
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The loss functions of many learning problems contain multiple additive terms that can disagree and yield conflicting update directions. For Physics-Informed Neural Networks (PINNs), loss terms on initial/boundary conditions and physics equations are particularly interesting as they are well-established as highly difficult tasks. To improve learning the challenging multi-objective task posed by PINNs, we propose the ConFIG method, which provides conflict-free updates by ensuring a positive dot product between the final update and each loss-specific gradient. It also maintains consistent optimization rates for all loss terms and dynamically adjusts gradient magnitudes based on conflict levels. We additionally leverage momentum to accelerate optimizations by alternating the back-propagation of different loss terms. The proposed method is evaluated across a range of challenging PINN scenarios, consistently showing superior performance and runtime compared to baseline methods. We also test the proposed method in a classic multi-task benchmark, where the ConFIG method likewise exhibits a highly promising performance. Source code is available at \url{https://tum-pbs.github.io/ConFIG}.
Abstract（参考訳）: 多くの学習問題の損失関数には、矛盾する更新方向を導出する複数の追加項が含まれている。物理インフォームドニューラルネットワーク(PINN)の場合、初期/境界条件と物理方程式の損失項は非常に難しいタスクとして確立されているため、特に興味深い。 PINNの課題である多目的タスクの学習を改善するために,最終更新と損失固有勾配の正の点積を確保することで,競合のない更新を提供するConFIG法を提案する。また、全ての損失項に対する一貫した最適化率を維持し、競合レベルに基づいて勾配の等級を動的に調整する。また、異なる損失項のバックプロパゲーションを交互に行い、運動量を利用して最適化を加速する。提案手法は, PINN の難易度の高いシナリオで評価され, ベースライン法と比較して, 性能と実行性能が良好である。また,提案手法を従来のマルチタスク・ベンチマークで検証し,ConFIG法も有望な性能を示した。ソースコードは \url{https://tum-pbs.github.io/ConFIG} で入手できる。

関連論文リスト

Causal Context Adjustment Loss for Learned Image Compression [72.7300229848778]
近年,学習画像圧縮(lic)技術は,特にRD性能の点で従来の手法を上回りつつある。現在の技術のほとんどは、自己回帰エントロピーモデルを備えたVAEベースで、デコードされた因果コンテキストを利用してRD性能を向上する。本稿では,提案した因果文脈調整損失を用いて因果文脈を的確に調整する方法を初めて検討する。
論文参考訳（メタデータ） (2024-10-07T09:08:32Z)
DiffGrad for Physics-Informed Neural Networks [0.0]
バーガーズ方程式(英: Burgers' equation)は流体力学の基本方程式であり、PINNで広く用いられている。本稿では,DiffGradをPINNに組み込むことで,バーガースの方程式を解く新しい手法を提案する。
論文参考訳（メタデータ） (2024-09-05T04:39:35Z)
Unveiling the optimization process of Physics Informed Neural Networks: How accurate and competitive can PINNs be? [0.0]
本研究では、物理インフォームドニューラルネットワークの潜在的な精度について、従来の類似した研究や従来の数値手法と対比して検討する。改良された最適化アルゴリズムを選択することで、結果の精度が大幅に向上することがわかった。損失関数の簡単な修正は精度を向上し、拡張のための追加の道を提供する。
論文参考訳（メタデータ） (2024-05-07T11:50:25Z)
Stabilizing Backpropagation Through Time to Learn Complex Physics [21.850601375335074]
物理シミュレーションにおいて、バックプロパゲーションフィードバックは時間的コヒーレントな振る舞いを取得するために重要である。物理シミュレータはバランスの取れた勾配の流れを持ち、バックプロパゲーションパスの特定の変更は元のミニマの位置を変化させる。最終手順は、一連の勾配停止と成分比較演算により容易に実装できる。
論文参考訳（メタデータ） (2024-05-03T12:20:08Z)
Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文参考訳（メタデータ） (2023-10-08T23:39:38Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Mixed formulation of physics-informed neural networks for thermo-mechanically coupled systems and heterogeneous domains [0.0]
物理インフォームドニューラルネットワーク(PINN)は境界値問題を解決するための新しいツールである。近年の研究では、多くの工学的問題に対して損失関数を設計する際には、一階微分を使い、強い形式と弱い形式の方程式を組み合わせることにより、はるかに精度が向上することが示されている。本研究では,多物理問題,特に定常熱力学的に結合した方程式系を解くために混合定式化を適用することを提案する。
論文参考訳（メタデータ） (2023-02-09T21:56:59Z)
Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文参考訳（メタデータ） (2022-07-08T18:17:06Z)
Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。この2つの設定の間には自然なシナジーがあることが示されています。この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文参考訳（メタデータ） (2021-11-25T19:59:33Z)
Multi-Objective Loss Balancing for Physics-Informed Deep Learning [0.0]
PINNを効果的に訓練するために、複数の競合損失関数の組み合わせを正しく重み付けする役割を観察する。本稿では,ReLoBRaLoと呼ばれるPINNの自己適応的損失分散を提案する。シミュレーションにより、ReLoBRaLoトレーニングは、他のバランシング手法によるPINNのトレーニングよりもはるかに高速で精度の高いことが示されている。
論文参考訳（メタデータ） (2021-10-19T09:00:12Z)
Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。