論文の概要: An adaptive augmented Lagrangian method for training physics and
equality constrained artificial neural networks
- arxiv url: http://arxiv.org/abs/2306.04904v1
- Date: Thu, 8 Jun 2023 03:16:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 16:34:03.388380
- Title: An adaptive augmented Lagrangian method for training physics and
equality constrained artificial neural networks
- Title（参考訳）: 適応型ラグランジアン法による物理と等式制約付き人工ニューラルネットワークの訓練
- Authors: Shamsulhaq Basir, Inanc Senocak
- Abstract要約: PECANNフレームワークを、拡張された多様な制約セットを持つ前方および逆問題の解決に適用する。
ALMは従来の定式化によってペナルティパラメータとラグランジュ乗算器のストールを更新する。
本稿では,適応的下位段階法にインスパイアされた規則に従って適応的に進化する一意のペナルティパラメータを各制約に割り当てる適応ALMを提案する。
- 参考スコア（独自算出の注目度）: 0.9137554315375919
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Physics and equality constrained artificial neural networks (PECANN) are
grounded in methods of constrained optimization to properly constrain the
solution of partial differential equations (PDEs) with their boundary and
initial conditions and any high-fidelity data that may be available. To this
end, adoption of the augmented Lagrangian method within the PECANN framework is
paramount for learning the solution of PDEs without manually balancing the
individual loss terms in the objective function used for determining the
parameters of the neural network. Generally speaking, ALM combines the merits
of the penalty and Lagrange multiplier methods while avoiding the ill
conditioning and convergence issues associated singly with these methods . In
the present work, we apply our PECANN framework to solve forward and inverse
problems that have an expanded and diverse set of constraints. We show that ALM
with its conventional formulation to update its penalty parameter and Lagrange
multipliers stalls for such challenging problems. To address this issue, we
propose an adaptive ALM in which each constraint is assigned a unique penalty
parameter that evolve adaptively according to a rule inspired by the adaptive
subgradient method. Additionally, we revise our PECANN formulation for improved
computational efficiency and savings which allows for mini-batch training. We
demonstrate the efficacy of our proposed approach by solving several forward
and PDE-constrained inverse problems with noisy data, including simulation of
incompressible fluid flows with a primitive-variables formulation of the
Navier-Stokes equations up to a Reynolds number of 1000.
- Abstract（参考訳）: 物理と等式制約付き人工ニューラルネットワーク(PECANN)は、偏微分方程式(PDE)の解を、その境界条件と初期条件と、利用可能な高忠実度データとを適切に制約する制約付き最適化法に基づいている。
この目的のために、pecannフレームワークにおける拡張ラグランジアン法の採用は、ニューラルネットワークのパラメータを決定する目的関数において、個々の損失項を手動でバランスさせることなく、pdesの解法を学ぶ上で最重要となる。
一般に、ALMはペナルティとラグランジュ乗算法の利点を組み合わせ、これらの手法と単独で関連する条件や収束の問題を回避する。
本研究では,PECANNフレームワークを用いて,拡張された多様な制約の集合を持つ前方および逆問題の解決を行う。
そこで本研究では,almのペナルティパラメータとラグランジュ乗算器の更新に関する従来の定式化が困難であることを示す。
この問題に対処するために,適応的下位段階法に着想を得た規則に従って適応的に進化する一意のペナルティパラメータを各制約に割り当てる適応ALMを提案する。
さらに,ミニバッチトレーニングを可能にする計算効率と省エネ性を向上させるため,pecannの定式化を改訂した。
本研究では,Navier-Stokes方程式の原始変数定式化による非圧縮性流体のシミュレーションを含む,雑音データを用いた前方およびPDE制約の逆問題の解法により,提案手法の有効性を実証する。
関連論文リスト
- Non-overlapping, Schwarz-type Domain Decomposition Method for Physics and Equality Constrained Artificial Neural Networks [0.24578723416255746]
一般化されたインタフェース条件を用いた非重複型シュワルツ型ドメイン分解法を提案する。
本手法は各サブドメインにおける物理と等価制約付き人工ニューラルネットワーク(PECANN)を利用する。
提案手法の一般化能力と強靭な並列性能を,前方および逆問題にまたがって示す。
論文 参考訳（メタデータ） (2024-09-20T16:48:55Z) - Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。
非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
論文 参考訳（メタデータ） (2024-08-20T19:06:02Z) - WANCO: Weak Adversarial Networks for Constrained Optimization problems [5.257895611010853]
まず、拡張ラグランジアン法を用いてミニマックス問題をミニマックス問題に変換する。
次に、それぞれ原始変数と双対変数を表すために、2つの(または複数の)ディープニューラルネットワークを使用します。
ニューラルネットワークのパラメータは、敵のプロセスによって訓練される。
論文 参考訳（メタデータ） (2024-07-04T05:37:48Z) - Learning Constrained Optimization with Deep Augmented Lagrangian Methods [54.22290715244502]
機械学習(ML)モデルは、制約付き最適化ソルバをエミュレートするために訓練される。
本稿では,MLモデルを用いて2つの解推定を直接予測する手法を提案する。
これにより、双対目的が損失関数であるエンドツーエンドのトレーニングスキームと、双対上昇法をエミュレートした原始的実現可能性への解推定を可能にする。
論文 参考訳（メタデータ） (2024-03-06T04:43:22Z) - Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-10-08T23:39:38Z) - A Stable and Scalable Method for Solving Initial Value PDEs with Neural
Networks [52.5899851000193]
我々は,ネットワークの条件が悪くなるのを防止し,パラメータ数で時間線形に動作するODEベースのIPPソルバを開発した。
このアプローチに基づく現在の手法は2つの重要な問題に悩まされていることを示す。
まず、ODEに従うと、問題の条件付けにおいて制御不能な成長が生じ、最終的に許容できないほど大きな数値誤差が生じる。
論文 参考訳（メタデータ） (2023-04-28T17:28:18Z) - Mitigating Learning Complexity in Physics and Equality Constrained
Artificial Neural Networks [0.9137554315375919]
偏微分方程式(PDE)の解を学ぶために物理インフォームドニューラルネットワーク(PINN)が提案されている。
PINNでは、利害関係のPDEの残留形態とその境界条件は、軟罰として複合目的関数にまとめられる。
本稿では,この目的関数を定式化する方法が,異なる種類のPDEに適用した場合のPINNアプローチにおける厳しい制約の源であることを示す。
論文 参考訳（メタデータ） (2022-06-19T04:12:01Z) - Enhanced Physics-Informed Neural Networks with Augmented Lagrangian
Relaxation Method (AL-PINNs) [1.7403133838762446]
物理インフォームドニューラルネットワーク(PINN)は非線形偏微分方程式(PDE)の解の強力な近似器である
PINN(AL-PINN)のための拡張ラグランジアン緩和法を提案する。
AL-PINNは、最先端の適応的損失分散アルゴリズムと比較して、相対誤差がはるかに小さいことを様々な数値実験で示している。
論文 参考訳（メタデータ） (2022-04-29T08:33:11Z) - Physics and Equality Constrained Artificial Neural Networks: Application
to Partial Differential Equations [1.370633147306388]
偏微分方程式(PDE)の解を学ぶために物理インフォームドニューラルネットワーク(PINN)が提案されている。
本稿では,この目的関数の定式化方法が,PINNアプローチにおける厳密な制約の源であることを示す。
本稿では,逆問題と前方問題の両方に対処可能な多目的フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-30T05:55:35Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳（メタデータ） (2020-10-08T15:27:50Z) - Combining Deep Learning and Optimization for Security-Constrained
Optimal Power Flow [94.24763814458686]
セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。
SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。
本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
論文 参考訳（メタデータ） (2020-07-14T12:38:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。