論文の概要: A Natural Primal-Dual Hybrid Gradient Method for Adversarial Neural Network Training on Solving Partial Differential Equations

• arxiv url: http://arxiv.org/abs/2411.06278v1
• Date: Sat, 09 Nov 2024 20:39:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:07:07.381153
• Title: A Natural Primal-Dual Hybrid Gradient Method for Adversarial Neural Network Training on Solving Partial Differential Equations
• Title（参考訳）: 部分微分方程式の解法に基づく逆ニューラルネットワーク学習のための自然原始-双対ハイブリッド勾配法
• Authors: Shu Liu, Stanley Osher, Wuchen Li,
• Abstract要約: 偏微分方程式(PDE)を解くためのスケーラブルな事前条件付き原始ハイブリッド勾配アルゴリズムを提案する。 本稿では,提案手法の性能を,一般的なディープラーニングアルゴリズムと比較する。 その結果,提案手法は効率的かつ堅牢に動作し,安定に収束することが示唆された。
• 参考スコア（独自算出の注目度）: 9.588717577573684
• License:
• Abstract: We propose a scalable preconditioned primal-dual hybrid gradient algorithm for solving partial differential equations (PDEs). We multiply the PDE with a dual test function to obtain an inf-sup problem whose loss functional involves lower-order differential operators. The Primal-Dual Hybrid Gradient (PDHG) algorithm is then leveraged for this saddle point problem. By introducing suitable precondition operators to the proximal steps in the PDHG algorithm, we obtain an alternative natural gradient ascent-descent optimization scheme for updating the neural network parameters. We apply the Krylov subspace method (MINRES) to evaluate the natural gradients efficiently. Such treatment readily handles the inversion of precondition matrices via matrix-vector multiplication. A posterior convergence analysis is established for the time-continuous version of the proposed method. The algorithm is tested on various types of PDEs with dimensions ranging from $1$ to $50$, including linear and nonlinear elliptic equations, reaction-diffusion equations, and Monge-Amp\`ere equations stemming from the $L^2$ optimal transport problems. We compare the performance of the proposed method with several commonly used deep learning algorithms such as physics-informed neural networks (PINNs), the DeepRitz method, weak adversarial networks (WANs), etc, for solving PDEs using the Adam and L-BFGS optimizers. The numerical results suggest that the proposed method performs efficiently and robustly and converges more stably.
• Abstract（参考訳）: 本稿では、偏微分方程式(PDE)を解くために、スケーラブルなプリコンディション付き原始-双対ハイブリッド勾配アルゴリズムを提案する。 損失関数が下階微分作用素を含む inf-sup 問題を得るために、PDE と双対テスト関数を乗算する。 プライマル・デュアルハイブリッド勾配(PDHG)アルゴリズムは、このサドル点問題に活用される。 PDHGアルゴリズムの近位ステップに適切なプレコンディション演算子を導入することにより、ニューラルネットワークパラメータを更新するための代替の自然な勾配-漸近最適化手法を得る。 我々はKrylov subspace method (MINRES) を用いて自然勾配を効率的に評価する。 このような処理は、行列-ベクトル乗算による事前条件行列の逆変換を容易に処理する。 提案手法の時間連続バージョンに対して後方収束解析を行う。 このアルゴリズムは、線形および非線形楕円型方程式、反応拡散方程式、L^2$の最適輸送問題に起因するMonge-Amp\`ere方程式を含む、次元が1ドルから50ドルまでの様々な種類のPDEで試験される。 提案手法の性能を,AdamとL-BFGSオプティマイザを用いたPDEの解法として,物理インフォームドニューラルネットワーク(PINN),DeepRitz法,弱い対向ネットワーク(WAN)などの一般的なディープラーニングアルゴリズムと比較した。 その結果,提案手法は効率的かつ堅牢に動作し,安定に収束することが示唆された。

関連論文リスト

• Convergence of Implicit Gradient Descent for Training Two-Layer Physics-Informed Neural Networks [3.680127959836384]
  暗黙の勾配降下(IGD)は、ある種のマルチスケール問題を扱う場合、共通勾配降下(GD)よりも優れる。 IGDは線形収束速度で大域的に最適解を収束することを示す。
  論文  参考訳（メタデータ） (2024-07-03T06:10:41Z)
• A Deep-Genetic Algorithm (Deep-GA) Approach for High-Dimensional Nonlinear Parabolic Partial Differential Equations [0.0]
  本稿では,Deep-BSDE法の性能向上のために,ディープジェネティックアルゴリズム(deep-GA)と呼ばれる新しい手法を提案する。 初期推定選択に対する解の感度を認識し、遺伝的アルゴリズム(GA)を解法に組み込んで選択を最適化する。 提案手法は計算効率が大幅に向上し, 比較精度が向上することを示す。
  論文  参考訳（メタデータ） (2023-11-20T06:35:23Z)
• An Extreme Learning Machine-Based Method for Computational PDEs in Higher Dimensions [1.2981626828414923]
  本稿では,確率型ニューラルネットワークに基づく高次元偏微分方程式(PDE)の解法について述べる。 本稿では,高次元線形・非線形定常・動的PDEの数値シミュレーションを行い,その性能を実証する。
  論文  参考訳（メタデータ） (2023-09-13T15:59:02Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• An application of the splitting-up method for the computation of a neural network representation for the solution for the filtering equations [68.8204255655161]
  フィルタ方程式は、数値天気予報、金融、工学など、多くの現実の応用において中心的な役割を果たす。 フィルタリング方程式の解を近似する古典的なアプローチの1つは、分割法と呼ばれるPDEにインスパイアされた方法を使うことである。 我々はこの手法をニューラルネットワーク表現と組み合わせて、信号プロセスの非正規化条件分布の近似を生成する。
  論文  参考訳（メタデータ） (2022-01-10T11:01:36Z)
• A semigroup method for high dimensional elliptic PDEs and eigenvalue problems based on neural networks [1.52292571922932]
  ニューラルネットワークに基づく高次元楕円偏微分方程式(PDE)と関連する固有値問題を解くための半群計算法を提案する。 PDE問題では、半群演算子の助けを借りて元の方程式を変分問題として再構成し、ニューラルネットワーク(NN)パラメータ化による変分問題を解く。 固有値問題に対して、スカラー双対変数による制約を解消する原始双対法を提案する。
  論文  参考訳（メタデータ） (2021-05-07T19:49:06Z)
• Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications [5.660384137948734]
  提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。 提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T20:57:20Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。