論文の概要: Achieving High Accuracy with PINNs via Energy Natural Gradients

• arxiv url: http://arxiv.org/abs/2302.13163v1
• Date: Sat, 25 Feb 2023 21:17:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-28 18:40:43.217053
• Title: Achieving High Accuracy with PINNs via Energy Natural Gradients
• Title（参考訳）: エネルギー自然勾配によるPINNの高精度化
• Authors: Johannes M\"uller, Marius Zeinhofer
• Abstract要約: エネルギー自然勾配から生じる関数空間の更新方向は、モデルの接空間への射影をニュートン方向変調する。 エネルギー自然勾配降下法は,標準勾配降下法あるいはアダム法を用いてPINNを訓練する際に得られるものよりも数桁小さい誤差で高精度な解が得られることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose energy natural gradient descent, a natural gradient method with respect to a Hessian-induced Riemannian metric as an optimization algorithm for physics-informed neural networks (PINNs) and the deep Ritz method. As a main motivation we show that the update direction in function space resulting from the energy natural gradient corresponds to the Newton direction modulo an orthogonal projection onto the model's tangent space. We demonstrate experimentally that energy natural gradient descent yields highly accurate solutions with errors several orders of magnitude smaller than what is obtained when training PINNs with standard optimizers like gradient descent or Adam, even when those are allowed significantly more computation time.
• Abstract（参考訳）: 本稿では,物理インフォームドニューラルネットワーク(PINN)の最適化アルゴリズムとして,エネルギー自然勾配降下法,ヘシアン誘導リーマン計量に対する自然勾配法,ディープリッツ法を提案する。 主動機として、エネルギーの自然勾配から生じる関数空間の更新方向が、モデルの接空間への直交射影のニュートン方向に対応することを示す。 実験により, エネルギー勾配降下は, 計算時間が大幅に長い場合であっても, 勾配降下やアダムのような標準最適化器を用いてPINNを訓練する際に得られるものよりも数桁小さい誤差で高精度な解が得られることを示した。

関連論文リスト

• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Efficient Natural Gradient Descent Methods for Large-Scale Optimization Problems [1.2891210250935146]
  本研究では,状態空間における一般測度に対する自然勾配降下方向の効率的な計算法を提案する。 我々の手法は、最小二乗問題に対する解として、自然勾配の方向を表すことに依存している。 大規模な空間に対して、ワッサーシュタイン自然勾配パラメータを含むいくつかの自然勾配降下を確実に計算できる。
  論文  参考訳（メタデータ） (2022-02-13T07:32:17Z)
• Understanding Natural Gradient in Sobolev Spaces [15.33151811602988]
  ソボレベロメトリーによって誘導される自然勾配について検討し,いくつかの厳密な結果が得られた。 予備実験の結果、この新しい自然勾配変種の可能性が明らかとなった。
  論文  参考訳（メタデータ） (2022-02-13T07:04:44Z)
• Natural Gradient Optimization for Optical Quantum Circuits [4.645254587634926]
  我々は、光量子回路設定において自然勾配降下を実装した。 特に、複素数値パラメータ空間に自然勾配アプローチを適用する。 NGアプローチがより高速な収束を持つのを観察する。
  論文  参考訳（メタデータ） (2021-06-25T14:25:52Z)
• q-RBFNN:A Quantum Calculus-based RBF Neural Network [31.14412266444568]
  放射状基底関数ニューラルネットワーク(RBFNN)に対する勾配降下に基づく学習手法を提案する。 提案手法は、ジャクソン微分(Jackson derivative)とも呼ばれるq勾配に基づく。 提案した$q$-RBFNNは最小二乗アルゴリズムの文脈における収束性能について解析する。
  論文  参考訳（メタデータ） (2021-06-02T08:27:12Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。