論文の概要: Improving physics-informed neural networks with meta-learned optimization

• arxiv url: http://arxiv.org/abs/2303.07127v2
• Date: Tue, 14 Mar 2023 13:26:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 11:10:17.785405
• Title: Improving physics-informed neural networks with meta-learned optimization
• Title（参考訳）: メタ学習最適化による物理形ニューラルネットワークの改良
• Authors: Alex Bihlo
• Abstract要約: 微分方程式を解くための物理インフォームドニューラルネットワークを用いた誤差は、メタ学習最適化法を用いてこれらのネットワークをトレーニングした場合、大幅に低減できることを示す。 メタ学習は、ある微分方程式上で訓練されたメタ学習を、別の微分方程式上でもうまく展開できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that the error achievable using physics-informed neural networks for solving systems of differential equations can be substantially reduced when these networks are trained using meta-learned optimization methods rather than to using fixed, hand-crafted optimizers as traditionally done. We choose a learnable optimization method based on a shallow multi-layer perceptron that is meta-trained for specific classes of differential equations. We illustrate meta-trained optimizers for several equations of practical relevance in mathematical physics, including the linear advection equation, Poisson's equation, the Korteweg--de Vries equation and Burgers' equation. We also illustrate that meta-learned optimizers exhibit transfer learning abilities, in that a meta-trained optimizer on one differential equation can also be successfully deployed on another differential equation.
• Abstract（参考訳）: 本稿では,従来の定型手作りオプティマイザではなく,メタ学習最適化法を用いて,差分方程式系を解くための物理インフォームドニューラルネットワークを用いた誤差を大幅に低減できることを示す。 微分方程式の特定のクラスに対してメタ訓練された浅い多層パーセプトロンに基づく学習可能な最適化法を選択する。 本稿では,線形随伴方程式,ポアソン方程式,コルテウェグ・ド・ブリース方程式,バーガーズ方程式など,数理物理学における実用的妥当性の方程式に対するメタトレーニング最適化について述べる。 また,ある微分方程式上のメタ学習オプティマイザが別の微分方程式上でもうまく展開できることから,メタ学習オプティマイザがトランスファー学習能力を示すことも示す。

関連論文リスト

• JAX-Accelerated Neuroevolution of Physics-informed Neural Networks: Benchmarks and Experimental Results [17.24449797747682]
  本稿では,微分方程式の解法として進化的アルゴリズムを導入する。 この解は、損失関数が微分方程式から残留項で定義されるディープニューラルネットワークを最適化することによって得られる。
  論文  参考訳（メタデータ） (2022-12-15T05:54:16Z)
• Learning to Optimize Quasi-Newton Methods [15.931518873026707]
  我々は,準ニュートン最適化のサブルーチンとして,損失の暗黙の逆 Hessian をオンラインメタ学習する LODO という新しい機械学習を導入する。 我々は,雑音の存在下でのサブルーチンの性能を実験的に検証し,逆ヘッセン表現の簡易な代替手段が性能を悪化させることを示す。 最後に、本アルゴリズムを用いて、95kパラメータの半現実的な深層ニューラルネットワークをトレーニングし、標準ニューラルネットワークに対する競合的な結果を得る。
  論文  参考訳（メタデータ） (2022-10-11T03:47:14Z)
• Half-Inverse Gradients for Physical Deep Learning [25.013244956897832]
  異なる物理シミュレータをトレーニングプロセスに統合することは、結果の質を大幅に向上させる。 勾配に基づく解法は、多くの物理過程の固有の性質であるスケールと方向を操作できるため、勾配流に深い影響を与える。 本研究では,この現象に苦しむことのない新しい手法を導出するために,物理・ニューラルネットワーク最適化の特性を解析する。
  論文  参考訳（メタデータ） (2022-03-18T19:11:04Z)
• Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
  本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。 提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-31T18:35:10Z)
• Efficient Differentiable Simulation of Articulated Bodies [89.64118042429287]
  本稿では, 音素の効率的な微分可能シミュレーション法を提案する。 これにより、ボディダイナミクスを深層学習フレームワークに統合することが可能になる。 提案手法を用いて, 調音システムによる強化学習を高速化できることを示す。
  論文  参考訳（メタデータ） (2021-09-16T04:48:13Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Recurrent Localization Networks applied to the Lippmann-Schwinger Equation [0.0]
  一般化Lippmann-Schwinger (L-S) 型の方程式を解くための新しい機械学習手法を提案する。 学習に基づくループアンロールの一部として、リカレント畳み込みニューラルネットワークを用いて、関心のある分野の制御方程式を反復的に解く。 本研究では, 局所的(ボクセルレベル)弾性ひずみの予測において, 優れた精度が得られる2相弾性局在問題に対する学習手法を示す。
  論文  参考訳（メタデータ） (2021-01-29T20:54:17Z)
• Reverse engineering learned optimizers reveals known and novel mechanisms [50.50540910474342]
  学習は最適化問題を解決するために自らを訓練できるアルゴリズムである。 実験の結果は,学習の動作方法に関するそれまでの曖昧な理解を解明し,今後の学習を解釈するためのツールを確立するのに役立つ。
  論文  参考訳（メタデータ） (2020-11-04T07:12:43Z)
• Learning Differential Equations that are Easy to Solve [26.05208133659686]
  本稿では,解軌跡の高次微分を用いて,標準数値解法における時間コストの微分可能なサロゲートを提案する。 我々は、教師付き分類、密度推定、時系列モデリングタスクのモデルにおいて、ほぼ正確にトレーニングを行うことで、我々のアプローチをかなり高速に示す。
  論文  参考訳（メタデータ） (2020-07-09T01:39:34Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。