論文の概要: Architectural Strategies for the optimization of Physics-Informed Neural Networks

• arxiv url: http://arxiv.org/abs/2402.02711v1
• Date: Mon, 5 Feb 2024 04:15:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 18:01:38.721246
• Title: Architectural Strategies for the optimization of Physics-Informed Neural Networks
• Title（参考訳）: 物理形ニューラルネットワークの最適化のためのアーキテクチャ戦略
• Authors: Hemanth Saratchandran, Shin-Fang Chng, Simon Lucey
• Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)における前方および逆問題に対処するための有望な道を提供する その顕著な経験的成功にもかかわらず、PINNは様々なPDEで悪名高いトレーニング課題の評判を得た。
• 参考スコア（独自算出の注目度）: 30.92757082348805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-informed neural networks (PINNs) offer a promising avenue for tackling both forward and inverse problems in partial differential equations (PDEs) by incorporating deep learning with fundamental physics principles. Despite their remarkable empirical success, PINNs have garnered a reputation for their notorious training challenges across a spectrum of PDEs. In this work, we delve into the intricacies of PINN optimization from a neural architecture perspective. Leveraging the Neural Tangent Kernel (NTK), our study reveals that Gaussian activations surpass several alternate activations when it comes to effectively training PINNs. Building on insights from numerical linear algebra, we introduce a preconditioned neural architecture, showcasing how such tailored architectures enhance the optimization process. Our theoretical findings are substantiated through rigorous validation against established PDEs within the scientific literature.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)における前方と逆の問題を、基礎物理学の原理に深層学習を組み込むことで解決する、有望な道を提供する。 その顕著な経験的成功にもかかわらず、PINNは様々なPDEで悪名高いトレーニング課題の評判を博した。 本稿では,神経アーキテクチャの観点からピン最適化の複雑さを考察する。 ニューラル・タンジェント・カーネル(NTK)を用いて,本研究はガウスの活性化がPINNを効果的に訓練する上で,いくつかの代替活性化を上回ることを明らかにした。 数値線形代数学からの洞察に基づいて,事前条件付きニューラルアーキテクチャを導入し,このような最適化アーキテクチャが最適化プロセスをどのように強化するかを示す。 学術文献中のPDEに対する厳密な検証を通じて,本研究の理論的知見を裏付ける。

関連論文リスト

• SPIKANs: Separable Physics-Informed Kolmogorov-Arnold Networks [0.9999629695552196]
  偏微分方程式(PDE)の解法として物理情報ニューラルネットワーク(PINN)が誕生した。 我々はSPIKAN(Sparable Physics-Informed Kolmogorov-Arnold Networks)を紹介する。 この新しいアーキテクチャは変数分離の原則をPIKANに適用し、各次元が個別のKAで扱われるような問題を分解する。
  論文  参考訳（メタデータ） (2024-11-09T21:10:23Z)
• A Gaussian Process Framework for Solving Forward and Inverse Problems Involving Nonlinear Partial Differential Equations [0.0]
  非線形PDEシステムを解くためにカーネル法とディープNNの長所を統合するためにカーネル重み付き補正残差(CoRes)を導入する。 CoResは幅広いベンチマーク問題の解決において競合する手法を一貫して上回っている。 我々はPDEの解決にカーネル手法を活用することに新たな関心を喚起する可能性があると考えている。
  論文  参考訳（メタデータ） (2024-01-07T14:09:42Z)
• Solving PDEs on Spheres with Physics-Informed Convolutional Neural Networks [17.69666422395703]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法において効率的であることが示されている。 本稿では,物理インフォームド畳み込みニューラルネットワーク(PICNN)の厳密な解析を行い,球面上のPDEを解く。
  論文  参考訳（メタデータ） (2023-08-18T14:58:23Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Ensemble learning for Physics Informed Neural Networks: a Gradient Boosting approach [10.250994619846416]
  段階的強化(GB)と呼ばれる新しい訓練パラダイムを提案する。 与えられたPDEの解を1つのニューラルネットワークで直接学習する代わりに、我々のアルゴリズムは、より優れた結果を得るために、一連のニューラルネットワークを用いています。 この研究は、PINNでアンサンブル学習技術を採用するための扉も開ける。
  論文  参考訳（メタデータ） (2023-02-25T19:11:44Z)
• On the Generalization of PINNs outside the training domain and the Hyperparameters influencing it [1.3927943269211593]
  PINNは、解データを必要としない微分方程式の解をエミュレートするように訓練されたニューラルネットワークアーキテクチャである。 トレーニング領域外におけるPINN予測の挙動を実証分析する。 PINNのアルゴリズム設定が一般化のポテンシャルに影響を及ぼすかどうかを評価し,予測に対する各効果を示す。
  論文  参考訳（メタデータ） (2023-02-15T09:51:56Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method [70.19159220248805]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する 本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。 本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
  論文  参考訳（メタデータ） (2022-05-18T06:50:44Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。