論文の概要: Self-Adaptive Physics-Informed Neural Networks using a Soft Attention Mechanism

• arxiv url: http://arxiv.org/abs/2009.04544v5
• Date: Tue, 18 Jun 2024 23:09:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 11:37:45.640683
• Title: Self-Adaptive Physics-Informed Neural Networks using a Soft Attention Mechanism
• Title（参考訳）: ソフトアテンション機構を用いた自己適応型物理情報ニューラルネットワーク
• Authors: Levi McClenny, Ulisses Braga-Neto,
• Abstract要約: 非線形偏微分方程式(PDE)の数値解に対するディープニューラルネットワークの有望な応用として、物理情報ニューラルネットワーク(PINN)が登場した。 そこで本研究では,PINNを適応的にトレーニングする方法として,適応重みを完全にトレーニング可能とし,各トレーニングポイントに個別に適用する手法を提案する。 線形および非線形のベンチマーク問題による数値実験では、SA-PINNはL2エラーにおいて他の最先端のPINNアルゴリズムよりも優れていた。
• 参考スコア（独自算出の注目度）: 1.6114012813668932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-Informed Neural Networks (PINNs) have emerged recently as a promising application of deep neural networks to the numerical solution of nonlinear partial differential equations (PDEs). However, it has been recognized that adaptive procedures are needed to force the neural network to fit accurately the stubborn spots in the solution of "stiff" PDEs. In this paper, we propose a fundamentally new way to train PINNs adaptively, where the adaptation weights are fully trainable and applied to each training point individually, so the neural network learns autonomously which regions of the solution are difficult and is forced to focus on them. The self-adaptation weights specify a soft multiplicative soft attention mask, which is reminiscent of similar mechanisms used in computer vision. The basic idea behind these SA-PINNs is to make the weights increase as the corresponding losses increase, which is accomplished by training the network to simultaneously minimize the losses and maximize the weights. In addition, we show how to build a continuous map of self-adaptive weights using Gaussian Process regression, which allows the use of stochastic gradient descent in problems where conventional gradient descent is not enough to produce accurate solutions. Finally, we derive the Neural Tangent Kernel matrix for SA-PINNs and use it to obtain a heuristic understanding of the effect of the self-adaptive weights on the dynamics of training in the limiting case of infinitely-wide PINNs, which suggests that SA-PINNs work by producing a smooth equalization of the eigenvalues of the NTK matrix corresponding to the different loss terms. In numerical experiments with several linear and nonlinear benchmark problems, the SA-PINN outperformed other state-of-the-art PINN algorithm in L2 error, while using a smaller number of training epochs.
• Abstract（参考訳）: 近年,非線形偏微分方程式(PDE)の数値解に対するディープニューラルネットワークの有望な応用として,物理情報ニューラルネットワーク(PINN)が出現している。 しかし、ニューラルネットワークが「剛性」PDEの解の頑丈な点を正確に適合させるためには適応的な手順が必要であることが認識されている。 本稿では,PINNを適応的にトレーニングする方法として,適応ウェイトを完全にトレーニング可能とし,各トレーニングポイントに個別に適用することにより,解のどの領域が困難であるかを自律的に学習し,それらに集中せざるを得ないニューラルネットワークを提案する。 自己適応重みは、コンピュータビジョンで使用される同様のメカニズムを連想させるソフトな乗法的ソフトアテンションマスクを規定する。 これらのSA-PINNの背後にある基本的な考え方は、損失の増加に応じて重みを増大させることである。 さらに、ガウス過程回帰を用いて自己適応重みの連続写像を構築する方法を示し、従来の勾配勾配勾配が正確な解を生成するのに十分でない問題に確率勾配勾配を適用できるようにする。 最後に,SA-PINNに対するニューラル・タンジェント・カーネル・マトリックスを導出し,それを用いて,無限大のPINNの制限の場合において,自己適応重みがトレーニングの力学に与える影響のヒューリスティックな理解を得ることにより,異なる損失項に対応するNTK行列の固有値の滑らかな等化を生成することで,SA-PINNが機能することを示唆する。 線形および非線形のベンチマーク問題による数値実験では、SA-PINNはL2エラーにおける他の最先端のPINNアルゴリズムよりも優れ、訓練エポック数は少ない。

関連論文リスト

• Asymmetrical estimator for training grey-box deep photonic neural networks [10.709758849326061]
  非対称トレーニング(AT)法は、PNN構造を灰色の箱として扱う。 我々は、未校正フォトニック集積回路(PIC)により実装されたディープグレーボックスPNNのAT法を実験的に実証した。 また、MNIST, fashion-MNIST, Kuzushiji-MNISTなど、さまざまなデータセットに対するAT over BPの連続的な性能向上も紹介した。
  論文  参考訳（メタデータ） (2024-05-28T17:27:20Z)
• Enriched Physics-informed Neural Networks for Dynamic Poisson-Nernst-Planck Systems [0.8192907805418583]
  本稿では、動的Poisson-Nernst-Planck(PNP)方程式を解くために、メッシュレス深層学習アルゴリズム、EPINN(enriched Physics-informed Neural Network)を提案する。 EPINNは、従来の物理インフォームドニューラルネットワークを基盤フレームワークとして、損失関数のバランスをとるために適応的な損失重みを追加する。 数値計算の結果, 結合された非線形系の解法において, 従来の数値法よりも適用性が高いことがわかった。
  論文  参考訳（メタデータ） (2024-02-01T02:57:07Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• GPT-PINN: Generative Pre-Trained Physics-Informed Neural Networks toward non-intrusive Meta-learning of parametric PDEs [0.0]
  パラメトリックPDEの設定における課題を緩和するために,GPT-PINN(Generative Pre-Trained PINN)を提案する。 ネットワークのネットワークとして、その外/meta-networkは、ニューロン数が大幅に減少している隠蔽層が1つしかないことで、ハイパーリデュースされる。 メタネットワークは、システムのパラメトリック依存を適応的に学習し、この隠れた1つのニューロンを一度に成長させる。
  論文  参考訳（メタデータ） (2023-03-27T02:22:09Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Enhanced Physics-Informed Neural Networks with Augmented Lagrangian Relaxation Method (AL-PINNs) [1.7403133838762446]
  物理インフォームドニューラルネットワーク(PINN)は非線形偏微分方程式(PDE)の解の強力な近似器である PINN(AL-PINN)のための拡張ラグランジアン緩和法を提案する。 AL-PINNは、最先端の適応的損失分散アルゴリズムと比較して、相対誤差がはるかに小さいことを様々な数値実験で示している。
  論文  参考訳（メタデータ） (2022-04-29T08:33:11Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Online Training of Spiking Recurrent Neural Networks with Phase-Change Memory Synapses [1.9809266426888898]
  専用のニューロモルフィックハードウェア上でのスパイクニューラルネットワーク(RNN)のトレーニングは、依然としてオープンな課題である。 本稿では,PCMデバイスモデルに基づく差分構造アレイのシミュレーションフレームワークを提案する。 我々は,最近提案されたe-prop学習規則を用いて,提案したシミュレーションフレームワークに重みをエミュレートしたスパイクRNNを訓練する。
  論文  参考訳（メタデータ） (2021-08-04T01:24:17Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。