論文の概要: Spectral Informed Neural Network: An Efficient and Low-Memory PINN

• arxiv url: http://arxiv.org/abs/2408.16414v2
• Date: Tue, 8 Oct 2024 13:27:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 04:19:50.116978
• Title: Spectral Informed Neural Network: An Efficient and Low-Memory PINN
• Title（参考訳）: スペクトルインフォームドニューラルネットワーク - 効率的かつ低メモリのPINN
• Authors: Tianchi Yu, Yiming Qi, Ivan Oseledets, Shiyi Chen,
• Abstract要約: 本稿では、微分演算子を乗法で置き換えるスペクトルベースニューラルネットワークを提案する。 PINNと比較して、我々のアプローチはメモリの削減とトレーニング時間の短縮を必要とする。 我々は、スペクトル情報を用いてネットワークを訓練する2つの戦略を提供する。
• 参考スコア（独自算出の注目度）: 3.8534287291074354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With growing investigations into solving partial differential equations by physics-informed neural networks (PINNs), more accurate and efficient PINNs are required to meet the practical demands of scientific computing. One bottleneck of current PINNs is computing the high-order derivatives via automatic differentiation which often necessitates substantial computing resources. In this paper, we focus on removing the automatic differentiation of the spatial derivatives and propose a spectral-based neural network that substitutes the differential operator with a multiplication. Compared to the PINNs, our approach requires lower memory and shorter training time. Thanks to the exponential convergence of the spectral basis, our approach is more accurate. Moreover, to handle the different situations between physics domain and spectral domain, we provide two strategies to train networks by their spectral information. Through a series of comprehensive experiments, We validate the aforementioned merits of our proposed network.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)による偏微分方程式の解法の研究が進み、科学計算の実際的な要求を満たすためには、より正確で効率的なPINNが必要である。 現在のPINNのボトルネックの1つは、しばしばかなりの計算資源を必要とする自動微分による高次微分の計算である。 本稿では,空間微分の自動微分の除去に焦点をあて,微分演算子を乗法で置き換えるスペクトルベースニューラルネットワークを提案する。 PINNと比較して、我々のアプローチはメモリの削減とトレーニング時間の短縮を必要とする。 スペクトル基底の指数収束により、我々のアプローチはより正確である。 さらに、物理領域とスペクトル領域の異なる状況を扱うために、スペクトル情報を用いてネットワークを訓練する2つの戦略を提供する。 一連の総合実験を通じて,提案したネットワークのメリットを検証した。

関連論文リスト

• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングでは、スパイクニューラルネットワーク(SNN)が推論タスクを実行し、シーケンシャルデータを含むワークロードの大幅な効率向上を提供する。 ハードウェアとソフトウェアの最近の進歩は、スパイクニューロン間で交換された各スパイクに数ビットのペイロードを埋め込むことにより、推論精度をさらに高めることを示した。 本稿では,マルチレベルSNNを用いた無線ニューロモルフィック分割計算アーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Multifidelity domain decomposition-based physics-informed neural networks and operators for time-dependent problems [40.46280139210502]
  多重忠実積層PINNとドメイン分解に基づく有限基底PINNの組み合わせを用いる。 ドメイン分解アプローチは、PINNと重ね合わせのPINNアプローチを明らかに改善する。 FBPINNアプローチは、多要素物理インフォームド・ディープ・オペレーター・ネットワークに拡張可能であることが実証された。
  論文  参考訳（メタデータ） (2024-01-15T18:32:53Z)
• Spectral-Bias and Kernel-Task Alignment in Physically Informed Neural Networks [4.604003661048267]
  物理情報ニューラルネットワーク(PINN)は微分方程式の解法として有望である。 この重要な問題に光を当てる包括的な理論的枠組みを提案する。 我々は、PINN予測を大容量データセット限界で支配する積分微分方程式を導出する。
  論文  参考訳（メタデータ） (2023-07-12T18:00:02Z)
• PhyGNNet: Solving spatiotemporal PDEs with Physics-informed Graph Neural Network [12.385926494640932]
  本稿では,グラフニューラルネットワークの基本値から偏微分方程式を解くためのPhyGNNetを提案する。 特に、計算領域を正規グリッドに分割し、グリッド上の偏微分演算子を定義し、PhyGNNetモデルを構築する最適化のためにネットワークのpde損失を構築する。
  論文  参考訳（メタデータ） (2022-08-07T13:33:34Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Enforcing Continuous Physical Symmetries in Deep Learning Network for Solving Partial Differential Equations [3.6317085868198467]
  我々は,PDEのリー対称性によって誘導される不変表面条件をPINNの損失関数に組み込む,新しい対称性を持つ物理情報ニューラルネットワーク(SPINN)を提案する。 SPINNは、トレーニングポイントが少なく、ニューラルネットワークのよりシンプルなアーキテクチャで、PINNよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-06-19T00:44:22Z)
• Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
  物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。 本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。 標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
  論文  参考訳（メタデータ） (2022-05-27T03:24:31Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Physics-informed Neural Network for Nonlinear Dynamics in Fiber Optics [10.335960060544904]
  深層学習と物理を組み合わせる物理インフォームドニューラルネットワーク (PINN) について, 非線形シュリンガー方程式を解くために検討した。 PINNは、効果的な偏微分方程式解法であるだけでなく、光ファイバーにおける科学計算と自動モデリングの進歩にも期待できる技術である。
  論文  参考訳（メタデータ） (2021-09-01T12:19:32Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。