論文の概要: Are Two Hidden Layers Still Enough for the Physics-Informed Neural Networks?

• arxiv url: http://arxiv.org/abs/2412.19235v1
• Date: Thu, 26 Dec 2024 14:30:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:27:20.007720
• Title: Are Two Hidden Layers Still Enough for the Physics-Informed Neural Networks?
• Title（参考訳）: 2つの隠れた層は、物理情報ニューラルネットワークにはまだ十分か?
• Authors: Vasiliy A. Es'kin, Alexey O. Malkhanov, Mikhail E. Smorkalov,
• Abstract要約: 本稿では,ニューラルネットワークを単一の隠蔽層で初期化し,訓練するための様々な手法と手法の開発について論じる。 提案手法は、分離可能な物理インフォームドニューラルネットワークアプローチを用いて、2次元問題に拡張されている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The article discusses the development of various methods and techniques for initializing and training neural networks with a single hidden layer, as well as training a separable physics-informed neural network consisting of neural networks with a single hidden layer to solve physical problems described by ordinary differential equations (ODEs) and partial differential equations (PDEs). A method for strictly deterministic initialization of a neural network with one hidden layer for solving physical problems described by an ODE is proposed. Modifications to existing methods for weighting the loss function are given, as well as new methods developed for training strictly deterministic-initialized neural networks to solve ODEs (detaching, additional weighting based on the second derivative, predicted solution-based weighting, relative residuals). An algorithm for physics-informed data-driven initialization of a neural network with one hidden layer is proposed. A neural network with pronounced generalizing properties is presented, whose generalizing abilities of which can be precisely controlled by adjusting network parameters. A metric for measuring the generalization of such neural network has been introduced. A gradient-free neuron-by-neuron fitting method has been developed for adjusting the parameters of a single-hidden-layer neural network, which does not require the use of an optimizer or solver for its implementation. The proposed methods have been extended to 2D problems using the separable physics-informed neural networks approach. Numerous experiments have been carried out to develop the above methods and approaches. Experiments on physical problems, such as solving various ODEs and PDEs, have demonstrated that these methods for initializing and training neural networks with one or two hidden layers (SPINN) achieve competitive accuracy and, in some cases, state-of-the-art results.
• Abstract（参考訳）: 本稿では,ニューラルネットワークを1つの隠蔽層で初期化し,訓練するための様々な手法と手法の開発,また,通常の微分方程式(ODE)と偏微分方程式(PDE)によって記述される物理問題を解くために,単一の隠蔽層でニューラルネットワークを構成する分離可能な物理情報ニューラルネットワークを訓練する方法について論じる。 ODEで記述された物理問題を解くために,1つの隠蔽層を持つニューラルネットワークの厳密な決定論的初期化法を提案する。 損失関数の重み付けのための既存手法の修正と、厳密な決定論的初期化ニューラルネットワークを訓練してODEを解くための新しい手法(脱着、第二微分に基づく追加重み付け、解ベースの重み付け、相対的残留)が提供される。 1つの隠蔽層を持つニューラルネットワークの物理インフォームドデータ駆動初期化アルゴリズムを提案する。 顕著な一般化特性を有するニューラルネットワークを提示し、その一般化能力はネットワークパラメータの調整によって正確に制御できる。 このようなニューラルネットワークの一般化を測定するための指標が紹介されている。 単一隠れ層ニューラルネットワークのパラメータを調整するための勾配のないニューロン・バイ・ニューラルン・フィッティング法が開発されており、その実装にはオプティマイザやソルバは不要である。 提案手法は、分離可能な物理インフォームドニューラルネットワークアプローチを用いて、2次元問題に拡張されている。 以上の手法とアプローチを開発するために,数多くの実験が実施されている。 様々なODEやPDEを解くなどの物理的問題の実験では、ニューラルネットワークを1つまたは2つの隠蔽層(SPINN)で初期化し、訓練するためのこれらの手法が競合精度を達成し、場合によっては最先端の結果が得られることを示した。

関連論文リスト

• Robust Weight Initialization for Tanh Neural Networks with Fixed Point Analysis [5.016205338484259]
  提案手法は既存手法よりもネットワークサイズの変化に頑健である。 物理インフォームドニューラルネットワークに適用すると、ネットワークサイズの変化に対するより高速な収束とロバスト性を示す。
  論文  参考訳（メタデータ） (2024-10-03T06:30:27Z)
• Error Analysis and Numerical Algorithm for PDE Approximation with Hidden-Layer Concatenated Physics Informed Neural Networks [0.9693477883827689]
  本稿では,隠れた物理情報ニューラルネットワーク(HLConcPINN)を提案する。 隠れたフィードフォワードニューラルネットワーク、修正されたブロックタイムマーチング戦略、偏微分方程式(PDE)を近似するための物理情報アプローチを組み合わせる。 本手法の近似誤差は, 長期間の地平線を有する動的シミュレーションのトレーニング損失によって効果的に制御できることを示す。
  論文  参考訳（メタデータ） (2024-06-10T15:12:53Z)
• Chebyshev Spectral Neural Networks for Solving Partial Differential Equations [0.0]
  この研究は、フィードフォワードニューラルネットワークモデルとエラーバックプロパゲーション原理を用いて、損失関数の計算に自動微分(AD)を利用する。 楕円偏微分方程式を用いて,CSNNモデルの数値効率と精度について検討し,よく知られた物理インフォームドニューラルネットワーク(PINN)法と比較した。
  論文  参考訳（メタデータ） (2024-06-06T05:31:45Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• A Stable and Scalable Method for Solving Initial Value PDEs with Neural Networks [52.5899851000193]
  我々は,ネットワークの条件が悪くなるのを防止し,パラメータ数で時間線形に動作するODEベースのIPPソルバを開発した。 このアプローチに基づく現在の手法は2つの重要な問題に悩まされていることを示す。 まず、ODEに従うと、問題の条件付けにおいて制御不能な成長が生じ、最終的に許容できないほど大きな数値誤差が生じる。
  論文  参考訳（メタデータ） (2023-04-28T17:28:18Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Conditional physics informed neural networks [85.48030573849712]
  固有値問題のクラス解を推定するための条件付きPINN(物理情報ニューラルネットワーク)を紹介します。 一つのディープニューラルネットワークが、問題全体に対する偏微分方程式の解を学習できることが示される。
  論文  参考訳（メタデータ） (2021-04-06T18:29:14Z)
• ODEN: A Framework to Solve Ordinary Differential Equations using Artificial Neural Networks [0.0]
  我々は、ニューラルネットワークの性能を評価するために、正確な解の知識を必要としない特定の損失関数を証明した。 ニューラルネットワークは、トレーニング領域内での継続的ソリューションの近似に熟練していることが示されている。 ユーザフレンドリで適応可能なオープンソースコード(ODE$mathcalN$)がGitHubで提供されている。
  論文  参考訳（メタデータ） (2020-05-28T15:34:10Z)
• Understanding and mitigating gradient pathologies in physics-informed neural networks [2.1485350418225244]
  この研究は、物理システムの結果を予測し、ノイズの多いデータから隠れた物理を発見するための物理情報ニューラルネットワークの有効性に焦点を当てる。 本稿では,モデル学習中の勾配統計を利用して,複合損失関数の異なる項間の相互作用のバランスをとる学習速度アニーリングアルゴリズムを提案する。 また、そのような勾配に耐性のある新しいニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-01-13T21:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。