論文の概要: Understanding and mitigating gradient pathologies in physics-informed
neural networks
- arxiv url: http://arxiv.org/abs/2001.04536v1
- Date: Mon, 13 Jan 2020 21:23:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 22:58:52.433548
- Title: Understanding and mitigating gradient pathologies in physics-informed
neural networks
- Title（参考訳）: 物理インフォーメーションニューラルネットワークにおける勾配病理の理解と緩和
- Authors: Sifan Wang, Yujun Teng, Paris Perdikaris
- Abstract要約: この研究は、物理システムの結果を予測し、ノイズの多いデータから隠れた物理を発見するための物理情報ニューラルネットワークの有効性に焦点を当てる。
本稿では,モデル学習中の勾配統計を利用して,複合損失関数の異なる項間の相互作用のバランスをとる学習速度アニーリングアルゴリズムを提案する。
また、そのような勾配に耐性のある新しいニューラルネットワークアーキテクチャを提案する。
- 参考スコア（独自算出の注目度）: 2.1485350418225244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The widespread use of neural networks across different scientific domains
often involves constraining them to satisfy certain symmetries, conservation
laws, or other domain knowledge. Such constraints are often imposed as soft
penalties during model training and effectively act as domain-specific
regularizers of the empirical risk loss. Physics-informed neural networks is an
example of this philosophy in which the outputs of deep neural networks are
constrained to approximately satisfy a given set of partial differential
equations. In this work we review recent advances in scientific machine
learning with a specific focus on the effectiveness of physics-informed neural
networks in predicting outcomes of physical systems and discovering hidden
physics from noisy data. We will also identify and analyze a fundamental mode
of failure of such approaches that is related to numerical stiffness leading to
unbalanced back-propagated gradients during model training. To address this
limitation we present a learning rate annealing algorithm that utilizes
gradient statistics during model training to balance the interplay between
different terms in composite loss functions. We also propose a novel neural
network architecture that is more resilient to such gradient pathologies. Taken
together, our developments provide new insights into the training of
constrained neural networks and consistently improve the predictive accuracy of
physics-informed neural networks by a factor of 50-100x across a range of
problems in computational physics. All code and data accompanying this
manuscript are publicly available at
\url{https://github.com/PredictiveIntelligenceLab/GradientPathologiesPINNs}.
- Abstract（参考訳）: 異なる科学領域にまたがるニューラルネットワークの普及は、特定の対称性、保存法則、その他の分野の知識を満たすためにそれらに制約を課すことがしばしばある。
このような制約は、モデルトレーニング中にソフトペナルティとして課せられ、経験的リスク損失のドメイン固有のレギュレータとして効果的に機能する。
物理インフォームドニューラルネットワークは、ディープニューラルネットワークの出力が与えられた偏微分方程式の集合をほぼ満足するように制約されるというこの哲学の例である。
本研究は,物理システムの結果を予測し,ノイズの多いデータから隠れた物理学を発見するための物理情報ニューラルネットワークの有効性に着目した,科学機械学習の最近の進歩を概観する。
また,モデルトレーニング中の逆伝播勾配の不均衡につながる数値剛性に関連する,そのようなアプローチの基本的な失敗モードを同定し,解析する。
この制限に対処するために、モデルトレーニング中の勾配統計を利用して、複合損失関数の異なる項間の相互作用のバランスをとる学習速度アニールアルゴリズムを提案する。
また,このような勾配病理に対してよりレジリエントなニューラルネットワークアーキテクチャを提案する。
同時に、我々は、制約付きニューラルネットワークのトレーニングに関する新たな洞察を提供し、計算物理学の様々な問題に対して50-100倍の係数で、物理インフォームドニューラルネットワークの予測精度を一貫して改善する。
この原稿に付随するコードとデータは、 \url{https://github.com/PredictiveIntelligenceLab/GradientPathologiesPINNs}で公開されている。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Can physical information aid the generalization ability of Neural
Networks for hydraulic modeling? [0.0]
河川水理学へのニューラルネットワークの適用は、データ不足に苦しむ分野にもかかわらず、未熟である。
本稿では,トレーニングフェーズに物理情報を導入することで,そのような問題を緩和することを提案する。
このようなソフトな物理情報を組み込むことで予測能力を向上できることを示す。
論文 参考訳（メタデータ） (2024-03-13T14:51:16Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - An Analysis of Physics-Informed Neural Networks [0.0]
我々は物理システム – 物理インフォームドニューラルネットワーク – に対する解を近似する新しいアプローチを提案する。
人工ニューラルネットワークの概念を導入し、目的関数を定義し、最適化戦略について議論する。
偏微分方程式は、問題の損失関数の制約として含まれ、ネットワークがモデリングしている物理系の力学の知識にアクセスできる。
論文 参考訳（メタデータ） (2023-03-06T04:45:53Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Physics-informed ConvNet: Learning Physical Field from a Shallow Neural
Network [0.180476943513092]
マルチ物理システムのモデル化と予測は、避けられないデータ不足とノイズのために依然として課題である。
物理インフォームド・コンボリューション・ネットワーク(PICN)と呼ばれる新しいフレームワークは、CNNの観点から推奨されている。
PICNは物理インフォームド機械学習において、代替のニューラルネットワークソルバとなる可能性がある。
論文 参考訳（メタデータ） (2022-01-26T14:35:58Z) - Physics informed neural networks for continuum micromechanics [68.8204255655161]
近年,応用数学や工学における多種多様な問題に対して,物理情報ニューラルネットワークの適用が成功している。
グローバルな近似のため、物理情報ニューラルネットワークは、最適化によって局所的な効果と強い非線形解を表示するのに困難である。
実世界の$mu$CT-Scansから得られた不均一構造における非線形応力, 変位, エネルギー場を, 正確に解くことができる。
論文 参考訳（メタデータ） (2021-10-14T14:05:19Z) - Conditional physics informed neural networks [85.48030573849712]
固有値問題のクラス解を推定するための条件付きPINN(物理情報ニューラルネットワーク)を紹介します。
一つのディープニューラルネットワークが、問題全体に対する偏微分方程式の解を学習できることが示される。
論文 参考訳（メタデータ） (2021-04-06T18:29:14Z) - A deep learning theory for neural networks grounded in physics [2.132096006921048]
ニューロモルフィックアーキテクチャ上で大規模で高速で効率的なニューラルネットワークを構築するには、それらを実装および訓練するためのアルゴリズムを再考する必要がある。
私たちのフレームワークは、非常に幅広いモデル、すなわち状態やダイナミクスが変動方程式によって記述されるシステムに適用されます。
論文 参考訳（メタデータ） (2021-03-18T02:12:48Z) - Mean-Field and Kinetic Descriptions of Neural Differential Equations [0.0]
この研究では、ニューラルネットワークの特定のクラス、すなわち残留ニューラルネットワークに焦点を当てる。
我々は、ネットワークのパラメータ、すなわち重みとバイアスに関する定常状態と感度を分析する。
残留ニューラルネットワークにインスパイアされた微視的ダイナミクスの修正は、ネットワークのフォッカー・プランクの定式化につながる。
論文 参考訳（メタデータ） (2020-01-07T13:41:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。