論文の概要: Loss Jump During Loss Switch in Solving PDEs with Neural Networks
- arxiv url: http://arxiv.org/abs/2405.03095v1
- Date: Mon, 6 May 2024 01:18:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 15:04:42.810106
- Title: Loss Jump During Loss Switch in Solving PDEs with Neural Networks
- Title（参考訳）: ニューラルネットワークを用いたPDEの解法における損失ジャンプ
- Authors: Zhiwei Wang, Lulu Zhang, Zhongwang Zhang, Zhi-Qin John Xu,
- Abstract要約: ニューラルネットワークを用いて偏微分方程式(PDE)を解くことは、科学計算コミュニティにおいて代替のアプローチとして人気を集めている。
この研究は、PDEを解決するためのニューラルネットワークのトレーニングに、異なる損失関数がどう影響するかを調査することに焦点を当てる。
- 参考スコア（独自算出の注目度）: 11.123662745891677
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Using neural networks to solve partial differential equations (PDEs) is gaining popularity as an alternative approach in the scientific computing community. Neural networks can integrate different types of information into the loss function. These include observation data, governing equations, and variational forms, etc. These loss functions can be broadly categorized into two types: observation data loss directly constrains and measures the model output, while other loss functions indirectly model the performance of the network, which can be classified as model loss. However, this alternative approach lacks a thorough understanding of its underlying mechanisms, including theoretical foundations and rigorous characterization of various phenomena. This work focuses on investigating how different loss functions impact the training of neural networks for solving PDEs. We discover a stable loss-jump phenomenon: when switching the loss function from the data loss to the model loss, which includes different orders of derivative information, the neural network solution significantly deviates from the exact solution immediately. Further experiments reveal that this phenomenon arises from the different frequency preferences of neural networks under different loss functions. We theoretically analyze the frequency preference of neural networks under model loss. This loss-jump phenomenon provides a valuable perspective for examining the underlying mechanisms of neural networks in solving PDEs.
- Abstract（参考訳）: ニューラルネットワークを用いて偏微分方程式(PDE)を解くことは、科学計算コミュニティにおいて代替のアプローチとして人気を集めている。
ニューラルネットワークは、さまざまな種類の情報を損失関数に統合することができる。
これには、観測データ、支配方程式、変分形式などが含まれる。
これらの損失関数は、観測データ損失を直接制約し、モデル出力を測定し、他の損失関数は間接的にネットワークの性能をモデル化し、モデル損失と分類することができる。
しかし、この方法には、理論の基礎や様々な現象の厳密な特徴づけなど、基礎となるメカニズムの理解が欠如している。
この研究は、PDEを解決するためのニューラルネットワークのトレーニングに、異なる損失関数がどう影響するかを調査することに焦点を当てる。
我々は、損失関数をデータ損失からモデル損失に切り替えると、微分情報の順序が異なる場合、ニューラルネットワークの解は、正確な解からすぐに著しく逸脱する、という安定した損失分岐現象を発見した。
さらなる実験により、この現象は、異なる損失関数の下でのニューラルネットワークの異なる周波数嗜好から生じることが明らかとなった。
モデル損失下でのニューラルネットワークの周波数嗜好を理論的に解析する。
この損失ジャンプ現象は、PDEを解く際のニューラルネットワークの基盤となるメカニズムを調べる上で、貴重な視点を提供する。
関連論文リスト
- Automatic Differentiation is Essential in Training Neural Networks for Solving Differential Equations [7.890817997914349]
ニューラルネットワークに基づくアプローチは、最近、科学と工学における偏微分方程式(PDE)の解法において大きな可能性を示している。
PDEのためのニューラルネットワーク手法の利点の1つは、その自動微分(AD)にある。
本稿では、ニューラルネットワークのトレーニングにおけるADの利点を定量的に示す。
論文 参考訳（メタデータ） (2024-05-23T02:01:05Z) - Neural Loss Function Evolution for Large-Scale Image Classifier Convolutional Neural Networks [0.0]
分類では、ニューラルネットワークはクロスエントロピーを最小化して学習するが、精度を用いて評価され、比較される。
この格差は、ニューラルネットワークのクロスエントロピーのドロップイン置換損失関数探索であるニューラルロス関数探索(NLFS)を示唆している。
より多様な損失関数を探索するNLFSの新しい探索空間を提案する。
論文 参考訳（メタデータ） (2024-01-30T17:21:28Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Graph Neural Networks with Trainable Adjacency Matrices for Fault
Diagnosis on Multivariate Sensor Data [69.25738064847175]
各センサの信号の挙動を別々に検討し,相互の相関関係と隠れ関係を考慮する必要がある。
グラフノードは、異なるセンサーからのデータとして表現することができ、エッジは、これらのデータの影響を互いに表示することができる。
グラフニューラルネットワークのトレーニング中にグラフを構築する方法が提案されている。これにより、センサー間の依存関係が事前に分かっていないデータ上でモデルをトレーニングすることができる。
論文 参考訳（メタデータ） (2022-10-20T11:03:21Z) - Critical Investigation of Failure Modes in Physics-informed Neural
Networks [0.9137554315375919]
合成定式化による物理インフォームドニューラルネットワークは、最適化が難しい非学習損失面を生成することを示す。
また,2つの楕円問題に対する2つのアプローチを,より複雑な目標解を用いて評価する。
論文 参考訳（メタデータ） (2022-06-20T18:43:35Z) - Scaling Properties of Deep Residual Networks [2.6763498831034043]
勾配降下法によりトレーニングした重りの性質と, ネットワーク深度によるスケーリングについて, 数値実験により検討した。
神経ODE文学で想定されるものとは大きく異なるスケーリング体制の存在を観察する。
これらの結果は、ディープResNetの適切な記述として、ニューラルODEモデルの有効性に疑問を投げかけた。
論文 参考訳（メタデータ） (2021-05-25T22:31:30Z) - Conditional physics informed neural networks [85.48030573849712]
固有値問題のクラス解を推定するための条件付きPINN(物理情報ニューラルネットワーク)を紹介します。
一つのディープニューラルネットワークが、問題全体に対する偏微分方程式の解を学習できることが示される。
論文 参考訳（メタデータ） (2021-04-06T18:29:14Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。
我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。
本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-08-01T00:58:54Z) - ResiliNet: Failure-Resilient Inference in Distributed Neural Networks [56.255913459850674]
ResiliNetは、分散ニューラルネットワークにおいて物理ノード障害に耐性を持たせるためのスキームである。
Failoutは、ドロップアウトを使用したトレーニング中の物理ノード障害条件をシミュレートし、分散ニューラルネットワークのレジリエンスを改善するように設計されている。
論文 参考訳（メタデータ） (2020-02-18T05:58:24Z) - Mean-Field and Kinetic Descriptions of Neural Differential Equations [0.0]
この研究では、ニューラルネットワークの特定のクラス、すなわち残留ニューラルネットワークに焦点を当てる。
我々は、ネットワークのパラメータ、すなわち重みとバイアスに関する定常状態と感度を分析する。
残留ニューラルネットワークにインスパイアされた微視的ダイナミクスの修正は、ネットワークのフォッカー・プランクの定式化につながる。
論文 参考訳（メタデータ） (2020-01-07T13:41:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。