論文の概要: On the failure of ReLU activation for physics-informed machine learning

• arxiv url: http://arxiv.org/abs/2512.11184v2
• Date: Mon, 15 Dec 2025 15:22:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 15:10:29.252671
• Title: On the failure of ReLU activation for physics-informed machine learning
• Title（参考訳）: 物理情報処理機械学習におけるReLUアクティベーションの失敗について
• Authors: Conor Rowan,
• Abstract要約: ReLUの分数線形形式は、第一微分のみを含む変分問題においても失敗することを示す。 我々は,この障害の原因を,損失の定式化ではなく,訓練過程において,活性化の第2の微分として認識する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-informed machine learning uses governing ordinary and/or partial differential equations to train neural networks to represent the solution field. Like any machine learning problem, the choice of activation function influences the characteristics and performance of the solution obtained from physics-informed training. Several studies have compared common activation functions on benchmark differential equations, and have unanimously found that the rectified linear unit (ReLU) is outperformed by competitors such as the sigmoid, hyperbolic tangent, and swish activation functions. In this work, we diagnose the poor performance of ReLU on physics-informed machine learning problems. While it is well-known that the piecewise linear form of ReLU prevents it from being used on second-order differential equations, we show that ReLU fails even on variational problems involving only first derivatives. We identify the cause of this failure as second derivatives of the activation, which are taken not in the formulation of the loss, but in the process of training. Namely, we show that automatic differentiation in PyTorch fails to characterize derivatives of discontinuous fields, which causes the gradient of the physics-informed loss to be mis-specified, thus explaining the poor performance of ReLU.
• Abstract（参考訳）: 物理インフォームド機械学習は、通常の微分方程式および/または偏微分方程式を利用して、解場を表現するためにニューラルネットワークを訓練する。 他の機械学習問題と同様に、アクティベーション関数の選択は、物理インフォームドトレーニングから得られるソリューションの特性と性能に影響を与える。 いくつかの研究は、ベンチマーク微分方程式の共通活性化関数を比較し、正則線形単位(ReLU)がシグモイド、双曲タンジェント、スウィッシュアクティベーション関数などの競合によってより優れていることを全会一致で見出した。 本研究では,物理インフォームド機械学習問題におけるReLUの性能低下を診断する。 ReLUの分数次線形形式は二階微分方程式での使用を妨げていることはよく知られているが、ReLUは第一微分のみを含む変分問題でも失敗することを示す。 我々は,この障害の原因を,損失の定式化ではなく,訓練過程において,活性化の第2の微分として認識する。 すなわち、PyTorch における自動微分は不連続場の微分を特徴づけることに失敗し、それによって物理学的インフォームド・ロスの勾配が不特定となり、ReLU の性能の低下が説明できる。

関連論文リスト

• Molecular Learning Dynamics [0.0]
  相互作用する粒子の物理的記述を二重学習記述で補足することにより、物理学習双対性を分子系に適用する。 伝統的な物理学フレームワークでは、運動方程式はラグランジュ関数から導かれるが、学習フレームワークでは、エージェント損失関数によって駆動される学習力学から同じ方程式が現れる。
  論文  参考訳（メタデータ） (2025-04-14T15:05:38Z)
• Enabling Automatic Differentiation with Mollified Graph Neural Operators [73.52999622724101]
  本稿では,自動微分と任意のジオメトリの正確な勾配を求める最初の手法であるモリファイドグラフニューラル演算子(m$GNO)を提案する。 正規格子上のPDEの例では、$m$GNOとオートグレードの組み合わせにより、L2相対データの誤差は有限差に比べて20倍減少した。 また、物理損失のみを使用し、有限差分に必要な分解能よりもはるかに低い精度で、非構造化点雲上のPDEをシームレスに解くことができる。
  論文  参考訳（メタデータ） (2025-04-11T06:16:30Z)
• Self-Adaptive Physics-Informed Quantum Machine Learning for Solving Differential Equations [0.0]
  チェビシェフは、古典的および量子的ニューラルネットワークが微分方程式を解くための効率的なツールとして有望であることを示した。 我々は、このフレームワークを様々な問題に対して量子機械学習環境に適応し、一般化する。 その結果,量子デバイス上での微分方程式の短期的評価に対する有望なアプローチが示唆された。
  論文  参考訳（メタデータ） (2023-12-14T18:46:35Z)
• About optimal loss function for training physics-informed neural networks under respecting causality [0.0]
  物理インフォームドニューラルネットワーク(PINN)手法に修正問題を用いることの利点は、微分方程式に関連付けられた単一の項の形で損失関数を表現できることである。 提案手法の精度を実証し,多くの問題に対して数値実験を行った。
  論文  参考訳（メタデータ） (2023-04-05T08:10:40Z)
• Symbolic Recovery of Differential Equations: The Identifiability Problem [52.158782751264205]
  微分方程式の記号的回復は、支配方程式の導出を自動化する野心的な試みである。 関数が対応する微分方程式を一意に決定するために必要な条件と十分な条件の両方を提供する。 この結果を用いて、関数が微分方程式を一意に解くかどうかを判定する数値アルゴリズムを考案する。
  論文  参考訳（メタデータ） (2022-10-15T17:32:49Z)
• Physics Informed RNN-DCT Networks for Time-Dependent Partial Differential Equations [62.81701992551728]
  時間依存偏微分方程式を解くための物理インフォームド・フレームワークを提案する。 我々のモデルは離散コサイン変換を用いて空間的および反復的なニューラルネットワークを符号化する。 ナヴィエ・ストークス方程式に対するテイラー・グリーン渦解の実験結果を示す。
  論文  参考訳（メタデータ） (2022-02-24T20:46:52Z)
• Conditional physics informed neural networks [85.48030573849712]
  固有値問題のクラス解を推定するための条件付きPINN(物理情報ニューラルネットワーク)を紹介します。 一つのディープニューラルネットワークが、問題全体に対する偏微分方程式の解を学習できることが示される。
  論文  参考訳（メタデータ） (2021-04-06T18:29:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。