論文の概要: Astral: training physics-informed neural networks with error majorants
- arxiv url: http://arxiv.org/abs/2406.02645v1
- Date: Tue, 4 Jun 2024 13:11:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 23:19:06.904702
- Title: Astral: training physics-informed neural networks with error majorants
- Title（参考訳）: Astral: エラーメジャートを用いた物理インフォームドニューラルネットワークのトレーニング
- Authors: Vladimir Fanaskov, Tianchi Yu, Alexander Rudikov, Ivan Oseledets,
- Abstract要約: 我々は、残差は、少なくとも、近似解の誤差の間接測度であると主張する。
エラーメジャートはエラーの直接上限を与えるので、正確な解にどれだけ近いかを確実に推定することができる。
- 参考スコア（独自算出の注目度）: 45.24347017854392
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The primal approach to physics-informed learning is a residual minimization. We argue that residual is, at best, an indirect measure of the error of approximate solution and propose to train with error majorant instead. Since error majorant provides a direct upper bound on error, one can reliably estimate how close PiNN is to the exact solution and stop the optimization process when the desired accuracy is reached. We call loss function associated with error majorant $\textbf{Astral}$: neur$\textbf{A}$l a po$\textbf{ST}$erio$\textbf{RI}$ function$\textbf{A}$l Loss. To compare Astral and residual loss functions, we illustrate how error majorants can be derived for various PDEs and conduct experiments with diffusion equations (including anisotropic and in the L-shaped domain), convection-diffusion equation, temporal discretization of Maxwell's equation, and magnetostatics problem. The results indicate that Astral loss is competitive to the residual loss, typically leading to faster convergence and lower error (e.g., for Maxwell's equations, we observe an order of magnitude better relative error and training time). We also report that the error estimate obtained with Astral loss is usually tight enough to be informative, e.g., for a highly anisotropic equation, on average, Astral overestimates error by a factor of $1.5$, and for convection-diffusion by a factor of $1.7$.
- Abstract（参考訳）: 物理インフォームドラーニングの基本的なアプローチは、残余の最小化である。
我々は、残差は、せいぜい、近似解の誤差の間接測度であり、代わりに誤差メジャーで訓練することを提案する。
エラーメジャートはエラーの直接上限を与えるので、正確な解にどれだけ近いかを確実に推定し、所望の精度に達すると最適化プロセスを止めることができる。
エラーメジャーな $\textbf{Astral}$: neur$\textbf{A}$l a po$\textbf{ST}$erio$\textbf{RI}$ function$\textbf{A}$l Loss と関連する損失関数を呼び出します。
アストラルと残留損失関数を比較するために、様々なPDEに対して誤差行列を導出し、拡散方程式(異方性やL字型領域を含む)、対流拡散方程式、マクスウェル方程式の時間的離散化、静磁場問題を用いて実験する方法について説明する。
その結果、アストラル損失は残留損失と競合し、典型的にはより高速な収束と低い誤差をもたらす(例えばマクスウェルの方程式では、より優れた相対誤差と訓練時間のオーダーが観察される)。
また, アストラル損失による誤差推定は, 平均1.5ドルで誤差を過大評価し, 対流拡散を1.7ドルで行うと, 高い異方性方程式に対して, 情報伝達に十分なほど厳密であることも報告した。
関連論文リスト
- Trotter error time scaling separation via commutant decomposition [6.418044102466421]
動的量子シミュレーションにおけるトロッター誤差の抑制は通常、より深い回路を走らせる必要がある。
時間とともに基本的に異なるスケーリングを持つ不整合誤差成分を分離する可換分解の一般的なフレームワークを導入する。
この定式化は, 従来の結果を直接再現するだけでなく, 高次積公式の誤差推定にも有効であることを示す。
論文 参考訳（メタデータ） (2024-09-25T05:25:50Z) - Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - Loss Spike in Training Neural Networks [9.848777377317901]
ニューラルネットワークトレーニング中に観察される損失スパイクのメカニズムについて検討する。
周波数の観点からは、損失の急激な降下は、主に低周波成分の影響を受けていると説明する。
我々は損失スパイクが凝縮を促進することを実験的に観察し、入力重みは同じ方向に進化する。
論文 参考訳（メタデータ） (2023-05-20T07:57:15Z) - Neural Inference of Gaussian Processes for Time Series Data of Quasars [72.79083473275742]
クエーサースペクトルを完全に記述できる新しいモデルを提案する。
また、$textitNeural Inference$というガウス的プロセスパラメータの推論の新しいメソッドも導入しています。
CDRWモデルとNeural Inferenceの組み合わせはベースラインのDRWとMLEを大きく上回っている。
論文 参考訳（メタデータ） (2022-11-17T13:01:26Z) - Physics-Informed Neural Network Method for Parabolic Differential
Equations with Sharply Perturbed Initial Conditions [68.8204255655161]
急激な摂動初期条件を持つパラボラ問題に対する物理インフォームドニューラルネットワーク(PINN)モデルを開発した。
ADE解の局所的な大きな勾配は(PINNでよく見られる)ラテンハイパーキューブで方程式の残余の高効率なサンプリングを行う。
本稿では,他の方法により選択した量よりも精度の高いPINNソリューションを生成する損失関数における重みの基準を提案する。
論文 参考訳（メタデータ） (2022-08-18T05:00:24Z) - Is $L^2$ Physics-Informed Loss Always Suitable for Training
Physics-Informed Neural Network? [28.458641579364457]
L2$ Physics-Informed Lossは、物理インフォームドニューラルネットワークのトレーニングにおけるデファクトスタンダードである。
我々は,HJB方程式に対する$Linfty$損失を最小限に抑える新しいPINNトレーニングを開発する。
論文 参考訳（メタデータ） (2022-06-04T15:48:17Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - $\sigma^2$R Loss: a Weighted Loss by Multiplicative Factors using
Sigmoidal Functions [0.9569316316728905]
我々は,二乗還元損失(sigma2$R損失)と呼ばれる新たな損失関数を導入する。
我々の損失は明らかな直観と幾何学的解釈を持ち、我々の提案の有効性を実験によって実証する。
論文 参考訳（メタデータ） (2020-09-18T12:34:40Z) - Large-time asymptotics in deep learning [0.0]
トレーニングにおける最終時間の$T$(対応するResNetの深さを示す可能性がある)の影響について検討する。
古典的な$L2$-正規化経験的リスク最小化問題に対して、トレーニングエラーが$mathcalOleft(frac1Tright)$のほとんどであることを示す。
$ellp$-距離損失の設定において、トレーニングエラーと最適パラメータの両方が$mathcalOleft(e-mu)の順序のほとんどであることを示す。
論文 参考訳（メタデータ） (2020-08-06T07:33:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。