論文の概要: Error Estimation and Correction from within Neural Network Differential
Equation Solvers
- arxiv url: http://arxiv.org/abs/2007.04433v2
- Date: Thu, 18 Nov 2021 17:41:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 05:27:40.091853
- Title: Error Estimation and Correction from within Neural Network Differential
Equation Solvers
- Title(参考訳): ニューラルネットワーク微分方程式解法における誤差推定と補正
- Authors: Akshunna S. Dogra
- Abstract要約: 本稿では,ニューラルネットワーク微分方程式解法における誤差推定と補正の戦略について述べる。
提案手法では, 真の解の事前知識を必要とせず, 損失関数と解推定に伴う誤差との明確な関係を求める。
- 参考スコア(独自算出の注目度): 3.04585143845864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Network Differential Equation (NN DE) solvers have surged in
popularity due to a combination of factors: computational advances making their
optimization more tractable, their capacity to handle high dimensional
problems, easy interpret-ability of their models, etc. However, almost all NN
DE solvers suffer from a fundamental limitation: they are trained using loss
functions that depend only implicitly on the error associated with the
estimate. As such, validation and error analysis of solution estimates requires
knowledge of the true solution. Indeed, if the true solution is unknown, we are
often reduced to simply hoping that a "low enough" loss implies "small enough"
errors, since explicit relationships between the two are not available/well
defined. In this work, we describe a general strategy for efficiently
constructing error estimates and corrections for Neural Network Differential
Equation solvers. Our methods do not require advance knowledge of the true
solutions and obtain explicit relationships between loss functions and the
error associated with solution estimates. In turn, these explicit relationships
directly allow us to estimate and correct for the errors.
- Abstract(参考訳): ニューラルネットワーク微分方程式(NN DE)の解法は、最適化をより容易にする計算の進歩、高次元問題に対処する能力、モデルの解釈容易性など、様々な要因が組み合わさって人気が高まっている。
しかし、ほとんど全ての nn de ソルバは基本的な制限に苦しめられている:それらは見積もりに関連するエラーに暗黙的にのみ依存する損失関数を使って訓練される。
したがって、ソリューション推定の検証とエラー分析は、真のソリューションの知識を必要とする。
実際、真の解が不明な場合、我々は単に「十分低い」損失が「十分小さい」エラーを意味することを願うだけに縮小される。
本稿では,ニューラルネットワーク微分方程式解法における誤差推定と補正を効率的に構築するための一般的な戦略について述べる。
提案手法では, 真の解の事前知識を必要とせず, 損失関数と解推定に伴う誤差との明確な関係を求める。
逆に、これらの明示的な関係は、直接エラーを見積もり、修正することができます。
関連論文リスト
- About optimal loss function for training physics-informed neural
networks under respecting causality [0.0]
物理インフォームドニューラルネットワーク(PINN)手法に修正問題を用いることの利点は、微分方程式に関連付けられた単一の項の形で損失関数を表現できることである。
提案手法の精度を実証し,多くの問題に対して数値実験を行った。
論文 参考訳(メタデータ) (2023-04-05T08:10:40Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳(メタデータ) (2023-02-28T00:04:22Z) - Evaluating Error Bound for Physics-Informed Neural Networks on Linear
Dynamical Systems [1.2891210250935146]
本稿では、微分方程式の線形系のクラスで訓練された物理インフォームドニューラルネットワークに対して、数学的に明示的な誤差境界を導出できることを示す。
我々の研究は、損失関数として知られ、使われているネットワーク残基と、一般には知られていない解の絶対誤差とのリンクを示す。
論文 参考訳(メタデータ) (2022-07-03T20:23:43Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳(メタデータ) (2021-10-21T07:28:11Z) - Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。
グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。
実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。
ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。
分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
論文 参考訳(メタデータ) (2021-10-20T14:23:54Z) - Learning through atypical ''phase transitions'' in overparameterized
neural networks [0.43496401697112685]
現在のディープニューラルネットワークは可観測性が高く(最大数十億の接続重み)、非線形である。
しかし、過剰な降下アルゴリズムによってほぼ完全にデータに適合し、予期せぬ精度の予測を達成できる。
これらは一般化なしの恐ろしい挑戦である。
論文 参考訳(メタデータ) (2021-10-01T23:28:07Z) - Instance-optimality in optimal value estimation: Adaptivity via
variance-reduced Q-learning [99.34907092347733]
本稿では,マルコフ決定過程における最適な$Q$値関数を離散状態と動作で推定する問題を解析する。
局所的なミニマックスフレームワークを用いて、この関数は任意の推定手順の精度の低い境界に現れることを示す。
他方,Q$ラーニングの分散還元版を解析することにより,状態と行動空間の対数的要因まで,下位境界のシャープさを確立する。
論文 参考訳(メタデータ) (2021-06-28T00:38:54Z) - A Theoretical-Empirical Approach to Estimating Sample Complexity of DNNs [11.152761263415046]
本稿では,深層ニューラルネットワーク(DNN)のトレーニングデータ量と一般化誤差のスケールについて考察する。
我々は、ディープネットワークに保持され、到達不能な容量尺度に依存しない一般化誤差の推定を導出する。
論文 参考訳(メタデータ) (2021-05-05T05:14:08Z) - Conditional physics informed neural networks [85.48030573849712]
固有値問題のクラス解を推定するための条件付きPINN(物理情報ニューラルネットワーク)を紹介します。
一つのディープニューラルネットワークが、問題全体に対する偏微分方程式の解を学習できることが示される。
論文 参考訳(メタデータ) (2021-04-06T18:29:14Z) - Local error quantification for Neural Network Differential Equation
solvers [6.09170287691728]
NN DEソルバをより正確かつ効率的にする手法を開発した。
本手法は,NNDEの精度の高い予測誤差をポイントワイズで推定する手法によって実現される。
非線形システムとカオスシステムでテストすることで,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-08-24T08:22:58Z) - Neural Control Variates [71.42768823631918]
ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。
理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。
具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
論文 参考訳(メタデータ) (2020-06-02T11:17:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。