論文の概要: Robust Modeling of Unknown Dynamical Systems via Ensemble Averaged Learning

• arxiv url: http://arxiv.org/abs/2203.03458v1
• Date: Mon, 7 Mar 2022 15:17:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 15:57:32.247928
• Title: Robust Modeling of Unknown Dynamical Systems via Ensemble Averaged Learning
• Title（参考訳）: アンサンブル平均学習による未知力学系のロバストモデリング
• Authors: Victor Churchill, Steve Manns, Zhen Chen, Dongbin Xiu
• Abstract要約: 最近の研究は、ディープニューラルネットワーク(DNN)による未知のシステムの進化に関するデータ駆動学習に焦点を当てている。 本稿では,一般化誤差の分散を低減する計算手法を提案する。
• 参考スコア（独自算出の注目度）: 2.523610673302386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has focused on data-driven learning of the evolution of unknown systems via deep neural networks (DNNs), with the goal of conducting long time prediction of the evolution of the unknown system. Training a DNN with low generalization error is a particularly important task in this case as error is accumulated over time. Because of the inherent randomness in DNN training, chiefly in stochastic optimization, there is uncertainty in the resulting prediction, and therefore in the generalization error. Hence, the generalization error can be viewed as a random variable with some probability distribution. Well-trained DNNs, particularly those with many hyperparameters, typically result in probability distributions for generalization error with low bias but high variance. High variance causes variability and unpredictably in the results of a trained DNN. This paper presents a computational technique which decreases the variance of the generalization error, thereby improving the reliability of the DNN model to generalize consistently. In the proposed ensemble averaging method, multiple models are independently trained and model predictions are averaged at each time step. A mathematical foundation for the method is presented, including results regarding the distribution of the local truncation error. In addition, three time-dependent differential equation problems are considered as numerical examples, demonstrating the effectiveness of the method to decrease variance of DNN predictions generally.
• Abstract（参考訳）: 近年の研究では、ディープニューラルネットワーク(dnn)による未知システムの進化に関するデータ駆動学習に重点を置いており、未知システムの進化の長期予測を目標としている。 一般化誤差の低いDNNのトレーニングは、時間とともにエラーが蓄積されるため、特に重要なタスクである。 DNNトレーニングにおける固有ランダム性(主に確率的最適化)のため、結果の予測には不確実性があり、したがって一般化誤差がある。 したがって、一般化誤差は確率分布のある確率変数と見なすことができる。 良く訓練されたDNN、特に多くのハイパーパラメータを持つものは、一般にバイアスが低いがばらつきが高い一般化誤差の確率分布をもたらす。 高いばらつきは、訓練されたDNNの結果において変動を引き起こす。 本稿では,一般化誤差の分散を低減し,DNNモデルの信頼性を改善して一貫した一般化を行う計算手法を提案する。 提案するアンサンブル平均化法では,複数のモデルを独立に訓練し,各タイミングでモデル予測を行う。 局所的切断誤差の分布に関する結果を含む, この手法の数学的基礎を提示する。 さらに,3つの時間依存微分方程式問題を数値例として考察し,DNN予測のばらつきを抑える手法の有効性を示す。

関連論文リスト

• Generalization of Graph Neural Networks is Robust to Model Mismatch [84.01980526069075]
  グラフニューラルネットワーク(GNN)は、その一般化能力によってサポートされている様々なタスクにおいて、その効果を実証している。 本稿では,多様体モデルから生成される幾何グラフで動作するGNNについて検討する。 本稿では,そのようなモデルミスマッチの存在下でのGNN一般化の堅牢性を明らかにする。
  論文  参考訳（メタデータ） (2024-08-25T16:00:44Z)
• Deep Limit Model-free Prediction in Regression [0.0]
  本稿では,DNN(Deep Neural Network)に基づくモデルフリーアプローチにより,一般的な回帰条件下での点予測と予測間隔を実現する。 提案手法は,特に最適点予測において,他のDNN法に比べて安定かつ正確である。
  論文  参考訳（メタデータ） (2024-08-18T16:37:53Z)
• Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
  本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。 本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。 本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
  論文  参考訳（メタデータ） (2024-02-18T07:49:22Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Memorizing without overfitting: Bias, variance, and interpolation in over-parameterized models [0.0]
  バイアス分散トレードオフは教師あり学習における中心的な概念である。 現代のDeep Learningメソッドは、最先端のパフォーマンスを達成するために、このドグマを浮かび上がらせる。
  論文  参考訳（メタデータ） (2020-10-26T22:31:04Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Rethinking Bias-Variance Trade-off for Generalization of Neural Networks [40.04927952870877]
  ニューラルネットワークのバイアスとばらつきを測定することで、これに対する簡単な説明を提供する。 分散一様性は、考慮したすべてのモデルに対して頑健に起こる。 より深いモデルはバイアスを減らし、分布内および分布外データのばらつきを増加させる。
  論文  参考訳（メタデータ） (2020-02-26T07:21:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。