論文の概要: SDE-Net: Equipping Deep Neural Networks with Uncertainty Estimates

• arxiv url: http://arxiv.org/abs/2008.10546v1
• Date: Mon, 24 Aug 2020 16:33:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 08:57:39.488178
• Title: SDE-Net: Equipping Deep Neural Networks with Uncertainty Estimates
• Title（参考訳）: sde-net: ディープニューラルネットワークと不確実性推定
• Authors: Lingkai Kong, Jimeng Sun and Chao Zhang
• Abstract要約: 不確かさの定量化は、ディープラーニングの根本的かつ未解決な問題である。 ベイズフレームワークは不確実性推定の原則的方法を提供するが、現代のディープニューラルネット(DNN)には拡張性がないことが多い 動的システムの観点からDNNの不確かさを定量化する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 45.43024126674237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty quantification is a fundamental yet unsolved problem for deep learning. The Bayesian framework provides a principled way of uncertainty estimation but is often not scalable to modern deep neural nets (DNNs) that have a large number of parameters. Non-Bayesian methods are simple to implement but often conflate different sources of uncertainties and require huge computing resources. We propose a new method for quantifying uncertainties of DNNs from a dynamical system perspective. The core of our method is to view DNN transformations as state evolution of a stochastic dynamical system and introduce a Brownian motion term for capturing epistemic uncertainty. Based on this perspective, we propose a neural stochastic differential equation model (SDE-Net) which consists of (1) a drift net that controls the system to fit the predictive function; and (2) a diffusion net that captures epistemic uncertainty. We theoretically analyze the existence and uniqueness of the solution to SDE-Net. Our experiments demonstrate that the SDE-Net model can outperform existing uncertainty estimation methods across a series of tasks where uncertainty plays a fundamental role.
• Abstract（参考訳）: 不確かさの定量化は、ディープラーニングの根本的かつ未解決な問題である。 ベイズフレームワークは、原則化された不確実性推定方法を提供するが、多くのパラメータを持つ現代のディープニューラルネットワーク(DNN)にはスケーラビリティがないことが多い。 非ベイズ的手法は実装が簡単であるが、しばしば異なる不確実性の源を詳述し、膨大な計算資源を必要とする。 動的システムの観点からDNNの不確かさを定量化する新しい手法を提案する。 本手法の中核は,DNN変換を確率的力学系の状態進化とみなし,その状態変化を認識できるブラウン運動項を導入することである。 そこで本研究では,(1)システムが予測関数に適合するように制御するドリフトネット,(2)認識の不確かさを捉える拡散ネットからなる,神経確率微分方程式モデル(sde-net)を提案する。 SDE-Net に対する解の存在と特異性について理論的に解析する。 実験により,SDE-Netモデルは,不確実性が基本的役割を果たす一連のタスクにおいて,既存の不確実性推定手法よりも優れていることを示した。

関連論文リスト

• Uncertainty Quantification for Forward and Inverse Problems of PDEs via Latent Global Evolution [110.99891169486366]
  本稿では,効率的かつ高精度な不確実性定量化を深層学習に基づく代理モデルに統合する手法を提案する。 本手法は,フォワード問題と逆問題の両方に対して,堅牢かつ効率的な不確実性定量化機能を備えたディープラーニングに基づく代理モデルを提案する。 提案手法は, 長期予測を含むシナリオに適合し, 拡張された自己回帰ロールアウトに対する不確かさの伝播に優れる。
  論文  参考訳（メタデータ） (2024-02-13T11:22:59Z)
• Neural State-Space Models: Empirical Evaluation of Uncertainty Quantification [0.0]
  本稿では,ニューラル状態空間モデルを用いたシステム同定のための不確実性定量化に関する予備的結果を示す。 ベイズ確率的設定で学習問題をフレーム化し、ニューラルネットワークの重みと出力の後方分布を求める。 後部に基づいて,出力の信頼区間を構築し,潜在的に危険なアウト・オブ・ディストリビューション体制下でモデルの使用を効果的に診断できるサプライズ指標を定義する。
  論文  参考訳（メタデータ） (2023-04-13T08:57:33Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Accurate and Reliable Forecasting using Stochastic Differential Equations [48.21369419647511]
  ディープラーニングモデルにとって、現実世界の環境に浸透する不確実性を適切に特徴付けることは、非常に困難である。 本論文では,HNNの予測平均と分散の相互作用を特徴づけるSDE-HNNを開発した。 本手法は,予測性能と不確実性定量化の両方の観点から,最先端のベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-03-28T04:18:11Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• Probabilistic solution of chaotic dynamical system inverse problems using Bayesian Artificial Neural Networks [0.0]
  カオスシステムの逆問題は数値的に困難である。 モデルパラメータの小さな摂動は、推定された前方軌道において非常に大きな変化を引き起こす可能性がある。 ビザレニューラルネットワークは、モデルに同時に適合し、モデルのパラメータの不確実性を推定するために使用することができる。
  論文  参考訳（メタデータ） (2020-05-26T20:35:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。