論文の概要: Uncertainty Quantification for Sparse Deep Learning

• arxiv url: http://arxiv.org/abs/2002.11815v2
• Date: Sun, 12 Jul 2020 23:57:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 15:46:30.599145
• Title: Uncertainty Quantification for Sparse Deep Learning
• Title（参考訳）: スパース深層学習における不確かさの定量化
• Authors: Yuexi Wang, Veronika Ro\v{c}kov\'a
• Abstract要約: 非パラメトリック回帰におけるスパース深部ReLUアーキテクチャの後方分布の特定の側面の近似性について検討した。 線形および二次汎函数に対する半パラメトリックベルンシュタイン・ヴォン・ミーゼス定理(英語版)を提供する。 本研究では,ReLUアクティベーション関数を用いた(ベイジアン)深層学習に対する新しい理論的正当性を提供し,その推論可能性を強調した。
• 参考スコア（独自算出の注目度）: 0.9137554315375922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning methods continue to have a decided impact on machine learning, both in theory and in practice. Statistical theoretical developments have been mostly concerned with approximability or rates of estimation when recovering infinite dimensional objects (curves or densities). Despite the impressive array of available theoretical results, the literature has been largely silent about uncertainty quantification for deep learning. This paper takes a step forward in this important direction by taking a Bayesian point of view. We study Gaussian approximability of certain aspects of posterior distributions of sparse deep ReLU architectures in non-parametric regression. Building on tools from Bayesian non-parametrics, we provide semi-parametric Bernstein-von Mises theorems for linear and quadratic functionals, which guarantee that implied Bayesian credible regions have valid frequentist coverage. Our results provide new theoretical justifications for (Bayesian) deep learning with ReLU activation functions, highlighting their inferential potential.
• Abstract（参考訳）: ディープラーニングの手法は、理論的にも実際にも、機械学習に決定的な影響を与え続けている。 統計理論の発展は、無限次元の物体(曲線や密度)を復元する際の近似可能性や推定率に大きく関係している。 利用可能な理論結果の素晴らしい配列にもかかわらず、この文献は深層学習のための不確実な定量化についてほとんど沈黙している。 本稿では,ベイズ的視点から,この重要な方向への一歩を踏み出す。 非パラメトリック回帰におけるスパース深部ReLUアーキテクチャの後方分布の特定の側面のガウス近似性について検討した。 ベイズ非パラメトリックなツールを基に、半パラメトリックなベルンシュタイン・ヴォン・ミセスの定理を線型および二次汎函数に対して提供し、ベイズ信頼領域が有効に頻繁な被覆を持つことを保証する。 本研究では,ReLUアクティベーション関数を用いた(ベイジアン)深層学習に対する新しい理論的正当性を提供し,その推論可能性を強調した。

関連論文リスト

• Understanding Forgetting in Continual Learning with Linear Regression [21.8755265936716]
  連続的な学習は、複数のタスクを逐次学習することに焦点を当てており、近年大きな注目を集めている。 線形回帰モデルにおいて, 線形回帰モデルをグラディエント・ディッセンス(Gradient Descent)を用いて, 忘れることの一般的な理論的解析を行う。 十分なデータサイズを考慮に入れれば、集団データ共分散行列の固有値が大きいタスクが後で訓練されるようなシーケンス内のタスクの配置は、忘れが増す傾向にあることを実証する。
  論文  参考訳（メタデータ） (2024-05-27T18:33:37Z)
• Uncertainty Quantification for Forward and Inverse Problems of PDEs via Latent Global Evolution [110.99891169486366]
  本稿では,効率的かつ高精度な不確実性定量化を深層学習に基づく代理モデルに統合する手法を提案する。 本手法は,フォワード問題と逆問題の両方に対して,堅牢かつ効率的な不確実性定量化機能を備えたディープラーニングに基づく代理モデルを提案する。 提案手法は, 長期予測を含むシナリオに適合し, 拡張された自己回帰ロールアウトに対する不確かさの伝播に優れる。
  論文  参考訳（メタデータ） (2024-02-13T11:22:59Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Learning Active Subspaces for Effective and Scalable Uncertainty Quantification in Deep Neural Networks [13.388835540131508]
  本稿では,ニューラルネットワークパラメータの低次元部分空間を構築するための新しい手法を提案する。 その結果, 有効かつスケーラブルなベイズ推定が可能であることを実証した。 提案手法は, 各種回帰タスクに対して, 頑健な不確実性推定を伴う信頼性予測を提供する。
  論文  参考訳（メタデータ） (2023-09-06T15:00:36Z)
• Neural State-Space Models: Empirical Evaluation of Uncertainty Quantification [0.0]
  本稿では,ニューラル状態空間モデルを用いたシステム同定のための不確実性定量化に関する予備的結果を示す。 ベイズ確率的設定で学習問題をフレーム化し、ニューラルネットワークの重みと出力の後方分布を求める。 後部に基づいて,出力の信頼区間を構築し,潜在的に危険なアウト・オブ・ディストリビューション体制下でモデルの使用を効果的に診断できるサプライズ指標を定義する。
  論文  参考訳（メタデータ） (2023-04-13T08:57:33Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
  量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。 我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。 我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
  論文  参考訳（メタデータ） (2021-06-10T06:11:55Z)
• Efficient Variational Inference for Sparse Deep Learning with Theoretical Guarantee [20.294908538266867]
  スパースディープラーニングは、ディープニューラルネットワークによる巨大なストレージ消費の課題に対処することを目的としている。 本稿では,スパイク・アンド・スラブ前処理による完全ベイズ処理により,疎いディープニューラルネットワークを訓練する。 我々はベルヌーイ分布の連続緩和による計算効率の良い変分推論のセットを開発する。
  論文  参考訳（メタデータ） (2020-11-15T03:27:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。