論文の概要: Learning Active Subspaces for Effective and Scalable Uncertainty Quantification in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2309.03061v1
• Date: Wed, 6 Sep 2023 15:00:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 15:05:52.514436
• Title: Learning Active Subspaces for Effective and Scalable Uncertainty Quantification in Deep Neural Networks
• Title（参考訳）: 深層ニューラルネットワークにおける有効でスケーラブルな不確実性定量化のための能動部分空間の学習
• Authors: Sanket Jantre, Nathan M. Urban, Xiaoning Qian, Byung-Jun Yoon
• Abstract要約: 本稿では,ニューラルネットワークパラメータの低次元部分空間を構築するための新しい手法を提案する。 その結果, 有効かつスケーラブルなベイズ推定が可能であることを実証した。 提案手法は, 各種回帰タスクに対して, 頑健な不確実性推定を伴う信頼性予測を提供する。
• 参考スコア（独自算出の注目度）: 13.388835540131508
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian inference for neural networks, or Bayesian deep learning, has the potential to provide well-calibrated predictions with quantified uncertainty and robustness. However, the main hurdle for Bayesian deep learning is its computational complexity due to the high dimensionality of the parameter space. In this work, we propose a novel scheme that addresses this limitation by constructing a low-dimensional subspace of the neural network parameters-referred to as an active subspace-by identifying the parameter directions that have the most significant influence on the output of the neural network. We demonstrate that the significantly reduced active subspace enables effective and scalable Bayesian inference via either Monte Carlo (MC) sampling methods, otherwise computationally intractable, or variational inference. Empirically, our approach provides reliable predictions with robust uncertainty estimates for various regression tasks.
• Abstract（参考訳）: ニューラルネットワークに対するベイジアン推論(ベイジアンディープラーニング)は、定量化された不確実性と堅牢性を備えたよく校正された予測を提供する可能性がある。 しかし、ベイズ深層学習の主なハードルは、パラメータ空間の高次元性に起因する計算の複雑さである。 本研究では,ニューラルネットワークの出力に最も大きな影響を与えるパラメータ方向を同定することにより,ニューラルネットワークパラメータの低次元部分空間を活性部分空間として参照することで,この制限に対処する新しい手法を提案する。 本研究では, 有効かつスケーラブルなベイズ推定をモンテカルロ(MC)サンプリング法, さもなくば計算に難渋する, あるいは変分推論によって実現することを示す。 実験的に,本手法は様々な回帰タスクに対して確実な不確実性推定を伴う信頼性予測を提供する。

関連論文リスト

• Tractable Function-Space Variational Inference in Bayesian Neural Networks [72.97620734290139]
  ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。 本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。 提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-28T18:33:26Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Bayesian deep learning framework for uncertainty quantification in high dimensions [6.282068591820945]
  我々はベイズニューラルネットワーク(BNN)とハミルトンモンテカルロ(HMC)に基づく偏微分方程式の不確実性定量化のための新しい深層学習法を開発した。 BNNは、ネットワークパラメータに対してベイズ推論を行うことにより、ディープニューラルネットワークにおけるパラメータの後方分布を効率的に学習する。 後部分布は、HMCを用いて効率よくサンプリングされ、システムの不確かさを定量化する。
  論文  参考訳（メタデータ） (2022-10-21T05:20:06Z)
• Efficient Bayes Inference in Neural Networks through Adaptive Importance Sampling [19.518237361775533]
  BNNでは、トレーニング段階で、未知の重みとバイアスパラメータの完全な後部分布が生成される。 この機能は、数え切れないほどの機械学習アプリケーションに役立ちます。 医療医療や自動運転など、意思決定に重大な影響を及ぼす分野において特に魅力的である。
  論文  参考訳（メタデータ） (2022-10-03T14:59:23Z)
• Variational Bayes Deep Operator Network: A data-driven Bayesian solver for parametric differential equations [0.0]
  演算子学習のための変分ベイズDeepONet(VB-DeepONet)を提案する。 VB-DeepONetは、高次元後部分布を考慮した変分推論を用いる。
  論文  参考訳（メタデータ） (2022-06-12T04:20:11Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Efficient Variational Inference for Sparse Deep Learning with Theoretical Guarantee [20.294908538266867]
  スパースディープラーニングは、ディープニューラルネットワークによる巨大なストレージ消費の課題に対処することを目的としている。 本稿では,スパイク・アンド・スラブ前処理による完全ベイズ処理により,疎いディープニューラルネットワークを訓練する。 我々はベルヌーイ分布の連続緩和による計算効率の良い変分推論のセットを開発する。
  論文  参考訳（メタデータ） (2020-11-15T03:27:54Z)
• Ramifications of Approximate Posterior Inference for Bayesian Deep Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
  ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。 予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
  論文  参考訳（メタデータ） (2020-09-03T16:58:15Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。