論文の概要: Uncertainty Quantification for Large-Scale Deep Networks via Post-StoNet Modeling

• arxiv url: http://arxiv.org/abs/2508.01217v1
• Date: Sat, 02 Aug 2025 06:19:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.764686
• Title: Uncertainty Quantification for Large-Scale Deep Networks via Post-StoNet Modeling
• Title（参考訳）: ポストストトネットモデリングによる大規模深層ネットワークの不確かさの定量化
• Authors: Yan Sun, Faming Liang,
• Abstract要約: 深層ニューラルネットワーク(DNN)からの予測の不確実性を定量化する新しい後処理手法を提案する。 このアプローチは、事前学習された大規模モデルからニューラルネットワークパラメータ(StoNet)に出力する。 提案手法はコンフォメーション法と比較して短い区間長で忠実な信頼区間を構築することができることを示す。
• 参考スコア（独自算出の注目度）: 10.158931392545618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has revolutionized modern data science. However, how to accurately quantify the uncertainty of predictions from large-scale deep neural networks (DNNs) remains an unresolved issue. To address this issue, we introduce a novel post-processing approach. This approach feeds the output from the last hidden layer of a pre-trained large-scale DNN model into a stochastic neural network (StoNet), then trains the StoNet with a sparse penalty on a validation dataset and constructs prediction intervals for future observations. We establish a theoretical guarantee for the validity of this approach; in particular, the parameter estimation consistency for the sparse StoNet is essential for the success of this approach. Comprehensive experiments demonstrate that the proposed approach can construct honest confidence intervals with shorter interval lengths compared to conformal methods and achieves better calibration compared to other post-hoc calibration techniques. Additionally, we show that the StoNet formulation provides us with a platform to adapt sparse learning theory and methods from linear models to DNNs.
• Abstract（参考訳）: ディープラーニングは現代のデータ科学に革命をもたらした。 しかし、大規模なディープニューラルネットワーク(DNN)からの予測の不確実性を正確に定量化する方法は、未解決の問題のままである。 この問題に対処するために,我々は新しいポストプロセッシング手法を導入する。 このアプローチは、事前訓練された大規模DNNモデルの最後の隠れ層から確率的ニューラルネットワーク(StoNet)に出力し、検証データセット上でスパースペナルティでStoNetをトレーニングし、将来の観測のための予測間隔を構築する。 我々は,本手法の有効性に関する理論的保証を確立する。特に,StoNetのパラメータ推定一貫性は,本手法の成功に不可欠である。 包括的実験により,提案手法はコンホメーション法と比較して短い区間長で忠実な信頼区間を構築することができ,他のポストホック校正法と比較して校正性が向上することを示した。 さらに、StoNetの定式化により、線形モデルからDNNへのスパース学習理論と手法を適応するプラットフォームが提供されることを示す。

関連論文リスト

• Fixed-Mean Gaussian Processes for Post-hoc Bayesian Deep Learning [11.22428369342346]
  普遍カーネルを用いた場合、後続平均を任意の連続関数に固定する、スパース変分ガウス過程(GP)の新たなファミリを導入する。 具体的には、このGPの平均値を事前学習したDNNの出力に固定し、GPの予測分散を効果的に適合させて予測の不確かさを推定する。 実験の結果,FMGPは最先端手法と比較して不確実性評価と計算効率を両立させることがわかった。
  論文  参考訳（メタデータ） (2024-12-05T14:17:16Z)
• Positional Encoder Graph Quantile Neural Networks for Geographic Data [4.277516034244117]
  本稿では,PE-GNNと量子ニューラルネットワーク,部分的に単調なニューラルブロック,ポストホックリカレーション技術を組み合わせた新しいフレームワークを提案する。 PE-GQNNは、ターゲット分布に関する最小の仮定で柔軟で堅牢な条件密度推定を可能にし、空間データを超えたタスクに自然に拡張する。
  論文  参考訳（メタデータ） (2024-09-27T16:02:12Z)
• Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
  大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。 この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
  論文  参考訳（メタデータ） (2024-04-29T23:38:58Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
  変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。 本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。 効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
  論文  参考訳（メタデータ） (2023-02-24T10:32:30Z)
• Confidence-Nets: A Step Towards better Prediction Intervals for regression Neural Networks on small datasets [0.0]
  そこで本研究では,予測の不確かさを推定し,精度を向上し,予測変動の間隔を与えるアンサンブル手法を提案する。 提案手法は様々なデータセットで検証され,ニューラルネットワークモデルの性能が大幅に向上した。
  論文  参考訳（メタデータ） (2022-10-31T06:38:40Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Consistent Sparse Deep Learning: Theory and Computation [11.24471623055182]
  スパース深層学習ネットワーク(DNN)を学習するための頻繁な方法を提案する。 提案手法は大規模ネットワーク圧縮や高次元非線形変数選択に非常に有効である。
  論文  参考訳（メタデータ） (2021-02-25T23:31:24Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。