論文の概要: Uncertainty Quantification with the Empirical Neural Tangent Kernel

• arxiv url: http://arxiv.org/abs/2502.02870v1
• Date: Wed, 05 Feb 2025 04:01:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:28:51.371428
• Title: Uncertainty Quantification with the Empirical Neural Tangent Kernel
• Title（参考訳）: 経験的ニューラルタンジェントカーネルによる不確かさの定量化
• Authors: Joseph Wilson, Chris van der Heide, Liam Hodgkinson, Fred Roosta,
• Abstract要約: トレーニング終了時のオーバーパラメータ化ネットワークに対するポストホックサンプリングに基づくUQ手法を提案する。 実験的なニューラルタンジェントカーネルを用いて,ガウス過程の後部を効果的に近似することを示した。 提案手法は, 計算効率の競合するアプローチ(多くの場合, 複数の要因によるコスト削減)に勝るだけでなく, 回帰処理と分類処理の両方において, 様々なUQ指標の最先端性能も維持できることを示す。
• 参考スコア（独自算出の注目度）: 12.388707890314539
• License:
• Abstract: While neural networks have demonstrated impressive performance across various tasks, accurately quantifying uncertainty in their predictions is essential to ensure their trustworthiness and enable widespread adoption in critical systems. Several Bayesian uncertainty quantification (UQ) methods exist that are either cheap or reliable, but not both. We propose a post-hoc, sampling-based UQ method for over-parameterized networks at the end of training. Our approach constructs efficient and meaningful deep ensembles by employing a (stochastic) gradient-descent sampling process on appropriately linearized networks. We demonstrate that our method effectively approximates the posterior of a Gaussian process using the empirical Neural Tangent Kernel. Through a series of numerical experiments, we show that our method not only outperforms competing approaches in computational efficiency (often reducing costs by multiple factors) but also maintains state-of-the-art performance across a variety of UQ metrics for both regression and classification tasks.
• Abstract（参考訳）: ニューラルネットワークは、様々なタスクにわたって印象的なパフォーマンスを示してきたが、彼らの予測の不確実性を正確に定量化することは、彼らの信頼性を確保し、重要なシステムに広く採用できるようにするために不可欠である。 いくつかのベイズの不確実性定量化法(UQ)は、安価か信頼性があるが両方ではない。 トレーニング終了時の過パラメータ化ネットワークに対するポストホックサンプリングに基づくUQ手法を提案する。 提案手法は, 線形化ネットワーク上での(確率的な)勾配偏光サンプリングプロセスを用いて, 効率的かつ有意義な深層アンサンブルを構築する。 実験的なニューラルタンジェントカーネルを用いて,ガウス過程の後部を効果的に近似することを示した。 一連の数値実験を通して,本手法は,計算効率の競合するアプローチ(しばしば複数の要因によるコスト削減)に勝るだけでなく,回帰処理と分類処理の両方において,様々なUQ指標の最先端性能も維持することを示した。

関連論文リスト

• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Efficient Uncertainty Quantification and Reduction for Over-Parameterized Neural Networks [23.7125322065694]
  不確実性定量化(UQ)は、機械学習モデルの信頼性評価と強化に重要である。 統計学的に保証されたスキームを作成し、主に、過剰パラメータ化ニューラルネットワークの不確実性である、エンフェラクタライズし、エンフェレモーブする。 特に,PNC予測器(Procedural-noise-correcting, Procedural-noise-correcting, PNC)に基づくアプローチでは,適切なラベル付きデータセットでトレーニングされたEmphone補助ネットワークのみを用いることで,手続き的不確実性を取り除く。
  論文  参考訳（メタデータ） (2023-06-09T05:15:53Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Sparse Bayesian Deep Learning for Dynamic System Identification [14.040914364617418]
  本稿では,システム同定のためのディープニューラルネットワーク(DNN)の疎ベイズ処理を提案する。 提案されたベイズ的アプローチは、限界確率/モデル証拠近似による課題を緩和する原則的な方法を提供する。 提案手法の有効性を線形および非線形システム同定ベンチマークで示す。
  論文  参考訳（メタデータ） (2021-07-27T16:09:48Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。