論文の概要: On the Equivalence of Random Network Distillation, Deep Ensembles, and Bayesian Inference
- arxiv url: http://arxiv.org/abs/2602.19964v2
- Date: Thu, 26 Feb 2026 17:10:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-27 14:31:23.834563
- Title: On the Equivalence of Random Network Distillation, Deep Ensembles, and Bayesian Inference
- Title（参考訳）: ランダムネットワーク蒸留, ディープアンサンブル, ベイズ推論の等価性について
- Authors: Moritz A. Zanger, Yijun Wu, Pascal R. Van der Vaart, Wendelin Böhmer, Matthijs T. J. Spaan,
- Abstract要約: ランダムネットワーク蒸留は、固定されたランダムターゲットに対する予測誤差を通じて新規性を測定する技術である。
実験的な効果はあるものの、RNDがどのような不確実性や、その見積もりが他のアプローチとどのように関係しているかはいまだに不明である。
本稿では,ネットワーク幅の無限に制限されたニューラルネットワークカーネルフレームワーク内におけるRNDを解析することにより,これらの理論的接続の欠如を実証する。
- 参考スコア（独自算出の注目度）: 7.0479705178500085
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uncertainty quantification is central to safe and efficient deployments of deep learning models, yet many computationally practical methods lack lacking rigorous theoretical motivation. Random network distillation (RND) is a lightweight technique that measures novelty via prediction errors against a fixed random target. While empirically effective, it has remained unclear what uncertainties RND measures and how its estimates relate to other approaches, e.g. Bayesian inference or deep ensembles. This paper establishes these missing theoretical connections by analyzing RND within the neural tangent kernel framework in the limit of infinite network width. Our analysis reveals two central findings in this limit: (1) The uncertainty signal from RND -- its squared self-predictive error -- is equivalent to the predictive variance of a deep ensemble. (2) By constructing a specific RND target function, we show that the RND error distribution can be made to mirror the centered posterior predictive distribution of Bayesian inference with wide neural networks. Based on this equivalence, we moreover devise a posterior sampling algorithm that generates i.i.d. samples from an exact Bayesian posterior predictive distribution using this modified \textit{Bayesian RND} model. Collectively, our findings provide a unified theoretical perspective that places RND within the principled frameworks of deep ensembles and Bayesian inference, and offer new avenues for efficient yet theoretically grounded uncertainty quantification methods.
- Abstract（参考訳）: 不確かさの定量化は深層学習モデルの安全かつ効率的な展開の中心であるが、多くの計算学的手法には厳密な理論的動機が欠如している。
ランダムネットワーク蒸留(RND)は、固定されたランダムターゲットに対する予測誤差を通じて新規性を測定する軽量な技術である。
経験的効果はあるものの、RNDの測度の不確実性や、その推定がベイズ推定や深層アンサンブルなど他のアプローチとどのように関係しているかはいまだ不明である。
本稿では,ネットワーク幅の無限に制限されたニューラルネットワークカーネルフレームワーク内におけるRNDを解析することにより,これらの理論的接続の欠如を実証する。
1) RNDの正方形自己予測誤差の不確かさ信号は、深いアンサンブルの予測ばらつきと等価である。
2)特定のRND目標関数を構築することにより,広義のニューラルネットワークを用いたベイズ推論の中央の後方予測分布を反映するRND誤差分布を作成できることを示す。
この等価性に基づいて、この修正された \textit{Bayesian RND} モデルを用いて、正確なベイズ後部予測分布からサンプルを生成する後部サンプリングアルゴリズムを考案する。
本研究は,ディープアンサンブルとベイズ推論の原理的枠組みにRNDを配置する統一的理論的視点と,効率的かつ理論的に根拠付けられた不確実性定量化手法の新たな道筋を提供するものである。
関連論文リスト
- Unreliable Uncertainty Estimates with Monte Carlo Dropout [42.50242605797505]
深層学習におけるベイズ推定の効率的な近似としてモンテカルロ・ドロップアウト (MCD) が提案された。
我々は、その真の不確実性を捉える能力を実証的に調査する。
MCDは根底にある真の不確かさを正確に反映するのに苦労している。
論文 参考訳（メタデータ） (2025-12-16T19:14:57Z) - Distributional Uncertainty for Out-of-Distribution Detection [10.100430371132463]
本稿では,分散不確実性を共同でモデル化し,自由エネルギーを用いたOoD領域と非分類領域を同定する枠組みを提案する。
我々の手法を残留予測分岐(RPL)フレームワークと統合することにより、提案手法はポストホックエネルギー閾値を超えることができる。
提案手法の有効性を,魚の巣,道路異常,セグメンツ・ミー・ユー・カーンなどの実世界のベンチマークで検証した。
論文 参考訳（メタデータ） (2025-07-24T05:35:49Z) - Tractable Function-Space Variational Inference in Bayesian Neural
Networks [72.97620734290139]
ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。
本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。
提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
論文 参考訳（メタデータ） (2023-12-28T18:33:26Z) - Variational Bayes Deep Operator Network: A data-driven Bayesian solver
for parametric differential equations [0.0]
演算子学習のための変分ベイズDeepONet(VB-DeepONet)を提案する。
VB-DeepONetは、高次元後部分布を考慮した変分推論を用いる。
論文 参考訳（メタデータ） (2022-06-12T04:20:11Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳（メタデータ） (2022-02-07T12:30:45Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳（メタデータ） (2022-02-02T20:11:33Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Efficient Variational Inference for Sparse Deep Learning with
Theoretical Guarantee [20.294908538266867]
スパースディープラーニングは、ディープニューラルネットワークによる巨大なストレージ消費の課題に対処することを目的としている。
本稿では,スパイク・アンド・スラブ前処理による完全ベイズ処理により,疎いディープニューラルネットワークを訓練する。
我々はベルヌーイ分布の連続緩和による計算効率の良い変分推論のセットを開発する。
論文 参考訳（メタデータ） (2020-11-15T03:27:54Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z) - Fine-grained Uncertainty Modeling in Neural Networks [0.0]
本稿では,ニューラルネットワークにおける分布外点検出のための新しい手法を提案する。
我々の手法は、NNの過度な判断を正し、外れ点を検知し、上位2つの予測の間で重要な点が不確実であるときに「私は知らない」と言うことを学習する。
副作用として, 本手法は, 追加訓練を必要とせず, 敵の攻撃を防ぐのに有効である。
論文 参考訳（メタデータ） (2020-02-11T05:06:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。