論文の概要: Richer Bayesian Last Layers with Subsampled NTK Features

• arxiv url: http://arxiv.org/abs/2602.01279v1
• Date: Sun, 01 Feb 2026 15:24:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.693265
• Title: Richer Bayesian Last Layers with Subsampled NTK Features
• Title（参考訳）: サブサンプルNTK特徴を持つよりリッチなベイズラスト層
• Authors: Sergio Calvo-Ordoñez, Jonathan Plenk, Richard Bergna, Álvaro Cartea, Yarin Gal, Jose Miguel Hernández-Lobato, Kamil Ciosek,
• Abstract要約: Bayesian Last Layers (BLL) は、ニューラルネットワークにおける不確実性を推定する便利な、計算的に効率的な方法を提供する。 本稿では,最後の層に分散した空間上のニューラル・タンジェント・カーネル(NTK)特徴の投影を利用して,BLLを改善する手法を提案する。 これにより、標準的なBLLの推論の計算コストを低く保ちながら、完全なネットワークの可変性を考慮に入れた後部推論が可能となる。
• 参考スコア（独自算出の注目度）: 25.566044416945875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian Last Layers (BLLs) provide a convenient and computationally efficient way to estimate uncertainty in neural networks. However, they underestimate epistemic uncertainty because they apply a Bayesian treatment only to the final layer, ignoring uncertainty induced by earlier layers. We propose a method that improves BLLs by leveraging a projection of Neural Tangent Kernel (NTK) features onto the space spanned by the last-layer features. This enables posterior inference that accounts for variability of the full network while retaining the low computational cost of inference of a standard BLL. We show that our method yields posterior variances that are provably greater or equal to those of a standard BLL, correcting its tendency to underestimate epistemic uncertainty. To further reduce computational cost, we introduce a uniform subsampling scheme for estimating the projection matrix and for posterior inference. We derive approximation bounds for both types of sub-sampling. Empirical evaluations on UCI regression, contextual bandits, image classification, and out-of-distribution detection tasks in image and tabular datasets, demonstrate improved calibration and uncertainty estimates compared to standard BLLs and competitive baselines, while reducing computational cost.
• Abstract（参考訳）: Bayesian Last Layers (BLL) は、ニューラルネットワークにおける不確実性を推定する便利な、計算的に効率的な方法を提供する。 しかし、それらはベイズ処理を最終層にのみ適用し、以前の層によって引き起こされた不確実性を無視しているため、疫学的な不確かさを過小評価する。 本稿では,最後の層に分散した空間上のニューラル・タンジェント・カーネル(NTK)特徴の投影を利用して,BLLを改善する手法を提案する。 これにより、標準的なBLLの推論の計算コストを低く保ちながら、完全なネットワークの可変性を考慮に入れた後部推論が可能になる。 以上の結果から,本手法は標準BLLよりも有意に大きく,あるいは同等である後部変動を生じ,その傾向を過小評価する傾向が示唆された。 さらに計算コストを削減するために、投影行列と後部推論を推定するための一様サブサンプリング方式を導入する。 両方のサブサンプリングの型に対する近似境界を導出する。 UCI回帰、文脈帯域、画像分類、および画像および表のデータセットにおける分布外検出タスクに関する実証的な評価は、標準的なBLLや競合ベースラインと比較してキャリブレーションと不確実性の推定を改善し、計算コストを削減した。

関連論文リスト

• BAPE: Learning an Explicit Bayes Classifier for Long-tailed Visual Recognition [78.70453964041718]
  現在のディープラーニングアルゴリズムは通常、後部確率を簡易に推定することで最適分類器を解く。 この単純な手法は、厳密にバランスのとれた学術ベンチマークデータセットに有効であることが証明されている。 しかし、これは現実世界の長い尾のデータ分布には適用できない。 本稿では,データ分布のより正確な理論的推定を行う新しい手法(BAPE)を提案する。
  論文  参考訳（メタデータ） (2025-06-29T15:12:50Z)
• Wild refitting for black box prediction [29.715181593057803]
  本稿では,インスタンスワイド平均二乗予測誤差に基づいて,高確率上限計算のための計算効率の良い修正手順を記述・解析する。 予測方法への単一のデータセットとブラックボックスアクセスのみを必要とするため、適切な残差を計算し、プリファクタ$rho$でそれらをシンメトリズしてスケーリングし、修正された予測問題を定義し、解決する3つのステップで構成される。
  論文  参考訳（メタデータ） (2025-06-26T16:41:55Z)
• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。