論文の概要: Scalable Linearized Laplace Approximation via Surrogate Neural Kernel

• arxiv url: http://arxiv.org/abs/2601.21835v1
• Date: Thu, 29 Jan 2026 15:15:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.925542
• Title: Scalable Linearized Laplace Approximation via Surrogate Neural Kernel
• Title（参考訳）: サロゲートニューラルカーネルによるスケーラブルな線形ラプラス近似
• Authors: Luis A. Ortega, Simón Rodríguez-Santana, Daniel Hernández-Lobato,
• Abstract要約: 本稿では,Linearized Laplace Approximation (LLA) のカーネルを近似するスケーラブルな手法を提案する。 我々は、内部積がニューラルタンジェントカーネル(NTK)を複製するコンパクトな特徴表現を学習する代理ディープニューラルネットワーク(DNN)を使用している。
• 参考スコア（独自算出の注目度）: 11.227924985781423
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce a scalable method to approximate the kernel of the Linearized Laplace Approximation (LLA). For this, we use a surrogate deep neural network (DNN) that learns a compact feature representation whose inner product replicates the Neural Tangent Kernel (NTK). This avoids the need to compute large Jacobians. Training relies solely on efficient Jacobian-vector products, allowing to compute predictive uncertainty on large-scale pre-trained DNNs. Experimental results show similar or improved uncertainty estimation and calibration compared to existing LLA approximations. Notwithstanding, biasing the learned kernel significantly enhances out-of-distribution detection. This remarks the benefits of the proposed method for finding better kernels than the NTK in the context of LLA to compute prediction uncertainty given a pre-trained DNN.
• Abstract（参考訳）: 本稿では,Linearized Laplace Approximation (LLA) のカーネルを近似するスケーラブルな手法を提案する。 このために、我々は、内部積がニューラルタンジェントカーネル(NTK)を複製するコンパクトな特徴表現を学習する代理ディープニューラルネットワーク(DNN)を使用する。 これにより、大きなジャコビアンを計算する必要がなくなる。 訓練はジャコビアンベクター製品にのみ依存しており、大規模な訓練済みDNNの予測不確実性を計算することができる。 実験の結果,既存のLA近似と類似あるいは改良された不確実性推定と校正が得られた。 それでも、学習したカーネルのバイアスは、アウト・オブ・ディストリビューションの検出を著しく向上させる。 このことは、事前訓練されたDNNから予測の不確実性を計算するために、LLAの文脈においてNTKよりも優れたカーネルを見つけるための提案手法の利点を述べている。

関連論文リスト

• Scalable Gaussian Processes with Low-Rank Deep Kernel Decomposition [7.532273334759435]
  カーネルはガウス過程(GP)モデルにおいて、事前の信念とデータ構造を符号化する鍵である。 ディープカーネル学習は、標準的なパラメトリック形式を適用する前に、ニューラルネットワークを介して入力を入力することで、カーネルの柔軟性を向上させる。 我々は、ニューラルネットワークが直接低ランクカーネルを表現する、完全にデータ駆動でスケーラブルなディープカーネル表現を導入する。
  論文  参考訳（メタデータ） (2025-05-24T05:42:11Z)
• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Guided Deep Kernel Learning [42.53025115287688]
  無限幅ニューラルネットワークを用いて深層カーネルを学習するための新しい手法を提案する。 提案手法は,新しいデータポイントに遭遇した場合に,DKL目標の信頼度に適応するために,NNGPの信頼性の高い不確実性推定を利用する。
  論文  参考訳（メタデータ） (2023-02-19T13:37:34Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Advantage of Deep Neural Networks for Estimating Functions with Singularity on Hypersurfaces [23.21591478556582]
  我々は、ディープニューラルネットワーク(DNN)が他の標準手法よりも優れている理由を説明するために、ミニマックスレート分析を開発する。 本研究では,超曲面上の特異点を持つ非滑らか関数のクラスを推定することにより,このギャップを埋めようとしている。
  論文  参考訳（メタデータ） (2020-11-04T12:51:14Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。