論文の概要: From Deep Additive Kernel Learning to Last-Layer Bayesian Neural Networks via Induced Prior Approximation

• arxiv url: http://arxiv.org/abs/2502.10540v1
• Date: Fri, 14 Feb 2025 20:14:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:15:40.334496
• Title: From Deep Additive Kernel Learning to Last-Layer Bayesian Neural Networks via Induced Prior Approximation
• Title（参考訳）: 事前近似による深層カーネル学習からラスト層ベイズニューラルネットワークへ
• Authors: Wenyuan Zhao, Haoyuan Chen, Tie Liu, Rui Tuo, Chao Tian,
• Abstract要約: 本稿では,最終層GPの付加構造を組み込んだDep Additive Kernel (DAK) モデルを提案する。 提案手法は,DKLの解釈性と,BNNの計算上の利点を享受する。 実験結果から,提案手法は回帰タスクと分類タスクの両方において最先端のDKL法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 11.917792144592056
• License:
• Abstract: With the strengths of both deep learning and kernel methods like Gaussian Processes (GPs), Deep Kernel Learning (DKL) has gained considerable attention in recent years. From the computational perspective, however, DKL becomes challenging when the input dimension of the GP layer is high. To address this challenge, we propose the Deep Additive Kernel (DAK) model, which incorporates i) an additive structure for the last-layer GP; and ii) induced prior approximation for each GP unit. This naturally leads to a last-layer Bayesian neural network (BNN) architecture. The proposed method enjoys the interpretability of DKL as well as the computational advantages of BNN. Empirical results show that the proposed approach outperforms state-of-the-art DKL methods in both regression and classification tasks.
• Abstract（参考訳）: ガウス過程(GP)のような深層学習とカーネル手法の両方の長所から、Deep Kernel Learning(DKL)は近年大きな注目を集めている。 しかし,DKLはGP層の入力次元が高くなると困難になる。 この課題に対処するため、我々はDeep Additive Kernel(DAK)モデルを提案する。 一 最終層GPの添加物構造及び 二 各GP単位の事前近似を誘導すること。 これは自然に、最後の層であるベイズニューラルネットワーク(BNN)アーキテクチャにつながります。 提案手法は,DKLの解釈性と,BNNの計算上の利点を享受する。 実験結果から,提案手法は回帰タスクと分類タスクの両方において最先端のDKL法より優れていることが示された。

関連論文リスト

• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Vecchia Gaussian Process Ensembles on Internal Representations of Deep Neural Networks [0.0]
  レグレッションタスクでは、標準ガウス過程(GP)は自然な不確実性定量化を提供し、ディープニューラルネットワーク(DNN)は表現学習に優れる。 本稿では,DNNの隠れ層の出力に基づいて構築されたGPのアンサンブルからなるハイブリッド手法で,これらの2つの手法を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2023-05-26T16:19:26Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Guided Deep Kernel Learning [42.53025115287688]
  無限幅ニューラルネットワークを用いて深層カーネルを学習するための新しい手法を提案する。 提案手法は,新しいデータポイントに遭遇した場合に,DKL目標の信頼度に適応するために,NNGPの信頼性の高い不確実性推定を利用する。
  論文  参考訳（メタデータ） (2023-02-19T13:37:34Z)
• Conditional Deep Gaussian Processes: empirical Bayes hyperdata learning [6.599344783327054]
  本稿では,階層構成における中間GPをハイパーデータでサポートする条件付きDeep Gaussian Process (DGP)を提案する。 潜時空間における高密度ハイパーデータ限界における深層カーネル学習の等価性を示す。 予備補間の結果は,提案モデルがGPカーネル構成,DGP変分推論,深層カーネル学習と比較して表現力を示す。
  論文  参考訳（メタデータ） (2021-10-01T17:50:48Z)
• Deep Neural Networks as Point Estimates for Deep Gaussian Processes [44.585609003513625]
  本稿では,DGPの近似的な後進平均がディープニューラルネットワーク(DNN)と同じ数学的構造を持つスパース変分近似を提案する。 我々は、GP後方平均をReLU基底関数の和として表すドメイン間変換を求めることで、ReLU DNNと同等のDGPを前方通過させる。 実験は、現在のDGP法と比較して精度の向上とトレーニングの高速化を実証し、良好な予測不確実性を維持します。
  論文  参考訳（メタデータ） (2021-05-10T16:55:17Z)
• Generalized Leverage Score Sampling for Neural Networks [82.95180314408205]
  レバレッジスコアサンプリング(英: Leverage score sample)は、理論計算機科学に由来する強力な技術である。 本研究では、[Avron, Kapralov, Musco, Musco, Musco, Velingker, Zandieh 17] の結果をより広範なカーネルのクラスに一般化する。
  論文  参考訳（メタデータ） (2020-09-21T14:46:01Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Predicting the outputs of finite deep neural networks trained with noisy gradients [1.1470070927586014]
  広深部ニューラルネットワーク(DNN)をガウス過程(GP)として近似して研究する最近の研究のシリーズ 本稿では、雑音、重み減衰、有限幅を含むDNNトレーニングプロトコルについて考察する。 その後、この非ガウス過程を分析するために解析的枠組みが導入され、GPからの偏差は有限幅で制御される。
  論文  参考訳（メタデータ） (2020-04-02T18:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。