論文の概要: Guided Deep Kernel Learning

• arxiv url: http://arxiv.org/abs/2302.09574v1
• Date: Sun, 19 Feb 2023 13:37:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 17:39:54.873533
• Title: Guided Deep Kernel Learning
• Title（参考訳）: 深層カーネル学習のガイド
• Authors: Idan Achituve, Gal Chechik, Ethan Fetaya
• Abstract要約: 無限幅ニューラルネットワークを用いて深層カーネルを学習するための新しい手法を提案する。 提案手法は,新しいデータポイントに遭遇した場合に,DKL目標の信頼度に適応するために,NNGPの信頼性の高い不確実性推定を利用する。
• 参考スコア（独自算出の注目度）: 42.53025115287688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Combining Gaussian processes with the expressive power of deep neural networks is commonly done nowadays through deep kernel learning (DKL). Unfortunately, due to the kernel optimization process, this often results in losing their Bayesian benefits. In this study, we present a novel approach for learning deep kernels by utilizing infinite-width neural networks. We propose to use the Neural Network Gaussian Process (NNGP) model as a guide to the DKL model in the optimization process. Our approach harnesses the reliable uncertainty estimation of the NNGPs to adapt the DKL target confidence when it encounters novel data points. As a result, we get the best of both worlds, we leverage the Bayesian behavior of the NNGP, namely its robustness to overfitting, and accurate uncertainty estimation, while maintaining the generalization abilities, scalability, and flexibility of deep kernels. Empirically, we show on multiple benchmark datasets of varying sizes and dimensionality, that our method is robust to overfitting, has good predictive performance, and provides reliable uncertainty estimations.
• Abstract（参考訳）: ガウス過程とディープニューラルネットワークの表現力の組み合わせは、今日ではdkl(deep kernel learning)を通じて一般的に行われている。 残念なことに、カーネル最適化プロセスのため、これはしばしばベイズ的な利点を失う。 本研究では,無限幅ニューラルネットワークを用いて深層カーネルを学習する新しい手法を提案する。 本稿では、最適化プロセスにおけるDKLモデルのガイドとしてニューラルネットワークガウス過程(NNGP)モデルを提案する。 提案手法は,新しいデータポイントに遭遇した場合のDKL目標の信頼度に適応するために,NNGPの確実性評価を利用する。 その結果、我々は、NNGPのベイズ的挙動、すなわち過度な適合に対する頑健さ、そして正確な不確実性推定を生かし、より深いカーネルの一般化能力、スケーラビリティ、柔軟性を維持できる。 実験では, 様々なサイズと寸法のベンチマークデータセット上で, オーバーフィッティングに頑健であり, 予測性能が良好であり, 信頼性の高い不確実性推定を行う。

関連論文リスト

• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Vecchia Gaussian Process Ensembles on Internal Representations of Deep Neural Networks [0.0]
  レグレッションタスクでは、標準ガウス過程(GP)は自然な不確実性定量化を提供し、ディープニューラルネットワーク(DNN)は表現学習に優れる。 本稿では,DNNの隠れ層の出力に基づいて構築されたGPのアンサンブルからなるハイブリッド手法で,これらの2つの手法を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2023-05-26T16:19:26Z)
• Efficient Bayes Inference in Neural Networks through Adaptive Importance Sampling [19.518237361775533]
  BNNでは、トレーニング段階で、未知の重みとバイアスパラメータの完全な後部分布が生成される。 この機能は、数え切れないほどの機械学習アプリケーションに役立ちます。 医療医療や自動運転など、意思決定に重大な影響を及ぼす分野において特に魅力的である。
  論文  参考訳（メタデータ） (2022-10-03T14:59:23Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
  オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。 穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。 また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2022-02-01T17:46:51Z)
• Deep Neural Networks as Point Estimates for Deep Gaussian Processes [44.585609003513625]
  本稿では,DGPの近似的な後進平均がディープニューラルネットワーク(DNN)と同じ数学的構造を持つスパース変分近似を提案する。 我々は、GP後方平均をReLU基底関数の和として表すドメイン間変換を求めることで、ReLU DNNと同等のDGPを前方通過させる。 実験は、現在のDGP法と比較して精度の向上とトレーニングの高速化を実証し、良好な予測不確実性を維持します。
  論文  参考訳（メタデータ） (2021-05-10T16:55:17Z)
• The Promises and Pitfalls of Deep Kernel Learning [13.487684503022063]
  簡単なおもちゃの例で, オーバーフィッティングを含む病理学的挙動を同定する。 この病理学を探求し、その起源を説明し、実際のデータセットに適用する方法について考察する。 深層カーネル学習の完全なベイズ処理は、このオーバーフィットを是正し、望ましいパフォーマンス改善を得ることができる。
  論文  参考訳（メタデータ） (2021-02-24T07:56:49Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。