論文の概要: The Promises and Pitfalls of Deep Kernel Learning

• arxiv url: http://arxiv.org/abs/2102.12108v1
• Date: Wed, 24 Feb 2021 07:56:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-25 13:41:40.088909
• Title: The Promises and Pitfalls of Deep Kernel Learning
• Title（参考訳）: deep kernel learningの約束と落とし穴
• Authors: Sebastian W. Ober, Carl E. Rasmussen, Mark van der Wilk
• Abstract要約: 簡単なおもちゃの例で, オーバーフィッティングを含む病理学的挙動を同定する。 この病理学を探求し、その起源を説明し、実際のデータセットに適用する方法について考察する。 深層カーネル学習の完全なベイズ処理は、このオーバーフィットを是正し、望ましいパフォーマンス改善を得ることができる。
• 参考スコア（独自算出の注目度）: 13.487684503022063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep kernel learning and related techniques promise to combine the representational power of neural networks with the reliable uncertainty estimates of Gaussian processes. One crucial aspect of these models is an expectation that, because they are treated as Gaussian process models optimized using the marginal likelihood, they are protected from overfitting. However, we identify pathological behavior, including overfitting, on a simple toy example. We explore this pathology, explaining its origins and considering how it applies to real datasets. Through careful experimentation on UCI datasets, CIFAR-10, and the UTKFace dataset, we find that the overfitting from overparameterized deep kernel learning, in which the model is "somewhat Bayesian", can in certain scenarios be worse than that from not being Bayesian at all. However, we find that a fully Bayesian treatment of deep kernel learning can rectify this overfitting and obtain the desired performance improvements over standard neural networks and Gaussian processes.
• Abstract（参考訳）: 深いカーネル学習と関連する技術は、ニューラルネットワークの表現力とガウス過程の信頼性の高い不確実性推定を組み合わせることを約束します。 これらのモデルの重要な側面の1つは、それらが限界確率を用いて最適化されたガウス過程モデルとして扱われるため、過度な適合から保護されるという期待である。 しかし, 単純な玩具の例では, オーバーフィッティングを含む病理学的挙動を同定する。 この病理学を探求し、その起源を説明し、実際のデータセットに適用する方法について考察する。 UCIデータセット、CIFAR-10、UTKFaceデータセットの慎重な実験を通じて、モデルが"何らかのベイズ的"である過度にパラメータ化されたディープカーネル学習の過度な適合が、ベイズ的でない場合よりも悪い場合があることがわかった。 しかし、深層カーネル学習の完全なベイズ処理は、このオーバーフィットを是正し、標準的なニューラルネットワークとガウスプロセスよりも望ましいパフォーマンス改善を得ることができることがわかります。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
  大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。 この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
  論文  参考訳（メタデータ） (2024-04-29T23:38:58Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Parallel and Limited Data Voice Conversion Using Stochastic Variational Deep Kernel Learning [2.5782420501870296]
  本稿では,限られたデータを扱う音声変換手法を提案する。 変分深層学習(SVDKL)に基づく。 非滑らかでより複雑な関数を推定することができる。
  論文  参考訳（メタデータ） (2023-09-08T16:32:47Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Guided Deep Kernel Learning [42.53025115287688]
  無限幅ニューラルネットワークを用いて深層カーネルを学習するための新しい手法を提案する。 提案手法は,新しいデータポイントに遭遇した場合に,DKL目標の信頼度に適応するために,NNGPの信頼性の高い不確実性推定を利用する。
  論文  参考訳（メタデータ） (2023-02-19T13:37:34Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Can we achieve robustness from data alone? [0.7366405857677227]
  敵の訓練とその変種は、ニューラルネットワークを用いた敵の堅牢な分類を実現するための一般的な方法となっている。 そこで我々は,ロバストな分類のためのメタラーニング手法を考案し,その展開前のデータセットを原則的に最適化する。 MNIST と CIFAR-10 の実験により、我々が生成するデータセットはPGD 攻撃に対して非常に高い堅牢性を持つことが示された。
  論文  参考訳（メタデータ） (2022-07-24T12:14:48Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Physics Informed Deep Kernel Learning [24.033468062984458]
  物理インフォームドディープカーネル学習(PI-DKL)は、遅延源を持つ微分方程式で表される物理知識を利用する。 効率的かつ効果的な推論のために、潜伏変数を疎外し、崩壊したモデルエビデンスローバウンド(ELBO)を導出する。
  論文  参考訳（メタデータ） (2020-06-08T22:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。