論文の概要: Gaussian Process Meta Few-shot Classifier Learning via Linear Discriminant Laplace Approximation

• arxiv url: http://arxiv.org/abs/2111.05392v1
• Date: Tue, 9 Nov 2021 20:00:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-12 02:56:23.831194
• Title: Gaussian Process Meta Few-shot Classifier Learning via Linear Discriminant Laplace Approximation
• Title（参考訳）: 線形識別ラプラス近似によるガウス過程メタFew-shot分類学習
• Authors: Minyoung Kim, Timothy Hospedales
• Abstract要約: 目標は、ラベル付きデータのみを使用して、新しいタスクに迅速に適応できるモデルを学ぶことだ。 ベイジアン・ガウス過程 (GP) のアプローチでは, GP を前もってメタ学習し, GP 予測モデルによる新しいタスクへの適応を後部推論から行う。 これまでのアプローチよりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 15.522964295287425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The meta learning few-shot classification is an emerging problem in machine learning that received enormous attention recently, where the goal is to learn a model that can quickly adapt to a new task with only a few labeled data. We consider the Bayesian Gaussian process (GP) approach, in which we meta-learn the GP prior, and the adaptation to a new task is carried out by the GP predictive model from the posterior inference. We adopt the Laplace posterior approximation, but to circumvent the iterative gradient steps for finding the MAP solution, we introduce a novel linear discriminant analysis (LDA) plugin as a surrogate for the MAP solution. In essence, the MAP solution is approximated by the LDA estimate, but to take the GP prior into account, we adopt the prior-norm adjustment to estimate LDA's shared variance parameters, which ensures that the adjusted estimate is consistent with the GP prior. This enables closed-form differentiable GP posteriors and predictive distributions, thus allowing fast meta training. We demonstrate considerable improvement over the previous approaches.
• Abstract（参考訳）: メタラーニングの少ショット分類は、最近大きな注目を集めた機械学習における新たな問題であり、少数のラベル付きデータで新しいタスクに迅速に適応できるモデルを学ぶことを目的としている。 ベイジアン・ガウス過程 (GP) のアプローチでは, GP を前もってメタ学習し, GP 予測モデルによる新しいタスクへの適応を後部推論から行う。 ラプラスの後方近似を採用するが、MAPソリューションを見つけるための反復勾配ステップを回避するために、MAPソリューションのサロゲートとして新しい線形判別分析(LDA)プラグインを導入する。 本質的には、マップ解はlda推定値に近似するが、gpを事前に考慮し、ldaの共有分散パラメータを推定するために事前ノルム調整を採用することにより、調整された推定値がgp先行値に一致することを保証する。 これにより、閉形式で微分可能なGP後部と予測分布が可能となり、高速なメタトレーニングが可能になる。 これまでのアプローチよりも大幅に改善されている。

関連論文リスト

• Domain Invariant Learning for Gaussian Processes and Bayesian Exploration [39.83530605880014]
  そこで本研究では,確率を最小限に最適化したガウス過程(DIL-GP)の領域不変学習アルゴリズムを提案する。 数値実験により、複数の合成および実世界のデータセットの予測におけるDIL-GPの優位性を示す。
  論文  参考訳（メタデータ） (2023-12-18T16:13:34Z)
• Meta-learning to Calibrate Gaussian Processes with Deep Kernels for Regression Uncertainty Estimation [43.23399636191726]
  本稿では,遅延不確実性推定性能を改善するために,深層カーネルGPの校正のためのメタラーニング手法を提案する。 提案手法は,テスト期待校正誤差を最小限に抑えて,様々なタスクのデータを用いて不確実性を校正する方法をメタ学習する。 実験により,提案手法は高い回帰性能を維持しながら不確実性推定性能を向上させることを示した。
  論文  参考訳（メタデータ） (2023-12-13T07:58:47Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• An Investigation of the Bias-Variance Tradeoff in Meta-Gradients [53.28925387487846]
  ヘッセン推定は常にバイアスを追加し、メタ階調推定に分散を加えることもできる。 提案手法は, 乱れたバックプロパゲーションとサンプリング補正から生じるバイアスとばらつきのトレードオフについて検討する。
  論文  参考訳（メタデータ） (2022-09-22T20:33:05Z)
• Bayesian Meta-Learning Through Variational Gaussian Processes [0.0]
  ガウス過程に基づくメタラーニングを拡張し、高品質で任意のガウス的でない不確実性予測を可能にする。 提案手法は,既存のベイズメタラーニングベースラインよりも優れている。
  論文  参考訳（メタデータ） (2021-10-21T10:44:23Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Gaussian Processes to speed up MCMC with automatic exploratory-exploitation effect [1.0742675209112622]
  確率モデルをサンプリングするための2段階のメトロポリス・ハスティングスアルゴリズムを提案する。 このアプローチの主な特徴は、サンプリング中にターゲットの分布をスクラッチから学習する能力である。
  論文  参考訳（メタデータ） (2021-09-28T17:43:25Z)
• Last Layer Marginal Likelihood for Invariance Learning [12.00078928875924]
  我々は、より大きな確率関数のクラスに対する推論を行うことができるような、限界確率に対する新しい下界を導入する。 我々は、最後の層にガウス的プロセスを持つアーキテクチャを使用することで、このアプローチをニューラルネットワークに導入することに取り組んでいます。
  論文  参考訳（メタデータ） (2021-06-14T15:40:51Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。