論文の概要: Meta-learning to Calibrate Gaussian Processes with Deep Kernels for
Regression Uncertainty Estimation
- arxiv url: http://arxiv.org/abs/2312.07952v1
- Date: Wed, 13 Dec 2023 07:58:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 16:25:54.834670
- Title: Meta-learning to Calibrate Gaussian Processes with Deep Kernels for
Regression Uncertainty Estimation
- Title(参考訳): 回帰不確かさ推定のための深いカーネルを用いたガウス過程の校正のためのメタラーニング
- Authors: Tomoharu Iwata, Atsutoshi Kumagai
- Abstract要約: 本稿では,遅延不確実性推定性能を改善するために,深層カーネルGPの校正のためのメタラーニング手法を提案する。
提案手法は,テスト期待校正誤差を最小限に抑えて,様々なタスクのデータを用いて不確実性を校正する方法をメタ学習する。
実験により,提案手法は高い回帰性能を維持しながら不確実性推定性能を向上させることを示した。
- 参考スコア(独自算出の注目度): 43.23399636191726
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although Gaussian processes (GPs) with deep kernels have been successfully
used for meta-learning in regression tasks, its uncertainty estimation
performance can be poor. We propose a meta-learning method for calibrating deep
kernel GPs for improving regression uncertainty estimation performance with a
limited number of training data. The proposed method meta-learns how to
calibrate uncertainty using data from various tasks by minimizing the test
expected calibration error, and uses the knowledge for unseen tasks. We design
our model such that the adaptation and calibration for each task can be
performed without iterative procedures, which enables effective meta-learning.
In particular, a task-specific uncalibrated output distribution is modeled by a
GP with a task-shared encoder network, and it is transformed to a calibrated
one using a cumulative density function of a task-specific Gaussian mixture
model (GMM). By integrating the GP and GMM into our neural network-based model,
we can meta-learn model parameters in an end-to-end fashion. Our experiments
demonstrate that the proposed method improves uncertainty estimation
performance while keeping high regression performance compared with the
existing methods using real-world datasets in few-shot settings.
- Abstract(参考訳): 深いカーネルを持つガウス過程(GP)は回帰タスクにおけるメタラーニングに成功しているが、その不確実性評価性能は劣っている。
本稿では,深部カーネルgpsの校正による回帰不確実性推定性能向上のためのメタラーニング手法を提案する。
提案手法は,テスト期待校正誤差を最小化し,様々なタスクのデータを用いて不確かさを校正する方法をメタ学習し,未知のタスクに知識を利用する。
我々は,各タスクの適応と校正を反復的な手順なしで行えるように設計し,効果的なメタ学習を実現する。
特に、タスク固有非共役出力分布は、タスク共有エンコーダネットワークを有するgpによりモデル化され、タスク固有ガウス混合モデル(gmm)の累積密度関数を用いて校正された出力に変換される。
GPとGMMをニューラルネットワークベースモデルに統合することで、メタ学習モデルパラメータをエンドツーエンドで実現できます。
提案手法は,実世界のデータセットを用いた既存手法と比較し,回帰性能を維持しつつ不確実性推定性能を向上させることを実証した。
関連論文リスト
- Scalable Meta-Learning with Gaussian Processes [11.528128570533273]
タスク数でスケーラブルなメタ学習のためのモジュール型GPモデルであるScaML-GPを開発した。
私たちのコアコントリビューションは、階層的なトレーニングとタスクのスケーラビリティを可能にする、慎重に設計されたマルチタスクカーネルです。
合成および実世界のメタ学習実験において、ScaML-GPは少ないメタタスクと多数のメタタスクの両方で効率的に学習できることを実証した。
論文 参考訳(メタデータ) (2023-12-01T17:25:10Z) - Neural Operator Variational Inference based on Regularized Stein
Discrepancy for Deep Gaussian Processes [23.87733307119697]
本稿では,深いガウス過程に対するニューラル演算子変分推論(NOVI)を提案する。
NOVIは、ニューラルジェネレータを使用してサンプリング装置を取得し、生成された分布と真の後部の間のL2空間における正規化スタインの離散性を最小化する。
提案手法が提案するバイアスは定数で発散を乗算することで制御可能であることを示す。
論文 参考訳(メタデータ) (2023-09-22T06:56:35Z) - Episodic Gaussian Process-Based Learning Control with Vanishing Tracking
Errors [10.627020714408445]
本稿では,任意の追跡精度を保証するために,GPモデル学習のためのエピソード手法を開発する。
導出理論の有効性はいくつかのシミュレーションで示されている。
論文 参考訳(メタデータ) (2023-07-10T08:43:28Z) - Sharp Calibrated Gaussian Processes [58.94710279601622]
キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。
本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。
我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
論文 参考訳(メタデータ) (2023-02-23T12:17:36Z) - MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。
機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。
本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
論文 参考訳(メタデータ) (2022-10-24T15:14:26Z) - Gradient-Based Meta-Learning Using Uncertainty to Weigh Loss for
Few-Shot Learning [5.691930884128995]
Model-Agnostic Meta-Learning (MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。
タスク固有の学習者に対して,タスクの損失を最小限に抑えるパラメータの選択を適応的に学習する手法を提案する。
メソッド1はメタロス差を比較して重みを生成し、クラスが少ない場合の精度を向上させる。
方法2は、各タスクの相補的不確実性を導入し、元の勾配降下に基づいて複数の損失を重み付けする。
論文 参考訳(メタデータ) (2022-08-17T08:11:51Z) - Bayesian Meta-Learning Through Variational Gaussian Processes [0.0]
ガウス過程に基づくメタラーニングを拡張し、高品質で任意のガウス的でない不確実性予測を可能にする。
提案手法は,既存のベイズメタラーニングベースラインよりも優れている。
論文 参考訳(メタデータ) (2021-10-21T10:44:23Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳(メタデータ) (2021-10-13T15:11:25Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。