論文の概要: Meta-learning to Calibrate Gaussian Processes with Deep Kernels for Regression Uncertainty Estimation

• arxiv url: http://arxiv.org/abs/2312.07952v1
• Date: Wed, 13 Dec 2023 07:58:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 16:25:54.834670
• Title: Meta-learning to Calibrate Gaussian Processes with Deep Kernels for Regression Uncertainty Estimation
• Title（参考訳）: 回帰不確かさ推定のための深いカーネルを用いたガウス過程の校正のためのメタラーニング
• Authors: Tomoharu Iwata, Atsutoshi Kumagai
• Abstract要約: 本稿では,遅延不確実性推定性能を改善するために,深層カーネルGPの校正のためのメタラーニング手法を提案する。 提案手法は,テスト期待校正誤差を最小限に抑えて,様々なタスクのデータを用いて不確実性を校正する方法をメタ学習する。 実験により,提案手法は高い回帰性能を維持しながら不確実性推定性能を向上させることを示した。
• 参考スコア（独自算出の注目度）: 43.23399636191726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although Gaussian processes (GPs) with deep kernels have been successfully used for meta-learning in regression tasks, its uncertainty estimation performance can be poor. We propose a meta-learning method for calibrating deep kernel GPs for improving regression uncertainty estimation performance with a limited number of training data. The proposed method meta-learns how to calibrate uncertainty using data from various tasks by minimizing the test expected calibration error, and uses the knowledge for unseen tasks. We design our model such that the adaptation and calibration for each task can be performed without iterative procedures, which enables effective meta-learning. In particular, a task-specific uncalibrated output distribution is modeled by a GP with a task-shared encoder network, and it is transformed to a calibrated one using a cumulative density function of a task-specific Gaussian mixture model (GMM). By integrating the GP and GMM into our neural network-based model, we can meta-learn model parameters in an end-to-end fashion. Our experiments demonstrate that the proposed method improves uncertainty estimation performance while keeping high regression performance compared with the existing methods using real-world datasets in few-shot settings.
• Abstract（参考訳）: 深いカーネルを持つガウス過程(GP)は回帰タスクにおけるメタラーニングに成功しているが、その不確実性評価性能は劣っている。 本稿では,深部カーネルgpsの校正による回帰不確実性推定性能向上のためのメタラーニング手法を提案する。 提案手法は,テスト期待校正誤差を最小化し,様々なタスクのデータを用いて不確かさを校正する方法をメタ学習し,未知のタスクに知識を利用する。 我々は,各タスクの適応と校正を反復的な手順なしで行えるように設計し,効果的なメタ学習を実現する。 特に、タスク固有非共役出力分布は、タスク共有エンコーダネットワークを有するgpによりモデル化され、タスク固有ガウス混合モデル(gmm)の累積密度関数を用いて校正された出力に変換される。 GPとGMMをニューラルネットワークベースモデルに統合することで、メタ学習モデルパラメータをエンドツーエンドで実現できます。 提案手法は,実世界のデータセットを用いた既存手法と比較し,回帰性能を維持しつつ不確実性推定性能を向上させることを実証した。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Achieving Well-Informed Decision-Making in Drug Discovery: A Comprehensive Calibration Study using Neural Network-Based Structure-Activity Models [4.619907534483781]
  薬物と標的の相互作用を予測する計算モデルは、新しい治療薬の開発を加速するための貴重なツールである。 しかし、そのようなモデルはキャリブレーションが不十分であり、信頼性の低い不確実性推定をもたらす。 本研究では,ポストホックキャリブレーション法と不確実な定量化手法を組み合わせることで,モデルの精度とキャリブレーションを向上できることを示す。
  論文  参考訳（メタデータ） (2024-07-19T10:29:00Z)
• Probabilistic Calibration by Design for Neural Network Regression [2.3020018305241337]
  本稿では,量子校正トレーニングと呼ばれる新しいエンドツーエンドモデルトレーニング手法を提案する。 57の回帰データセットを含む大規模実験において,本手法の性能を実証した。
  論文  参考訳（メタデータ） (2024-03-18T17:04:33Z)
• Neural Operator Variational Inference based on Regularized Stein Discrepancy for Deep Gaussian Processes [23.87733307119697]
  本稿では,深いガウス過程に対するニューラル演算子変分推論(NOVI)を提案する。 NOVIは、ニューラルジェネレータを使用してサンプリング装置を取得し、生成された分布と真の後部の間のL2空間における正規化スタインの離散性を最小化する。 提案手法が提案するバイアスは定数で発散を乗算することで制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-09-22T06:56:35Z)
• Episodic Gaussian Process-Based Learning Control with Vanishing Tracking Errors [10.627020714408445]
  本稿では,任意の追跡精度を保証するために,GPモデル学習のためのエピソード手法を開発する。 導出理論の有効性はいくつかのシミュレーションで示されている。
  論文  参考訳（メタデータ） (2023-07-10T08:43:28Z)
• Sharp Calibrated Gaussian Processes [58.94710279601622]
  キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。 本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。 我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-02-23T12:17:36Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Bayesian Meta-Learning Through Variational Gaussian Processes [0.0]
  ガウス過程に基づくメタラーニングを拡張し、高品質で任意のガウス的でない不確実性予測を可能にする。 提案手法は,既存のベイズメタラーニングベースラインよりも優れている。
  論文  参考訳（メタデータ） (2021-10-21T10:44:23Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。