論文の概要: Active Learning for Deep Gaussian Process Surrogates
- arxiv url: http://arxiv.org/abs/2012.08015v1
- Date: Tue, 15 Dec 2020 00:09:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 05:10:18.316394
- Title: Active Learning for Deep Gaussian Process Surrogates
- Title(参考訳): 深いガウス過程サロゲートのためのアクティブラーニング
- Authors: Annie Sauer, Robert B. Gramacy, David Higdon
- Abstract要約: 深層ガウス過程(dgps)は機械学習(ml)の予測モデルとしてますます普及している
そこで我々はDGPを,応答面が類似した特性を示す計算機シミュレーション実験のサロゲートとして検討する。
我々は,シミュレータコードの高価な評価とDGP推論の3乗コストの軽減を両立させ,設計を逐次構築する。
- 参考スコア(独自算出の注目度): 0.3222802562733786
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Gaussian processes (DGPs) are increasingly popular as predictive models
in machine learning (ML) for their non-stationary flexibility and ability to
cope with abrupt regime changes in training data. Here we explore DGPs as
surrogates for computer simulation experiments whose response surfaces exhibit
similar characteristics. In particular, we transport a DGP's automatic warping
of the input space and full uncertainty quantification (UQ), via a novel
elliptical slice sampling (ESS) Bayesian posterior inferential scheme, through
to active learning (AL) strategies that distribute runs non-uniformly in the
input space -- something an ordinary (stationary) GP could not do. Building up
the design sequentially in this way allows smaller training sets, limiting both
expensive evaluation of the simulator code and mitigating cubic costs of DGP
inference. When training data sizes are kept small through careful acquisition,
and with parsimonious layout of latent layers, the framework can be both
effective and computationally tractable. Our methods are illustrated on
simulation data and two real computer experiments of varying input
dimensionality. We provide an open source implementation in the "deepgp"
package on CRAN.
- Abstract(参考訳): ディープラーニングプロセス(Deep Gaussian Process, DGP)は、非定常的な柔軟性と、トレーニングデータの急激な状態変化に対応する能力のために、機械学習(ML)の予測モデルとして人気が高まっている。
そこで我々はDGPを,応答面が類似した特性を示す計算機シミュレーション実験のサロゲートとして検討する。
特に、入力空間と完全な不確実性定量化(uq)を、新しい楕円スライスサンプリング(ess)ベイズ後方推論スキームを通じて、入力空間で非均一に実行されるアクティブラーニング(al)戦略 -- 通常の(定常)gpではできなかったこと -- へ輸送する。
この方法で設計を逐次構築することで、シミュレータコードの高価な評価とDGP推論の立方体コストの軽減の両方を制限し、より小さなトレーニングセットを可能にする。
トレーニングデータのサイズを慎重に取得することで小さく保ち、遅延層の類似したレイアウトで、このフレームワークは効果的かつ計算的に抽出できる。
本手法は, シミュレーションデータと, 入力次元の異なる2つの実コンピュータ実験で示される。
我々はCRANの"deepgp"パッケージにオープンソース実装を提供しています。
関連論文リスト
- Unsupervised Discovery of Interpretable Directions in h-space of
Pre-trained Diffusion Models [63.1637853118899]
本稿では,事前学習した拡散モデルのh空間における解釈可能な方向を特定するための,教師なしおよび学習に基づく最初の手法を提案する。
我々は、事前訓練された拡散モデルのh-スペースで動作するシフト制御モジュールを用いて、サンプルをシフトしたバージョンに操作する。
それらを共同で最適化することで、モデルは自然に絡み合った、解釈可能な方向を発見する。
論文 参考訳(メタデータ) (2023-10-15T18:44:30Z) - Revisiting Active Sets for Gaussian Process Decoders [0.0]
我々は最近発見されたクロスバリデーションのリンクに基づいて,ログマージ可能性の新たな推定法を開発した。
結果の能動集合 (SAS) 近似がGPデコーダトレーニングの堅牢性を大幅に向上することを示す。
論文 参考訳(メタデータ) (2022-09-10T10:49:31Z) - Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。
NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2021-10-26T10:45:25Z) - Modular Gaussian Processes for Transfer Learning [0.0]
モジュラー変動ガウス過程(GP)に基づく移動学習のためのフレームワークを提案する。
我々は,データを再考することなく,アンサンブルGPモデルを構築するモジュールベースの手法を開発した。
本手法は、望ましくないデータの集中化を回避し、計算コストの増大を低減し、学習後の不確実性指標の伝達を可能にする。
論文 参考訳(メタデータ) (2021-10-26T09:15:18Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳(メタデータ) (2021-10-13T15:11:25Z) - Subset-of-Data Variational Inference for Deep Gaussian-Processes
Regression [0.0]
ディープガウス過程(Deep Gaussian Processs, DGP)は、ガウス過程の多層で柔軟な拡張である。
スパース近似はトレーニングを単純化するが、多くのインジェクションインプットとその位置を最適化する必要があることが多い。
本稿では,データの固定されたサブセットに位置を設定し,変動分布からインジェクションインプットをサンプリングすることで,学習を簡略化する。
論文 参考訳(メタデータ) (2021-07-17T15:55:35Z) - Deep Gaussian Process Emulation using Stochastic Imputation [0.0]
本稿では,命令を用いた計算機モデルエミュレーションのための新しいディープガウス過程 (DGP) 推論法を提案する。
この手法は、遅延層を強制的に命令することで、DGPをリンクされたGPに変換し、これは、フィードフォワード結合GPの系をリンクすることによって形成される最先端の代理モデルである。
論文 参考訳(メタデータ) (2021-07-04T10:46:23Z) - Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。
本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。
本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
論文 参考訳(メタデータ) (2020-06-18T14:24:05Z) - Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。
入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。
実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
論文 参考訳(メタデータ) (2020-06-16T18:43:31Z) - Predictive Coding Approximates Backprop along Arbitrary Computation
Graphs [68.8204255655161]
我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。
私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。
本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
論文 参考訳(メタデータ) (2020-06-07T15:35:47Z) - Scaled Vecchia approximation for fast computer-model emulation [0.6445605125467573]
我々は,大規模計算機実験のスケーラブルな解析とエミュレーションを可能にするために,空間統計学から強力なGP手法を適応・拡張する。
提案手法はスケーラビリティが高く,モデル実行回数のほぼ直線時間における推定,共同予測,シミュレーションを可能にする。
論文 参考訳(メタデータ) (2020-05-01T14:08:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。