論文の概要: Conditional Deep Gaussian Processes: multi-fidelity kernel learning
- arxiv url: http://arxiv.org/abs/2002.02826v3
- Date: Fri, 1 Oct 2021 18:03:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 04:27:43.212308
- Title: Conditional Deep Gaussian Processes: multi-fidelity kernel learning
- Title（参考訳）: 条件付き深いガウス過程:多要素カーネル学習
- Authors: Chi-Ken Lu, Patrick Shafto
- Abstract要約: 固定された低忠実度データにより遅延GPを直接支持する条件付きDGPモデルを提案する。
合成および高次元データを用いた実験は、他の多次元回帰法と同等の性能を示す。
低忠実度データと階層DGP構造により、実効カーネルは真関数の帰納バイアスを符号化する。
- 参考スコア（独自算出の注目度）: 6.599344783327053
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Gaussian Processes (DGPs) were proposed as an expressive Bayesian model
capable of a mathematically grounded estimation of uncertainty. The
expressivity of DPGs results from not only the compositional character but the
distribution propagation within the hierarchy. Recently, [1] pointed out that
the hierarchical structure of DGP well suited modeling the multi-fidelity
regression, in which one is provided sparse observations with high precision
and plenty of low fidelity observations. We propose the conditional DGP model
in which the latent GPs are directly supported by the fixed lower fidelity
data. Then the moment matching method in [2] is applied to approximate the
marginal prior of conditional DGP with a GP. The obtained effective kernels are
implicit functions of the lower-fidelity data, manifesting the expressivity
contributed by distribution propagation within the hierarchy. The
hyperparameters are learned via optimizing the approximate marginal likelihood.
Experiments with synthetic and high dimensional data show comparable
performance against other multi-fidelity regression methods, variational
inference, and multi-output GP. We conclude that, with the low fidelity data
and the hierarchical DGP structure, the effective kernel encodes the inductive
bias for true function allowing the compositional freedom discussed in [3,4].
- Abstract（参考訳）: 深いガウス過程(dgps)は、不確かさの数学的接地推定が可能な表現的ベイズモデルとして提案されている。
DPGの表現性は、構成特性だけでなく、階層内の分布伝播からも生じる。
近年, dgpの階層構造は, 高精度で低忠実度な観測量の多いスパース観測を行い, マルチ忠実度回帰のモデル化に好適であることが示唆された。
固定された低忠実度データにより遅延GPを直接支持する条件付きDGPモデルを提案する。
次に、 [2] におけるモーメントマッチング法を適用し、条件付き DGP の辺先をGP で近似する。
得られた有効カーネルは低忠実度データの暗黙の関数であり、階層内の分布伝播による表現性を示す。
ハイパーパラメータは、近似限界確率を最適化することで学習される。
合成および高次元データを用いた実験は、他の多要素回帰法、変分推論、多出力GPと同等の性能を示す。
低忠実度データと階層DGP構造により、実効カーネルは[3,4]で議論された構成の自由度を許容する真の関数に対する帰納バイアスを符号化する。
関連論文リスト
- Hyperboloid GPLVM for Discovering Continuous Hierarchies via Nonparametric Estimation [41.13597666007784]
次元性低減(DR)は複雑な高次元データの有用な表現を提供する。
最近のDR法は、階層データの忠実な低次元表現を導出する双曲幾何学に焦点を当てている。
本稿では,非パラメトリック推定による暗黙的な連続性を持つ高次元階層データを埋め込むためのhGP-LVMを提案する。
論文 参考訳（メタデータ） (2024-10-22T05:07:30Z) - Thin and Deep Gaussian Processes [43.22976185646409]
本研究は,ThinとDeep GP(TDGP)の両アプローチの新しい合成法を提案する。
また,TDGPが入力データ中の低次元多様体を特異的に検出するように調整されていること,TDGPが層数を増やすとうまく振る舞うこと,TDGPが標準ベンチマークデータセットで良好に動作すること,などを理論的および実験的に示す。
論文 参考訳（メタデータ） (2023-10-17T18:50:24Z) - Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。
MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。
モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
論文 参考訳（メタデータ） (2023-08-29T15:01:01Z) - Robust and Adaptive Temporal-Difference Learning Using An Ensemble of
Gaussian Processes [70.80716221080118]
本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。
OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。
1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
論文 参考訳（メタデータ） (2021-12-01T23:15:09Z) - Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent:
Convergence Guarantees and Empirical Benefits [21.353189917487512]
勾配降下(SGD)とその変種は、機械学習問題のアルゴリズムとして確立されている。
我々は、最小バッチSGDが全ログ類似損失関数の臨界点に収束することを証明して一歩前進する。
我々の理論的な保証は、核関数が指数的あるいは固有デカイを示すことを前提としている。
論文 参考訳（メタデータ） (2021-11-19T22:28:47Z) - Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。
NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2021-10-26T10:45:25Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Incremental Ensemble Gaussian Processes [53.3291389385672]
本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。
各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。
新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
論文 参考訳（メタデータ） (2021-10-13T15:11:25Z) - Conditional Deep Gaussian Processes: empirical Bayes hyperdata learning [6.599344783327054]
本稿では,階層構成における中間GPをハイパーデータでサポートする条件付きDeep Gaussian Process (DGP)を提案する。
潜時空間における高密度ハイパーデータ限界における深層カーネル学習の等価性を示す。
予備補間の結果は,提案モデルがGPカーネル構成,DGP変分推論,深層カーネル学習と比較して表現力を示す。
論文 参考訳（メタデータ） (2021-10-01T17:50:48Z) - Convolutional Normalizing Flows for Deep Gaussian Processes [40.10797051603641]
本稿では、柔軟で任意に複雑でスケーラブルな後方分布を特定するための新しいアプローチを提案する。
新しい畳み込み正規化フロー(CNF)が開発され、時間効率を改善し、層間の依存性を捉える。
経験的評価は、CNF DGPがDGPの最先端近似法より優れていることを示している。
論文 参考訳（メタデータ） (2021-04-17T07:25:25Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳（メタデータ） (2020-03-05T14:33:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。