論文の概要: Deep Horseshoe Gaussian Processes
- arxiv url: http://arxiv.org/abs/2403.01737v1
- Date: Mon, 4 Mar 2024 05:30:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 20:06:22.221997
- Title: Deep Horseshoe Gaussian Processes
- Title（参考訳）: 深いホースシューガウス過程
- Authors: Isma\"el Castillo and Thibault Randrianarisoa
- Abstract要約: 直交指数核を持つディープ・ガウス過程に基づく新しい単純前処理であるディープ・ホースシュー・ガウス過程(Deep Horseshoe Gaussian process)を紹介する。
本研究は、2次損失から対数係数まで、未知の真の回帰曲線を最適に復元することを示す。
- 参考スコア（独自算出の注目度）: 1.0742675209112622
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Gaussian processes have recently been proposed as natural objects to
fit, similarly to deep neural networks, possibly complex features present in
modern data samples, such as compositional structures. Adopting a Bayesian
nonparametric approach, it is natural to use deep Gaussian processes as prior
distributions, and use the corresponding posterior distributions for
statistical inference. We introduce the deep Horseshoe Gaussian process
Deep-HGP, a new simple prior based on deep Gaussian processes with a
squared-exponential kernel, that in particular enables data-driven choices of
the key lengthscale parameters. For nonparametric regression with random
design, we show that the associated tempered posterior distribution recovers
the unknown true regression curve optimally in terms of quadratic loss, up to a
logarithmic factor, in an adaptive way. The convergence rates are
simultaneously adaptive to both the smoothness of the regression function and
to its structure in terms of compositions. The dependence of the rates in terms
of dimension are explicit, allowing in particular for input spaces of dimension
increasing with the number of observations.
- Abstract（参考訳）: ディープ・ガウス過程は、合成構造のような現代のデータサンプルに存在する可能性のある複雑な特徴であるディープ・ニューラルネットワークと同様に、適合する自然な対象として最近提案されている。
ベイズ非パラメトリックなアプローチを採用すると、深いガウス過程を事前分布として、対応する後方分布を統計的推論に使用するのが自然である。
我々は,二乗指数核を持つ深いガウス過程に基づく新しい単純な前置法であるdeep-hgp(ディープホースシュー・ガウス過程deep-hgp)について紹介する。
ランダムな設計を持つ非パラメトリック回帰の場合、関連するテンパー付き後続分布は、適応的に2次損失から対数係数まで、未知の真の回帰曲線を最適に回復することを示す。
収束率は回帰関数の滑らかさと合成の観点での構造の両方に同時に適応する。
次元の点でのレートの依存は明確であり、特に観測数に応じて増加する次元の入力空間に対して可能である。
関連論文リスト
- von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
円値ランダム関数上の表現的および解釈可能な分布の族を探索する。
結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。
後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
論文 参考訳（メタデータ） (2024-06-19T01:57:21Z) - Sparse Variational Contaminated Noise Gaussian Process Regression with Applications in Geomagnetic Perturbations Forecasting [4.675221539472143]
大規模なデータセットに正規ノイズが汚染されたスパースガウス過程回帰モデルを適用するためのスケーラブルな推論アルゴリズムを提案する。
提案手法は, 人工ニューラルネットワークベースラインと比較して, 類似のカバレッジと精度の予測間隔が短いことを示す。
論文 参考訳（メタデータ） (2024-02-27T15:08:57Z) - Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。
本稿では,直感的に設計を記述し,設計選択について説明する。
本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文 参考訳（メタデータ） (2023-10-31T16:15:13Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - Density Estimation with Autoregressive Bayesian Predictives [1.5771347525430772]
密度推定の文脈では、標準的なベイズ的アプローチは、後方予測をターゲットとする。
我々は、データを潜在空間にマッピングする自己回帰ニューラルネットワークを用いて、帯域幅の新たなパラメータ化を開発する。
論文 参考訳（メタデータ） (2022-06-13T20:43:39Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳（メタデータ） (2022-03-18T05:49:13Z) - Amortised inference of fractional Brownian motion with linear
computational complexity [0.0]
ランダムウォークのパラメータを推定するために,シミュレーションベースで償却されたベイズ推定手法を提案する。
提案手法は歩行パラメータの後方分布を確率自由な方法で学習する。
この手法を適用して、環境中の有限デコリレーション時間をさらに個々の軌道から推定できることを示す。
論文 参考訳（メタデータ） (2022-03-15T14:43:16Z) - Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。
NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2021-10-26T10:45:25Z) - Wasserstein-Splitting Gaussian Process Regression for Heterogeneous
Online Bayesian Inference [9.7471390457395]
我々は,オンライン予測伝搬ステップと連動して動作するGPの変動自由エネルギー近似を用いる。
後続分布が大きく変化するたびに新しいGPをインスタンス化する局所分割ステップを導入する。
時間の経過とともに、これは徐々に更新されるかもしれないスパースGPのアンサンブルをもたらす。
論文 参考訳（メタデータ） (2021-07-26T17:52:46Z) - Sparse Algorithms for Markovian Gaussian Processes [18.999495374836584]
スパースマルコフ過程は、誘導変数の使用と効率的なカルマンフィルタライク再帰を結合する。
我々は,局所ガウス項を用いて非ガウス的確率を近似する一般的なサイトベースアプローチであるsitesを導出する。
提案手法は,変動推論,期待伝播,古典非線形カルマンスムーサなど,機械学習と信号処理の両方から得られるアルゴリズムの新たなスパース拡張の一群を導出する。
派生した方法は、モデルが時間と空間の両方で別々の誘導点を持つ文学時間データに適しています。
論文 参考訳（メタデータ） (2021-03-19T09:50:53Z) - Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。
分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
論文 参考訳（メタデータ） (2020-02-21T14:03:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。