論文の概要: Deep Horseshoe Gaussian Processes

• arxiv url: http://arxiv.org/abs/2403.01737v2
• Date: Sat, 01 Feb 2025 23:32:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:04:05.747930
• Title: Deep Horseshoe Gaussian Processes
• Title（参考訳）: 深いホースシュー・ガウス過程
• Authors: Ismaël Castillo, Thibault Randrianarisoa,
• Abstract要約: 直交指数核を持つディープ・ガウス過程に基づく新しい単純前処理であるディープ・ホースシュー・ガウス過程(Deep Horseshoe Gaussian process)を紹介する。 ランダムな設計による非パラメトリック回帰では、関連する後続分布が2次損失の点で未知の真の回帰曲線を復元することを示す。 収束速度は、回帰関数の滑らかさと組成の両面に同時に適応する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Deep Gaussian processes have recently been proposed as natural objects to fit, similarly to deep neural networks, possibly complex features present in modern data samples, such as compositional structures. Adopting a Bayesian nonparametric approach, it is natural to use deep Gaussian processes as prior distributions, and use the corresponding posterior distributions for statistical inference. We introduce the deep Horseshoe Gaussian process Deep-HGP, a new simple prior based on deep Gaussian processes with a squared-exponential kernel, that in particular enables data-driven choices of the key lengthscale parameters. For nonparametric regression with random design, we show that the associated posterior distribution recovers the unknown true regression curve optimally in terms of quadratic loss, up to a logarithmic factor, in an adaptive way. The convergence rates are simultaneously adaptive to both the smoothness of the regression function and to its structure in terms of compositions. The dependence of the rates in terms of dimension are explicit, allowing in particular for input spaces of dimension increasing with the number of observations.
• Abstract（参考訳）: ディープ・ガウス過程は、合成構造のような現代のデータサンプルに存在する可能性のある複雑な特徴であるディープ・ニューラルネットワークと同様に、適合する自然な対象として最近提案されている。 ベイズ的非パラメトリックなアプローチを採用すると、深いガウス過程を事前分布として使用し、対応する後続分布を統計的推論に用いることは自然である。 我々は,2乗述語カーネルを持つディープ・ガウスのプロセスに基づく新しい単純前処理であるディープ・ホースシュー・ガウス過程(Deep-HGP)を導入し,特にキー長大パラメータのデータ駆動的選択を可能にする。 ランダムな設計による非パラメトリック回帰では、関連する後続分布は、対数係数までを適応的に2次的損失の観点から、未知の真の回帰曲線を最適に回復することを示す。 収束速度は、回帰関数の滑らかさと組成の両面に同時に適応する。 次元の点でのレートの依存は明確であり、特に観測数に応じて増加する次元の入力空間に対して可能である。

関連論文リスト

• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Sparse Variational Contaminated Noise Gaussian Process Regression with Applications in Geomagnetic Perturbations Forecasting [4.675221539472143]
  大規模なデータセットに正規ノイズが汚染されたスパースガウス過程回帰モデルを適用するためのスケーラブルな推論アルゴリズムを提案する。 提案手法は, 人工ニューラルネットワークベースラインと比較して, 類似のカバレッジと精度の予測間隔が短いことを示す。
  論文  参考訳（メタデータ） (2024-02-27T15:08:57Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Density Estimation with Autoregressive Bayesian Predictives [1.5771347525430772]
  密度推定の文脈では、標準的なベイズ的アプローチは、後方予測をターゲットとする。 我々は、データを潜在空間にマッピングする自己回帰ニューラルネットワークを用いて、帯域幅の新たなパラメータ化を開発する。
  論文  参考訳（メタデータ） (2022-06-13T20:43:39Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• Amortised inference of fractional Brownian motion with linear computational complexity [0.0]
  ランダムウォークのパラメータを推定するために,シミュレーションベースで償却されたベイズ推定手法を提案する。 提案手法は歩行パラメータの後方分布を確率自由な方法で学習する。 この手法を適用して、環境中の有限デコリレーション時間をさらに個々の軌道から推定できることを示す。
  論文  参考訳（メタデータ） (2022-03-15T14:43:16Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Wasserstein-Splitting Gaussian Process Regression for Heterogeneous Online Bayesian Inference [9.7471390457395]
  我々は,オンライン予測伝搬ステップと連動して動作するGPの変動自由エネルギー近似を用いる。 後続分布が大きく変化するたびに新しいGPをインスタンス化する局所分割ステップを導入する。 時間の経過とともに、これは徐々に更新されるかもしれないスパースGPのアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2021-07-26T17:52:46Z)
• Sparse Algorithms for Markovian Gaussian Processes [18.999495374836584]
  スパースマルコフ過程は、誘導変数の使用と効率的なカルマンフィルタライク再帰を結合する。 我々は,局所ガウス項を用いて非ガウス的確率を近似する一般的なサイトベースアプローチであるsitesを導出する。 提案手法は,変動推論,期待伝播,古典非線形カルマンスムーサなど,機械学習と信号処理の両方から得られるアルゴリズムの新たなスパース拡張の一群を導出する。 派生した方法は、モデルが時間と空間の両方で別々の誘導点を持つ文学時間データに適しています。
  論文  参考訳（メタデータ） (2021-03-19T09:50:53Z)
• Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
  高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。 分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
  論文  参考訳（メタデータ） (2020-02-21T14:03:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。