論文の概要: On the inability of Gaussian process regression to optimally learn compositional functions

• arxiv url: http://arxiv.org/abs/2205.07764v1
• Date: Mon, 16 May 2022 15:42:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-17 14:59:15.720146
• Title: On the inability of Gaussian process regression to optimally learn compositional functions
• Title（参考訳）: 合成関数を最適に学習するガウス過程回帰の不可能性について
• Authors: Matteo Giordano and Kolyan Ray and Johannes Schmidt-Hieber
• Abstract要約: 深いガウス過程の先行は、対象関数が構成構造を持つ場合、ガウス過程の先行よりも優れる。 真の函数が一般化加法関数であれば、任意の平均零ガウス過程に基づく後続函数は、ミニマックス速度よりも厳密に遅い速度でのみ真理を回復できることを示す。
• 参考スコア（独自算出の注目度）: 3.6525095710982916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We rigorously prove that deep Gaussian process priors can outperform Gaussian process priors if the target function has a compositional structure. To this end, we study information-theoretic lower bounds for posterior contraction rates for Gaussian process regression in a continuous regression model. We show that if the true function is a generalized additive function, then the posterior based on any mean-zero Gaussian process can only recover the truth at a rate that is strictly slower than the minimax rate by a factor that is polynomially suboptimal in the sample size $n$.
• Abstract（参考訳）: 対象関数が構成構造を持つ場合、深いガウス過程先行がガウス過程先行よりも優れていることを厳密に証明する。 そこで本研究では,連続回帰モデルにおけるガウス過程回帰に対する後部収縮率の情報理論の下限について検討する。 真函数が一般化加法関数であれば、任意の平均零ガウス過程に基づく後続法は、標本サイズ$n$で多項式的に最適である因子によって、ミニマックス速度よりも厳密に遅い速度でのみ真理を回復できることを示す。

関連論文リスト

• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression [1.7227952883644062]
  本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。 分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
  論文  参考訳（メタデータ） (2022-11-20T12:29:06Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Sparse Gaussian Process Based On Hat Basis Functions [14.33021332215823]
  制約のない回帰問題を解くために,新しいスパースガウス法を提案する。 提案手法は, 計算複雑性を正確なガウス過程において$O(n3)$から$O(nm2)$に減らし, $m$のハット基底関数と$n$のトレーニングデータポイントを備える。
  論文  参考訳（メタデータ） (2020-06-15T03:55:38Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
  高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。 分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
  論文  参考訳（メタデータ） (2020-02-21T14:03:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。