論文の概要: Consistent Online Gaussian Process Regression Without the Sample Complexity Bottleneck

• arxiv url: http://arxiv.org/abs/2004.11094v2
• Date: Thu, 15 Jul 2021 15:49:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 09:31:07.170192
• Title: Consistent Online Gaussian Process Regression Without the Sample Complexity Bottleneck
• Title（参考訳）: サンプル複雑性ボトルネックを伴わないオンラインガウス過程回帰
• Authors: Alec Koppel, Hrusikesha Pradhan, Ketan Rajawat
• Abstract要約: 本稿では,現在の後方中心のHellingerメトリックに対して,エラー近傍を修正可能なオンライン圧縮方式を提案する。 一定の誤差半径の場合、POG は集団後部の近傍 (Theorem 1(ii)) に収束するが、特徴空間の計量エントロピーによって決定される有限メモリのオン・ウォーストに収束する。
• 参考スコア（独自算出の注目度）: 14.309243378538012
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian processes provide a framework for nonlinear nonparametric Bayesian inference widely applicable across science and engineering. Unfortunately, their computational burden scales cubically with the training sample size, which in the case that samples arrive in perpetuity, approaches infinity. This issue necessitates approximations for use with streaming data, which to date mostly lack convergence guarantees. Thus, we develop the first online Gaussian process approximation that preserves convergence to the population posterior, i.e., asymptotic posterior consistency, while ameliorating its intractable complexity growth with the sample size. We propose an online compression scheme that, following each a posteriori update, fixes an error neighborhood with respect to the Hellinger metric centered at the current posterior, and greedily tosses out past kernel dictionary elements until its boundary is hit. We call the resulting method Parsimonious Online Gaussian Processes (POG). For diminishing error radius, exact asymptotic consistency is preserved (Theorem 1(i)) at the cost of unbounded memory in the limit. On the other hand, for constant error radius, POG converges to a neighborhood of the population posterior (Theorem 1(ii))but with finite memory at-worst determined by the metric entropy of the feature space (Theorem 2). Experimental results are presented on several nonlinear regression problems which illuminates the merits of this approach as compared with alternatives that fix the subspace dimension defining the history of past points.
• Abstract（参考訳）: ガウス過程は、科学や工学において広く適用可能な非線形非パラメトリックベイズ推論の枠組みを提供する。 残念なことに、その計算負担はトレーニングサンプルサイズとともに3倍にスケールし、サンプルが永久に到着する場合には無限大に近づく。 この問題はストリーミングデータで使用する近似を必要とするが、これまではほとんど収束保証を欠いていた。 そこで我々は,その難解な複雑性の増大をサンプルサイズで改善しながら,後方の個体群,すなわち漸近的な後方整合性に収束する最初のオンラインガウス過程近似を開発した。 本稿では,各後続更新に従って,現在の後方中心のHellingerメトリックに対する誤差近傍を修正し,境界線が打たれるまで,過去のカーネル辞書要素をぼんやりと投げ捨てるオンライン圧縮手法を提案する。 得られた手法をParsimonious Online Gaussian Processes (POG)と呼ぶ。 誤差半径の減少のために、正確な漸近一貫性が保存される(Theorem 1) (i)無制限メモリのコストを上限とする。 一方、一定の誤差半径に対して、pogは後方の人口の近傍に収束する(theorem 1)。 (ii) しかし、特徴空間の計量エントロピーによって決定される有限メモリ at-worst を持つ(定理2)。 実験結果は,過去の点の履歴を定義する部分空間次元を固定する代替案と比較して,このアプローチのメリットを照らしている非線形回帰問題に対して提示される。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Riemannian Laplace Approximation with the Fisher Metric [5.982697037000189]
  ラプラスの手法は、目標密度とガウス分布をそのモードで近似する。 複雑なターゲットと有限データ後部では、しばしば近似が粗すぎる。 我々は、無限データの範囲内で正確である2つの代替変種を開発する。
  論文  参考訳（メタデータ） (2023-11-05T20:51:03Z)
• Implicit Manifold Gaussian Process Regression [49.0787777751317]
  ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。 これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。 本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T09:52:48Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Limited-Memory Greedy Quasi-Newton Method with Non-asymptotic Superlinear Convergence Rate [37.49160762239869]
  本稿では,非漸近性超線形速度を明示的に達成できるリミテッドメモリGreedy BFGS(LG-BFGS)法を提案する。 我々の確立した非漸近超線形収束速度は、収束速度とメモリ要求との明確なトレードオフを示す。
  論文  参考訳（メタデータ） (2023-06-27T12:59:56Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
  ガウスのプロセスはデータセットのサイズとともに違法にスケールする。 多くの近似法が開発されており、必然的に近似誤差を導入している。 この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。 本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
  論文  参考訳（メタデータ） (2022-05-30T22:16:25Z)
• Laplace Matching for fast Approximate Inference in Generalized Linear Models [27.70274403550477]
  本論文では,高い近似品質を実現しつつ,計算的に安価に設計した近似推論フレームワークを提案する。 我々が emphLaplace Matching と呼ぶこの概念は、指数群のパラメータ空間間の閉形式、近似、双方向変換を含む。 これにより、GLMにおける推論を(小さな近似誤差で)共役推論に変換する。
  論文  参考訳（メタデータ） (2021-05-07T08:25:17Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• Provably Convergent Working Set Algorithm for Non-Convex Regularized Regression [0.0]
  本稿では、収束保証付き非正則正規化器のためのワーキングセットアルゴリズムを提案する。 その結果,ブロックコーディネートや勾配ソルバの完全解法と比較して高い利得を示した。
  論文  参考訳（メタデータ） (2020-06-24T07:40:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。