Fugu-MT 論文翻訳(概要): Gradient Boosting Performs Low-Rank Gaussian Process Inference

論文の概要: Gradient Boosting Performs Low-Rank Gaussian Process Inference

arxiv url: http://arxiv.org/abs/2206.05608v1
Date: Sat, 11 Jun 2022 20:16:24 GMT
ステータス: 処理完了
システム内更新日: 2022-06-14 13:53:03.540317
Title: Gradient Boosting Performs Low-Rank Gaussian Process Inference
Title（参考訳）: グラディエントブースティングが低ランクガウスプロセス推論を達成
Authors: Aleksei Ustimenko, Artem Beliakov, Liudmila Prokhorenkova
Abstract要約: 対称決定木に基づく勾配増強は、あるケルネルリッジレス回帰問題の解に収束するカーネル法として等価に再構成することができる。提案手法により,ドメイン外検出の精度向上につながる知識不確実性推定の精度向上が期待できることを示す。
参考スコア（独自算出の注目度）: 23.891709665066468
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper shows that gradient boosting based on symmetric decision trees can be equivalently reformulated as a kernel method that converges to the solution of a certain Kernel Ridgeless Regression problem. Thus, for low-rank kernels, we obtain the convergence to a Gaussian Process' posterior mean, which, in turn, allows us to easily transform gradient boosting into a sampler from the posterior to provide better knowledge uncertainty estimates through Monte-Carlo estimation of the posterior variance. We show that the proposed sampler allows for better knowledge uncertainty estimates leading to improved out-of-domain detection.
Abstract（参考訳）: 本稿では,対称決定木に基づく勾配ブースティングを,ある核リッジレス回帰問題の解に収束する核法として等価に再構成できることを示す。したがって、低ランクカーネルに対しては、ガウス過程の後方平均への収束が得られ、これにより、後方から試料層に上昇する勾配を変換し、後方分散のモンテカルロ推定によりより優れた知識不確実性推定を提供することができる。提案手法は,ドメイン外検出の精度向上につながる知識不確実性の推定を可能にする。

関連論文リスト

Epistemic Uncertainty and Observation Noise with the Neural Tangent Kernel [12.464924018243988]
近年の研究では、勾配降下による広いニューラルネットワークのトレーニングは、ガウス過程における後部分布の平均を計算することと正式に等価であることが示されている。非ゼロアレタリックノイズに対処する方法を示し, 後部共分散推定器を導出する。
論文参考訳（メタデータ） (2024-09-06T00:34:44Z)
Variance-Reducing Couplings for Random Features [57.73648780299374]
ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
論文参考訳（メタデータ） (2024-05-26T12:25:09Z)
Improving Diffusion Models for Inverse Problems Using Optimal Posterior Covariance [52.093434664236014]
近年の拡散モデルは、特定の逆問題に対して再訓練することなく、ノイズの多い線形逆問題に対する有望なゼロショット解を提供する。この発見に触発されて、我々は、最大推定値から決定されるより原理化された共分散を用いて、最近の手法を改善することを提案する。
論文参考訳（メタデータ） (2024-02-03T13:35:39Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
Sharp Calibrated Gaussian Processes [58.94710279601622]
キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
論文参考訳（メタデータ） (2023-02-23T12:17:36Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文参考訳（メタデータ） (2021-06-10T18:17:57Z)
Tighter Bounds on the Log Marginal Likelihood of Gaussian Process Regression Using Conjugate Gradients [19.772149500352945]
下界の最大化によるモデルパラメータの近似的最大度学習は、スパース変分アプローチの利点の多くを保っていることを示す。実験では、他の共役グラデーションベースのアプローチと比較して、トレーニング時間の同等の量のためのモデルで予測性能の改善を示します。
論文参考訳（メタデータ） (2021-02-16T17:54:59Z)
Boosting in Univariate Nonparametric Maximum Likelihood Estimation [5.770800671793959]
非パラメトリック最大推定は未知の密度分布を推定することを目的としている。非パラメトリックデータフィッティングにおけるオーバーパラメータ化を軽減するため、スムーズな仮定は通常、推定にマージされる。非パラメトリックログ類似性の2次近似によりブースティングアルゴリズムを推定する。
論文参考訳（メタデータ） (2021-01-21T08:46:33Z)
Quantized Variational Inference [6.09170287691728]
ELBO最適化のために、量子変分推論が分散自由勾配をいかに生み出すかを示す。量子化変分推論フレームワークを用いることで、スコア関数と再パラメータ化勾配の両方に高速収束がもたらされることを示す。
論文参考訳（メタデータ） (2020-11-04T13:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。