論文の概要: Stein Random Feature Regression

• arxiv url: http://arxiv.org/abs/2406.00438v2
• Date: Tue, 4 Jun 2024 09:57:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 07:05:16.058841
• Title: Stein Random Feature Regression
• Title（参考訳）: Stein Random Feature Regression
• Authors: Houston Warren, Rafael Oliveira, Fabio Ramos,
• Abstract要約: スタインランダム特徴(SRF)は、高品質なRFFサンプルを生成し、非分析スペクトル測定後部を柔軟に近似するために用いられる。 SRFは、カーネル近似とベイズカーネル学習の両方を実行するために、ログ確率勾配の評価のみを必要とする。 カーネル近似とよく知られたGP回帰問題に基づくベースラインと比較することにより、SRFの有効性を実証的に検証する。
• 参考スコア（独自算出の注目度）: 18.477250397403722
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In large-scale regression problems, random Fourier features (RFFs) have significantly enhanced the computational scalability and flexibility of Gaussian processes (GPs) by defining kernels through their spectral density, from which a finite set of Monte Carlo samples can be used to form an approximate low-rank GP. However, the efficacy of RFFs in kernel approximation and Bayesian kernel learning depends on the ability to tractably sample the kernel spectral measure and the quality of the generated samples. We introduce Stein random features (SRF), leveraging Stein variational gradient descent, which can be used to both generate high-quality RFF samples of known spectral densities as well as flexibly and efficiently approximate traditionally non-analytical spectral measure posteriors. SRFs require only the evaluation of log-probability gradients to perform both kernel approximation and Bayesian kernel learning that results in superior performance over traditional approaches. We empirically validate the effectiveness of SRFs by comparing them to baselines on kernel approximation and well-known GP regression problems.
• Abstract（参考訳）: 大規模回帰問題において、ランダムフーリエ特徴(RFF)は、スペクトル密度を通じてカーネルを定義することにより、ガウス過程(GP)の計算スケーラビリティと柔軟性を著しく向上させ、そこからモンテカルロサンプルの有限集合を用いて近似低ランクGPを形成することができる。 しかし、カーネル近似とベイジアンカーネル学習におけるRFFの有効性は、カーネルスペクトル測定と生成されたサンプルの品質を正確にサンプリングする能力に依存する。 本稿では,Stein random features (SRF) を導入し,Stein 変分勾配勾配の勾配を利用して,既知のスペクトル密度の高品質な RFF サンプルを生成するとともに,従来の非解析的スペクトル測定の後部を柔軟かつ効率的に近似することができる。 SRFは、従来のアプローチよりも優れた性能をもたらすカーネル近似とベイズカーネル学習の両方を実行するために、ログ確率勾配の評価のみを必要とする。 カーネル近似とよく知られたGP回帰問題に基づくベースラインと比較することにより、SRFの有効性を実証的に検証する。

関連論文リスト

• Optimal Kernel Quantile Learning with Random Features [0.9208007322096533]
  本稿では、ランダムな特徴を持つカーネル量子化回帰(KQR-RF)の一般化研究について述べる。 本研究は,KQR-RFの能力依存学習率を,RF数に対する軽度条件下で確立する。 我々の仮定を少し修正することによって、キャパシティに依存した誤差解析が、リプシッツ連続損失のケースにも適用できる。
  論文  参考訳（メタデータ） (2024-08-24T14:26:09Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• RFFNet: Large-Scale Interpretable Kernel Methods via Random Fourier Features [3.0079490585515347]
  RFFNetは1次最適化によってカーネルの関連性をリアルタイムで学習するスケーラブルな手法である。 提案手法はメモリフットプリントが小さく,実行時,予測誤差が低く,関連する特徴を効果的に識別できることを示す。 私たちは、Scikit-learn標準APIと結果を完全に再現するためのコードに準拠した、効率的でPyTorchベースのライブラリをユーザに提供します。
  論文  参考訳（メタデータ） (2022-11-11T18:50:34Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Hybrid Random Features [60.116392415715275]
  ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。 HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:59Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Sigma-Delta and Distributed Noise-Shaping Quantization Methods for Random Fourier Features [73.25551965751603]
  我々は、量子化 RFF が基礎となるカーネルの高精度な近似を可能にすることを証明した。 量子化 RFF はさらに圧縮され,メモリ使用量と精度のトレードオフに優れることを示す。 本手法は,この文脈におけるアート量子化手法の他の状態と比較し,いくつかの機械学習タスクにおいて,提案手法の性能を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-04T17:24:47Z)
• Towards Unbiased Random Features with Lower Variance For Stationary Indefinite Kernels [26.57122949130266]
  本アルゴリズムは,既存のカーネル近似法と比較して,より低い分散と近似誤差を達成する。 もともと選択されたカーネルの近似性が向上し、分類精度と回帰能力が向上する。
  論文  参考訳（メタデータ） (2021-04-13T13:56:50Z)
• Marginalised Gaussian Processes with Nested Sampling [10.495114898741203]
  ガウス過程(GP)モデルは、カーネル関数によって制御される帰納バイアスを持つ関数上の豊富な分布である。 本研究は,Nested Smpling (NS) を用いてカーネル関数のハイパーパラメータを疎外する学習手法を提案する。
  論文  参考訳（メタデータ） (2020-10-30T16:04:35Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。