論文の概要: Bias-Free Scalable Gaussian Processes via Randomized Truncations

• arxiv url: http://arxiv.org/abs/2102.06695v1
• Date: Fri, 12 Feb 2021 18:54:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 13:19:36.035268
• Title: Bias-Free Scalable Gaussian Processes via Randomized Truncations
• Title（参考訳）: ランダム化符号化によるバイアスフリースケーラブルガウス過程
• Authors: Andres Potapczynski, Luhuan Wu, Dan Biderman, Geoff Pleiss and John P. Cunningham
• Abstract要約: 本稿では,初期乱れ共役勾配 (CG) とランダムフーリエ特徴 (RFF) の2つの共通手法を解析する。 CGは不適合になり、RFFは不適合になりがちです。 分散の増大と引き換えにバイアスを排除したランダム化トランケーション推定器を用いて,これらの問題に対処する。
• 参考スコア（独自算出の注目度）: 26.985324213848475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scalable Gaussian Process methods are computationally attractive, yet introduce modeling biases that require rigorous study. This paper analyzes two common techniques: early truncated conjugate gradients (CG) and random Fourier features (RFF). We find that both methods introduce a systematic bias on the learned hyperparameters: CG tends to underfit while RFF tends to overfit. We address these issues using randomized truncation estimators that eliminate bias in exchange for increased variance. In the case of RFF, we show that the bias-to-variance conversion is indeed a trade-off: the additional variance proves detrimental to optimization. However, in the case of CG, our unbiased learning procedure meaningfully outperforms its biased counterpart with minimal additional computation.
• Abstract（参考訳）: スケーラブルガウスプロセスメソッドは計算的に魅力的ですが、厳格な研究を必要とするモデリングバイアスを導入します。 本稿では,初期トランク型共役勾配 (CG) とランダムフーリエ特徴 (RFF) の2つの共通手法を解析する。 我々は、両方の方法が学習されたハイパーパラメータに体系的なバイアスを導入することを発見した:CGは不適合になり、RFFは過適合になりがちである。 分散の増大と引き換えにバイアスを排除したランダム化トランケーション推定器を用いて,これらの問題に対処する。 RFFの場合、バイアスから分散への変換は確かにトレードオフであり、追加の分散は最適化に有害であることを証明している。 しかし、CGの場合、偏りのない学習手順は、最小限の計算量でバイアスのある学習方法よりも有意に優れている。

関連論文リスト

• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Non-asymptotic Analysis of Biased Adaptive Stochastic Approximation [0.8192907805418583]
  偏りのある勾配は滑らかな非函数に対する臨界点に収束することを示す。 適切なチューニングを行うことで,バイアスの効果を低減できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T10:17:36Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Generalizing Gaussian Smoothing for Random Search [23.381986209234164]
  ガウススムースティング(英: Gaussian smoothing、GS)は、現在のベンチマークの摂動を用いて対象の勾配を推定する微分自由最適化アルゴリズムである。 そこで本研究では,MSEが比較的小さいような分布の誤差を最小限に抑えた摂動分布を選択することを提案する。
  論文  参考訳（メタデータ） (2022-11-27T04:42:05Z)
• Bayesian Active Learning with Fully Bayesian Gaussian Processes [0.0]
  ラベル付きデータが乏しい、あるいは入手が難しいアクティブラーニングでは、このトレードオフを無視することは、非効率なクエリを引き起こす可能性がある。 取得関数にバイアス分散トレードオフを組み込むことで、不要で高価なデータラベリングが軽減されることを示す。
  論文  参考訳（メタデータ） (2022-05-20T13:52:04Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Ridge Regression with Frequent Directions: Statistical and Optimization Perspectives [1.0152838128195465]
  acrshortfdは、高精度の解が得られる反復的なスキームによって最適化設定に利用できることを示す。 これは、収束のスピードで、イテレーション毎に新しいスケッチの必要性を妥協する必要のあるランダム化されたアプローチを改善する。
  論文  参考訳（メタデータ） (2020-11-06T21:40:38Z)
• On the Convergence of SGD with Biased Gradients [28.400751656818215]
  偏り勾配法 (SGD) の導出領域を解析し, 個々の更新を圧縮によって劣化させる。 偏差精度と収束率の影響の程度を定量化する。
  論文  参考訳（メタデータ） (2020-07-31T19:37:59Z)
• Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
  我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。 我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。 また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-02-16T09:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。