論文の概要: Towards Unbiased Random Features with Lower Variance For Stationary Indefinite Kernels

• arxiv url: http://arxiv.org/abs/2104.06204v2
• Date: Wed, 14 Apr 2021 00:54:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 09:10:46.792823
• Title: Towards Unbiased Random Features with Lower Variance For Stationary Indefinite Kernels
• Title（参考訳）: 定常不確定カーネルに対する低変量不均一なランダム特徴に向けて
• Authors: Qin Luo, Kun Fang, Jie Yang, Xiaolin Huang
• Abstract要約: 本アルゴリズムは,既存のカーネル近似法と比較して,より低い分散と近似誤差を達成する。 もともと選択されたカーネルの近似性が向上し、分類精度と回帰能力が向上する。
• 参考スコア（独自算出の注目度）: 26.57122949130266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Random Fourier Features (RFF) demonstrate wellappreciated performance in kernel approximation for largescale situations but restrict kernels to be stationary and positive definite. And for non-stationary kernels, the corresponding RFF could be converted to that for stationary indefinite kernels when the inputs are restricted to the unit sphere. Numerous methods provide accessible ways to approximate stationary but indefinite kernels. However, they are either biased or possess large variance. In this article, we propose the generalized orthogonal random features, an unbiased estimation with lower variance.Experimental results on various datasets and kernels verify that our algorithm achieves lower variance and approximation error compared with the existing kernel approximation methods. With better approximation to the originally selected kernels, improved classification accuracy and regression ability is obtained with our approximation algorithm in the framework of support vector machine and regression.
• Abstract（参考訳）: Random Fourier Features (RFF) は、大規模な状況においてカーネル近似の性能をよく評価するが、カーネルを定常かつ正定値に制限する。 また、非定常カーネルに対しては、入力が単位球に制限された場合、対応する RFF を定常不定カーネルに変換することができる。 多くの手法が定常だが不確定なカーネルを近似する方法を提供している。 しかし、それらは偏りがあるか、大きなばらつきを持っている。 本稿では,多種多様なデータセットやカーネルに対する実験結果から,既存のカーネル近似法と比較して,アルゴリズムが低分散および近似誤差を達成することを検証した。 当初選択されたカーネルに対する近似が向上し,サポートベクタマシンと回帰の枠組みにおける近似アルゴリズムを用いて,分類精度と回帰能力が改善された。

関連論文リスト

• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• On the Approximation of Kernel functions [0.0]
  論文はカーネル自体の近似に対処する。 単位立方体上のヒルベルト・ガウス核に対して、この論文は関連する固有関数の上界を確立する。 この改良により、Nystr"om法のような低階近似法が確かめられる。
  論文  参考訳（メタデータ） (2024-03-11T13:50:07Z)
• FAVOR#: Sharp Attention Kernel Approximations via New Classes of Positive Random Features [39.282051468586666]
  本稿では,ガウスとソフトマックス・カーネルを近似したパラメータ化,正,非三角形のRFを提案する。 提案手法は, カーネル回帰タスクにおいて, 従来の手法よりも分散低減し, 性能的に優れていることを示す。 また,変換器の自己アテンション近似法であるFAVOR#を提案する。
  論文  参考訳（メタデータ） (2023-02-01T22:43:29Z)
• Variational Autoencoder Kernel Interpretation and Selection for Classification [59.30734371401315]
  本研究では,変分オートエンコーダの畳み込みエンコーダによって生成された特徴に基づく確率的分類器のカーネル選択手法を提案する。 提案した実装では、各カーネルに対して各分散が生成されるため、各潜伏変数を最終エンコーダの畳み込み層の単一カーネルに関連付けられた分布からサンプリングした。 サンプル化された潜伏変数で関連する機能を選択することで、カーネルの選択を実行し、非形式的機能とカーネルをフィルタリングすることができる。
  論文  参考訳（メタデータ） (2022-09-10T17:22:53Z)
• On the Inconsistency of Kernel Ridgeless Regression in Fixed Dimensions [16.704246627541103]
  翻訳不変なカーネルを持つカーネルマシンである予測器の重要なクラスが、固定次元における良さの過度なオーバーフィッティングを示さないことを示す。 この結果は、ガウス、ラプラス、コーシーなどの一般的な翻訳不変カーネルに適用できる。
  論文  参考訳（メタデータ） (2022-05-26T17:43:20Z)
• Hybrid Random Features [60.116392415715275]
  ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。 HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:59Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
  カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。 カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。 有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-06-18T08:33:45Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Optimal Rates of Distributed Regression with Imperfect Kernels [0.0]
  本研究では,分散カーネルの分散化について,分割法と分割法を用いて検討する。 ノイズフリー環境では,カーネルリッジ回帰がN-1$よりも高速に実現できることを示す。
  論文  参考訳（メタデータ） (2020-06-30T13:00:16Z)
• Scaling up Kernel Ridge Regression via Locality Sensitive Hashing [6.704115928005158]
  ランダムな双対関数の重み付け版を導入し、対応するカーネル関数が滑らかなガウス過程を生成することを示す。 重み付けされたランダムなバイナリ化特徴は、対応するカーネル行列にスペクトル近似を与え、カーネルリッジ回帰の効率的なアルゴリズムをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-03-21T21:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。