論文の概要: Hybrid Random Features

• arxiv url: http://arxiv.org/abs/2110.04367v1
• Date: Fri, 8 Oct 2021 20:22:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 15:34:07.084864
• Title: Hybrid Random Features
• Title（参考訳）: ハイブリッドランダムの特徴
• Authors: Krzysztof Choromanski, Haoxian Chen, Han Lin, Yuanzhe Ma, Arijit Sehanobish, Deepali Jain, Michael S Ryoo, Jake Varley, Andy Zeng, Valerii Likhosherstov, Dmitry Kalashnikov, Vikas Sindhwani, Adrian Weller
• Abstract要約: ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。 HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
• 参考スコア（独自算出の注目度）: 60.116392415715275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new class of random feature methods for linearizing softmax and Gaussian kernels called hybrid random features (HRFs) that automatically adapt the quality of kernel estimation to provide most accurate approximation in the defined regions of interest. Special instantiations of HRFs lead to well-known methods such as trigonometric (Rahimi and Recht, 2007) or (recently introduced in the context of linear-attention Transformers) positive random features (Choromanski et al., 2021). By generalizing Bochner's Theorem for softmax/Gaussian kernels and leveraging random features for compositional kernels, the HRF-mechanism provides strong theoretical guarantees - unbiased approximation and strictly smaller worst-case relative errors than its counterparts. We conduct exhaustive empirical evaluation of HRF ranging from pointwise kernel estimation experiments, through tests on data admitting clustering structure to benchmarking implicit-attention Transformers (also for downstream Robotics applications), demonstrating its quality in a wide spectrum of machine learning problems.
• Abstract（参考訳）: 本稿では,カーネル推定の品質を自動的に適応して,関心領域の最も正確な近似を行う,Hybrid random Features (HRFs) と呼ばれる,ソフトマックスとガウスカーネルの線形化のための新しいランダム特徴法を提案する。 HRFの特殊インスタンス化は三角法 (Rahimi and Recht, 2007) や正のランダム特徴 (Choromanski et al., 2021) のようなよく知られた方法につながる。 ボッヒナーのソフトマックス/ガウス核の定理を一般化し、構成核のランダムな特徴を活用することで、HRF-メカニズムは、非バイアス近似とそれよりはるかに小さな最悪の相対誤差という強力な理論的保証を提供する。 我々は、ポイントワイドカーネル推定実験からクラスタリング構造を認めるデータテスト、暗黙のアテンション変換器(ダウンストリームロボティクスアプリケーションも含む)のベンチマークに至るまで、HRFの徹底的な評価を行い、幅広い機械学習問題においてその品質を実証した。

関連論文リスト

• Optimal Kernel Quantile Learning with Random Features [0.9208007322096533]
  本稿では、ランダムな特徴を持つカーネル量子化回帰(KQR-RF)の一般化研究について述べる。 本研究は,KQR-RFの能力依存学習率を,RF数に対する軽度条件下で確立する。 我々の仮定を少し修正することによって、キャパシティに依存した誤差解析が、リプシッツ連続損失のケースにも適用できる。
  論文  参考訳（メタデータ） (2024-08-24T14:26:09Z)
• Stein Random Feature Regression [18.477250397403722]
  スタインランダム特徴(SRF)は、高品質なRFFサンプルを生成し、非分析スペクトル測定後部を柔軟に近似するために用いられる。 SRFは、カーネル近似とベイズカーネル学習の両方を実行するために、ログ確率勾配の評価のみを必要とする。 カーネル近似とよく知られたGP回帰問題に基づくベースラインと比較することにより、SRFの有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-06-01T13:24:48Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Simplex Random Features [53.97976744884616]
  ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。 我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。 ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
  論文  参考訳（メタデータ） (2023-01-31T18:53:39Z)
• Experimental Design for Linear Functionals in Reproducing Kernel Hilbert Spaces [102.08678737900541]
  線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。 準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
  論文  参考訳（メタデータ） (2022-05-26T20:56:25Z)
• Random Gegenbauer Features for Scalable Kernel Methods [11.370390549286757]
  我々は、GZK(Generalized Zonal Kernels)と呼ばれる新しい、リッチなカーネル関数のクラスを近似する効率的なランダムな特徴を提案する。 提案したGZKファミリーは、ゲゲンバウアー級数展開における因子を導入することにより、粒子核を一般化する。 提案手法は最近のカーネル近似法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-07T19:30:36Z)
• Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for Safety-Critical Applications [71.23286211775084]
  未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。 提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。 実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-06T17:10:01Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Marginalised Gaussian Processes with Nested Sampling [10.495114898741203]
  ガウス過程(GP)モデルは、カーネル関数によって制御される帰納バイアスを持つ関数上の豊富な分布である。 本研究は,Nested Smpling (NS) を用いてカーネル関数のハイパーパラメータを疎外する学習手法を提案する。
  論文  参考訳（メタデータ） (2020-10-30T16:04:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。