論文の概要: Hybrid Random Features
- arxiv url: http://arxiv.org/abs/2110.04367v1
- Date: Fri, 8 Oct 2021 20:22:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-12 15:34:07.084864
- Title: Hybrid Random Features
- Title(参考訳): ハイブリッドランダムの特徴
- Authors: Krzysztof Choromanski, Haoxian Chen, Han Lin, Yuanzhe Ma, Arijit
Sehanobish, Deepali Jain, Michael S Ryoo, Jake Varley, Andy Zeng, Valerii
Likhosherstov, Dmitry Kalashnikov, Vikas Sindhwani, Adrian Weller
- Abstract要約: ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。
HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
- 参考スコア(独自算出の注目度): 60.116392415715275
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a new class of random feature methods for linearizing softmax and
Gaussian kernels called hybrid random features (HRFs) that automatically adapt
the quality of kernel estimation to provide most accurate approximation in the
defined regions of interest. Special instantiations of HRFs lead to well-known
methods such as trigonometric (Rahimi and Recht, 2007) or (recently introduced
in the context of linear-attention Transformers) positive random features
(Choromanski et al., 2021). By generalizing Bochner's Theorem for
softmax/Gaussian kernels and leveraging random features for compositional
kernels, the HRF-mechanism provides strong theoretical guarantees - unbiased
approximation and strictly smaller worst-case relative errors than its
counterparts. We conduct exhaustive empirical evaluation of HRF ranging from
pointwise kernel estimation experiments, through tests on data admitting
clustering structure to benchmarking implicit-attention Transformers (also for
downstream Robotics applications), demonstrating its quality in a wide spectrum
of machine learning problems.
- Abstract(参考訳): 本稿では,カーネル推定の品質を自動的に適応して,関心領域の最も正確な近似を行う,Hybrid random Features (HRFs) と呼ばれる,ソフトマックスとガウスカーネルの線形化のための新しいランダム特徴法を提案する。
HRFの特殊インスタンス化は三角法 (Rahimi and Recht, 2007) や正のランダム特徴 (Choromanski et al., 2021) のようなよく知られた方法につながる。
ボッヒナーのソフトマックス/ガウス核の定理を一般化し、構成核のランダムな特徴を活用することで、HRF-メカニズムは、非バイアス近似とそれよりはるかに小さな最悪の相対誤差という強力な理論的保証を提供する。
我々は、ポイントワイドカーネル推定実験からクラスタリング構造を認めるデータテスト、暗黙のアテンション変換器(ダウンストリームロボティクスアプリケーションも含む)のベンチマークに至るまで、HRFの徹底的な評価を行い、幅広い機械学習問題においてその品質を実証した。
関連論文リスト
- FAVOR#: Sharp Attention Kernel Approximations via New Classes of
Positive Random Features [39.282051468586666]
本稿では,ガウスとソフトマックス・カーネルを近似したパラメータ化,正,非三角形のRFを提案する。
提案手法は, カーネル回帰タスクにおいて, 従来の手法よりも分散低減し, 性能的に優れていることを示す。
また,変換器の自己アテンション近似法であるFAVOR#を提案する。
論文 参考訳(メタデータ) (2023-02-01T22:43:29Z) - Simplex Random Features [53.97976744884616]
ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。
我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。
ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
論文 参考訳(メタデータ) (2023-01-31T18:53:39Z) - Experimental Design for Linear Functionals in Reproducing Kernel Hilbert
Spaces [102.08678737900541]
線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。
準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
論文 参考訳(メタデータ) (2022-05-26T20:56:25Z) - Random Gegenbauer Features for Scalable Kernel Methods [11.370390549286757]
我々は、GZK(Generalized Zonal Kernels)と呼ばれる新しい、リッチなカーネル関数のクラスを近似する効率的なランダムな特徴を提案する。
提案したGZKファミリーは、ゲゲンバウアー級数展開における因子を導入することにより、粒子核を一般化する。
提案手法は最近のカーネル近似法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-02-07T19:30:36Z) - Improved Random Features for Dot Product Kernels [15.139805638991122]
我々はドット製品カーネルのランダムな特徴近似の効率を改善するために、いくつかの新しい貢献をしている。
複雑な特徴の利用はこれらの近似のばらつきを著しく減少させることができることを実証的に示す。
また,一般のドット製品カーネルに対するランダムな特徴近似に対するデータ駆動最適化手法を開発した。
論文 参考訳(メタデータ) (2022-01-21T14:16:56Z) - Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for
Safety-Critical Applications [71.23286211775084]
未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。
提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。
実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
論文 参考訳(メタデータ) (2021-09-06T17:10:01Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳(メタデータ) (2021-06-10T18:17:57Z) - Marginalised Gaussian Processes with Nested Sampling [10.495114898741203]
ガウス過程(GP)モデルは、カーネル関数によって制御される帰納バイアスを持つ関数上の豊富な分布である。
本研究は,Nested Smpling (NS) を用いてカーネル関数のハイパーパラメータを疎外する学習手法を提案する。
論文 参考訳(メタデータ) (2020-10-30T16:04:35Z) - Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。
本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。
このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
論文 参考訳(メタデータ) (2020-09-29T12:50:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。