論文の概要: Quantization Algorithms for Random Fourier Features
- arxiv url: http://arxiv.org/abs/2102.13079v1
- Date: Thu, 25 Feb 2021 18:51:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-27 10:26:01.167398
- Title: Quantization Algorithms for Random Fourier Features
- Title（参考訳）: ランダムフーリエ特徴の量子化アルゴリズム
- Authors: Xiaoyun Li and Ping Li
- Abstract要約: ランダムフーリエ特徴の方法(rff)も、ガウス核の近似として普及している。
RFFは、ランダムな投影から投影されたデータに特定の非線形変換を適用する。
本稿では,RFFの量子化アルゴリズムの開発に焦点を当てる。
- 参考スコア（独自算出の注目度）: 25.356048456005023
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The method of random projection (RP) is the standard technique in machine
learning and many other areas, for dimensionality reduction, approximate near
neighbor search, compressed sensing, etc. Basically, RP provides a simple and
effective scheme for approximating pairwise inner products and Euclidean
distances in massive data. Closely related to RP, the method of random Fourier
features (RFF) has also become popular, for approximating the Gaussian kernel.
RFF applies a specific nonlinear transformation on the projected data from
random projections. In practice, using the (nonlinear) Gaussian kernel often
leads to better performance than the linear kernel (inner product), partly due
to the tuning parameter $(\gamma)$ introduced in the Gaussian kernel. Recently,
there has been a surge of interest in studying properties of RFF.
After random projections, quantization is an important step for efficient
data storage, computation, and transmission. Quantization for RP has also been
extensive studied in the literature. In this paper, we focus on developing
quantization algorithms for RFF. The task is in a sense challenging due to the
tuning parameter $\gamma$ in the Gaussian kernel. For example, the quantizer
and the quantized data might be tied to each specific tuning parameter
$\gamma$. Our contribution begins with an interesting discovery, that the
marginal distribution of RFF is actually free of the Gaussian kernel parameter
$\gamma$. This small finding significantly simplifies the design of the
Lloyd-Max (LM) quantization scheme for RFF in that there would be only one LM
quantizer for RFF (regardless of $\gamma$). We also develop a variant named
LM$^2$-RFF quantizer, which in certain cases is more accurate. Experiments
confirm that the proposed quantization schemes perform well.
- Abstract（参考訳）: ランダム・プロジェクション(RP)の手法は、機械学習やその他の多くの分野において、次元の縮小、近接探索の近似、圧縮センシングなどの標準的な手法である。
RPは基本的に、大規模データにおけるペアワイズ内積とユークリッド距離を近似するためのシンプルで効果的なスキームを提供します。
RPと密接に関連し、ガウスカーネルを近似するためにランダムフーリエ特徴(RFF)の方法も普及している。
RFFは、ランダムな投影から投影されたデータに特定の非線形変換を適用する。
実際には、(非線形)ガウス系カーネルの使用は、ガウス系カーネルに導入されたチューニングパラメータ$(\gamma)$により、しばしば線形系カーネル(内積)よりも優れた性能をもたらす。
近年,RFFの特性研究への関心が高まっている。
ランダムな投影の後、量子化は効率的なデータ保存、計算、伝送の重要なステップである。
RPの量子化も文献で広く研究されている。
本稿では,RFFの量子化アルゴリズムの開発に焦点を当てる。
タスクは、ガウスカーネルのチューニングパラメータ$\gamma$のために、ある意味で難しいです。
例えば、量子化器と量子化データは、各特定のチューニングパラメータ $\gamma$ に結び付けられます。
私たちの貢献は興味深い発見から始まり、RFFの限界分布は実際にはガウスカーネルパラメータ$\gamma$を含まないということです。
この小さな発見は、RFFのためのロイドマックス(LM)量子化スキームの設計を大幅に簡素化し、RFF用のLM量子化器が1つしかない($\gamma$を除く)。
また,lm$^2$-rff量子化器 (lm$^2$-rff quantizer) という変種も開発した。
実験により提案した量子化スキームが良好に動作することを確認した。
関連論文リスト
- Gaussian Processes Sampling with Sparse Grids under Additive Schwarz Preconditioner [6.408773096179187]
本稿では,GPモデルの前と後をランダムに実現するためのスケーラブルなアルゴリズムを提案する。
提案アルゴリズムはスパースグリッドを用いた点近似と加法的シュワルツプレコンディショナーを利用する。
論文 参考訳（メタデータ） (2024-08-01T00:19:36Z) - Solving High Frequency and Multi-Scale PDEs with Gaussian Processes [18.190228010565367]
PINNは、しばしば高周波およびマルチスケールのPDEを解決するのに苦労する。
我々はこの問題を解決するためにガウス過程(GP)フレームワークを利用する。
我々はKroneckerの製品特性と多線型代数を用いて計算効率とスケーラビリティを向上する。
論文 参考訳（メタデータ） (2023-11-08T05:26:58Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-09T03:55:09Z) - Simplex Random Features [53.97976744884616]
ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。
我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。
ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
論文 参考訳（メタデータ） (2023-01-31T18:53:39Z) - Neural Inference of Gaussian Processes for Time Series Data of Quasars [72.79083473275742]
クエーサースペクトルを完全に記述できる新しいモデルを提案する。
また、$textitNeural Inference$というガウス的プロセスパラメータの推論の新しいメソッドも導入しています。
CDRWモデルとNeural Inferenceの組み合わせはベースラインのDRWとMLEを大きく上回っている。
論文 参考訳（メタデータ） (2022-11-17T13:01:26Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - Gaussian Process Bandit Optimization with Few Batches [49.896920704012395]
有限腕バンディットアルゴリズムにインスパイアされたバッチアルゴリズムを導入する。
O(log T)$ batches in time horizon $T$.sqrtTgamma_T)$ using $O(log T)$ batches in time horizon。
さらに,アルゴリズムの修正版を提案し,バッチ数によって後悔がどう影響するかを特徴付ける。
論文 参考訳（メタデータ） (2021-10-15T00:54:04Z) - Sigma-Delta and Distributed Noise-Shaping Quantization Methods for
Random Fourier Features [73.25551965751603]
我々は、量子化 RFF が基礎となるカーネルの高精度な近似を可能にすることを証明した。
量子化 RFF はさらに圧縮され,メモリ使用量と精度のトレードオフに優れることを示す。
本手法は,この文脈におけるアート量子化手法の他の状態と比較し,いくつかの機械学習タスクにおいて,提案手法の性能を実証的に示す。
論文 参考訳（メタデータ） (2021-06-04T17:24:47Z) - Gauss-Legendre Features for Gaussian Process Regression [7.37712470421917]
カーネル行列の低階近似を用いてガウス過程の回帰をスケールアップするためのガウス・レーゲンドル二次法を提案する。
この手法はよく知られたランダムなフーリエ特徴法に触発され、数値積分による低ランク近似も構築する。
論文 参考訳（メタデータ） (2021-01-04T18:09:25Z) - Fourier Sparse Leverage Scores and Approximate Kernel Learning [29.104055676527913]
我々はガウス測度とラプラス測度の両方の下でフーリエ関数のレバレッジスコアに新しい明示的な上限を証明した。
私たちの限界は、機械学習における2つの重要な応用によって動機付けられています。
論文 参考訳（メタデータ） (2020-06-12T17:25:39Z) - Scaling up Kernel Ridge Regression via Locality Sensitive Hashing [6.704115928005158]
ランダムな双対関数の重み付け版を導入し、対応するカーネル関数が滑らかなガウス過程を生成することを示す。
重み付けされたランダムなバイナリ化特徴は、対応するカーネル行列にスペクトル近似を与え、カーネルリッジ回帰の効率的なアルゴリズムをもたらすことを示す。
論文 参考訳（メタデータ） (2020-03-21T21:41:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。