Fugu-MT 論文翻訳(概要): Random matrices in service of ML footprint: ternary random features with no performance loss

論文の概要: Random matrices in service of ML footprint: ternary random features with no performance loss

arxiv url: http://arxiv.org/abs/2110.01899v1
Date: Tue, 5 Oct 2021 09:33:49 GMT
ステータス: 処理完了
システム内更新日: 2021-10-06 21:02:48.415842
Title: Random matrices in service of ML footprint: ternary random features with no performance loss
Title（参考訳）: mlフットプリントサービスにおけるランダム行列:性能損失のない3次ランダム特徴
Authors: Hafiz Tiomoko Ali, Zhenyu Liao, Romain Couillet
Abstract要約: 我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。 3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
参考スコア（独自算出の注目度）: 55.30329197651178
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this article, we investigate the spectral behavior of random features kernel matrices of the type ${\bf K} = \mathbb{E}_{{\bf w}} \left[\sigma\left({\bf w}^{\sf T}{\bf x}_i\right)\sigma\left({\bf w}^{\sf T}{\bf x}_j\right)\right]_{i,j=1}^n$, with nonlinear function $\sigma(\cdot)$, data ${\bf x}_1, \ldots, {\bf x}_n \in \mathbb{R}^p$, and random projection vector ${\bf w} \in \mathbb{R}^p$ having i.i.d. entries. In a high-dimensional setting where the number of data $n$ and their dimension $p$ are both large and comparable, we show, under a Gaussian mixture model for the data, that the eigenspectrum of ${\bf K}$ is independent of the distribution of the i.i.d.(zero-mean and unit-variance) entries of ${\bf w}$, and only depends on $\sigma(\cdot)$ via its (generalized) Gaussian moments $\mathbb{E}_{z\sim \mathcal N(0,1)}[\sigma'(z)]$ and $\mathbb{E}_{z\sim \mathcal N(0,1)}[\sigma''(z)]$. As a result, for any kernel matrix ${\bf K}$ of the form above, we propose a novel random features technique, called Ternary Random Feature (TRF), that (i) asymptotically yields the same limiting kernel as the original ${\bf K}$ in a spectral sense and (ii) can be computed and stored much more efficiently, by wisely tuning (in a data-dependent manner) the function $\sigma$ and the random vector ${\bf w}$, both taking values in $\{-1,0,1\}$. The computation of the proposed random features requires no multiplication, and a factor of $b$ times less bits for storage compared to classical random features such as random Fourier features, with $b$ the number of bits to store full precision values. Besides, it appears in our experiments on real data that the substantial gains in computation and storage are accompanied with somewhat improved performances compared to state-of-the-art random features compression/quantization methods.
Abstract（参考訳）: 本稿では、非線型関数 $\sigma(\cdot)$, data ${\bf x}_1, \ldots, {\bf x}_n \mathbb{R}^p$, and random vector ${\bf w} \mathbb{R}^p$, and random vector ${\bf w}^{\sf T}{\bf x}_i\right)\right]_{i,j=1}^n$, with linear function $\sigma(\cdot)$, data ${\bf x}_1, \ldots, {\bf x}_n \mathbb{R}^p$, and random vector ${\bf w}^{\sf T}{\bf x}_i\right)\right)\right]_{i,j=1}^p$,。 n$ とそれらの次元 $p$ がともに大きい高次元の設定において、データのガウス混合モデルの下では、${\bf k}$ の固有スペクトルは ${\bf w}$ の i.i.d.(0-mean and unit-variance) の成分の分布とは独立であり、その(一般化された)ガウス的モーメントである $\mathbb{e}_{z\sim \mathcal n(0,1)}[\sigma'(z)]$ と $\mathbb{e}_{z\sim \mathcal n(0,1)}[\sigma'(z)]$と$\mathbb{e}_{z\sim \mathcal n(0,1)} のみに依存する。その結果、上記の形の任意のカーネル行列${\bf K}$に対して、三次ランダム特徴(TRF)と呼ばれる新しいランダム特徴技術を提案する。 (i)漸近的に、スペクトル意味で元の${\bf k}$と同じ制限核を生じさせ、 (ii) 関数 $\sigma$ とランダムベクトル ${\bf w}$ を巧みに(データに依存して)チューニングすることで、より効率的に計算し、格納することができる。提案されたランダムな特徴の計算は、乗算を必要とせず、ランダムなフーリエ特徴のような古典的ランダムな特徴に比べてストレージにb$のビットを要せず、完全な精度値を格納するビット数をb$とする。さらに, 実データでは, 計算と記憶の大幅な向上が, 最先端のランダムな特徴圧縮/量子化法と比較して若干改善された性能を伴っていることが明らかとなった。

論文の概要: Random matrices in service of ML footprint: ternary random features with no performance loss

関連論文リスト