論文の概要: Johnson-Lindenstrauss Lemma, Linear and Nonlinear Random Projections,
Random Fourier Features, and Random Kitchen Sinks: Tutorial and Survey
- arxiv url: http://arxiv.org/abs/2108.04172v1
- Date: Mon, 9 Aug 2021 16:58:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-10 15:39:57.290872
- Title: Johnson-Lindenstrauss Lemma, Linear and Nonlinear Random Projections,
Random Fourier Features, and Random Kitchen Sinks: Tutorial and Survey
- Title(参考訳): Johnson-Lindenstrauss Lemma, Linear and linear Random Projections, Random Fourier Features, Random Kitchen Sinks: Tutorial and Survey
- Authors: Benyamin Ghojogh, Ali Ghodsi, Fakhri Karray, Mark Crowley
- Abstract要約: このチュートリアルは、Johnson-Lindenstrauss(JL)補題と線形および非線形ランダム射影に焦点を当てている。
低ランク行列近似と近接近傍探索の2つのランダムプロジェクションのハイパーキューブへのランダムプロジェクションによる主な応用を解説する。
極端学習機械、ランダム重み付きニューラルネットワーク、ランダムプロジェクションのアンサンブルを含む非線形ランダムプロジェクションの他の方法も紹介されている。
- 参考スコア(独自算出の注目度): 5.967999555890417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This is a tutorial and survey paper on the Johnson-Lindenstrauss (JL) lemma
and linear and nonlinear random projections. We start with linear random
projection and then justify its correctness by JL lemma and its proof. Then,
sparse random projections with $\ell_1$ norm and interpolation norm are
introduced. Two main applications of random projection, which are low-rank
matrix approximation and approximate nearest neighbor search by random
projection onto hypercube, are explained. Random Fourier Features (RFF) and
Random Kitchen Sinks (RKS) are explained as methods for nonlinear random
projection. Some other methods for nonlinear random projection, including
extreme learning machine, randomly weighted neural networks, and ensemble of
random projections, are also introduced.
- Abstract(参考訳): ジョンソン・リンデンシュトラウス(JL)補題と線形および非線形ランダム射影に関するチュートリアルおよび調査論文である。
まず線形ランダム射影から始め、JL補題とその証明によってその正しさを正当化する。
次に、$\ell_1$ノルムと補間ノルムを持つスパースランダムプロジェクションを導入する。
低ランク行列近似と近接近傍探索の2つのランダムプロジェクションのハイパーキューブへのランダムプロジェクションによる主な応用を解説する。
ランダムフーリエ特徴(RFF)とランダムキッチンシンク(RKS)は非線形ランダム投影の手法として説明される。
極端学習機械、ランダム重み付きニューラルネットワーク、ランダムプロジェクションのアンサンブルを含む非線形ランダムプロジェクションの他の方法も紹介されている。
関連論文リスト
- Sliced Wasserstein with Random-Path Projecting Directions [49.802024788196434]
本稿では,モンテカルロ予想推定のための高速サンプリングを行う最適化自由スライシング分布を提案する。
我々はランダムパススライシング分布(RPSD)とスライスされたワッサースタインの2つの変種、すなわちランダムパススライシングワッサースタイン(RPSW)とIWRPSW(Importance Weighted Random-Path Projection Sliced Wasserstein)を導出する。
論文 参考訳(メタデータ) (2024-01-29T04:59:30Z) - A Random Projection k Nearest Neighbours Ensemble for Classification via
Extended Neighbourhood Rule [0.5052937880533719]
k近い隣人(kNN)に基づくアンサンブルは、多数の基礎学習者を組み合わせている。
RPExNRuleアンサンブルは、与えられたトレーニングデータからのブートストラップサンプルをランダムに低次元に投影する。
論文 参考訳(メタデータ) (2023-03-21T21:58:59Z) - Simplex Random Features [53.97976744884616]
ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。
我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。
ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
論文 参考訳(メタデータ) (2023-01-31T18:53:39Z) - Testing randomness of series generated in Bell's experiment [62.997667081978825]
おもちゃの光ファイバーをベースとしたセットアップを用いてバイナリシリーズを生成し、そのランダム度をVilleの原理に従って評価する。
標準統計指標の電池、ハースト、コルモゴロフ複雑性、最小エントロピー、埋め込みのTakensarity次元、および拡張ディッキー・フラーとクワイアトコフスキー・フィリップス・シュミット・シン(英語版)でテストされ、ステーション指数をチェックする。
Toeplitz 抽出器を不規則級数に適用することにより得られる系列のランダム性のレベルは、非還元原料のレベルと区別できない。
論文 参考訳(メタデータ) (2022-08-31T17:39:29Z) - Algorithmic Gaussianization through Sketching: Converting Data into
Sub-gaussian Random Designs [22.925108493465363]
平均化によるデータ分布のガウシアン化のためのアルゴリズムフレームワークを提供する。
我々は、ガウス以下のランダムな設計とほとんど区別できないデータスケッチを効率的に構築できることを示す。
論文 参考訳(メタデータ) (2022-06-21T12:16:45Z) - Analysis of One-Hidden-Layer Neural Networks via the Resolvent Method [0.0]
ランダムニューラルネットワークによって動機づけられた確率行列 $M = Y Yast$ と $Y = f(WX)$ を考える。
制限スペクトル分布のStieltjes変換は、いくつかの誤差項まで準自己整合方程式を満たすことを証明している。
さらに、前回の結果を加法バイアス $Y=f(WX+B)$ の場合に拡張し、$B$ は独立なランク1のガウス確率行列である。
論文 参考訳(メタデータ) (2021-05-11T15:17:39Z) - Estimating Stochastic Linear Combination of Non-linear Regressions
Efficiently and Scalably [23.372021234032363]
サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。
私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
論文 参考訳(メタデータ) (2020-10-19T07:15:38Z) - Stochastic Saddle-Point Optimization for Wasserstein Barycenters [69.68068088508505]
オンラインデータストリームによって生成される有限個の点からなるランダムな確率測度に対する人口推定バリセンタ問題を考察する。
本稿では,この問題の構造を用いて,凸凹型サドル点再構成を行う。
ランダム確率測度の分布が離散的な場合、最適化アルゴリズムを提案し、その複雑性を推定する。
論文 参考訳(メタデータ) (2020-06-11T19:40:38Z) - Distributed Sketching Methods for Privacy Preserving Regression [54.51566432934556]
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
従来のスケッチ手法に対する新しい近似保証を導出し、分散スケッチにおけるパラメータ平均化の精度を解析する。
大規模実験によるサーバレスコンピューティングプラットフォームにおける分散スケッチのパフォーマンスについて説明する。
論文 参考訳(メタデータ) (2020-02-16T08:35:48Z) - Randomized Exploration in Generalized Linear Bandits [56.05007606177762]
一般化線形帯域に対する2つのランダム化アルゴリズムについて検討する。
最初のGLM-TSLは、ラプラス近似から後方分布への一般化線形モデル(GLM)をサンプリングする。
第2のGLM-FPLは、過去の報酬のランダムな摂動履歴にGLMを適合させる。
論文 参考訳(メタデータ) (2019-06-21T04:57:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。