論文の概要: Simplex Random Features
- arxiv url: http://arxiv.org/abs/2301.13856v1
- Date: Tue, 31 Jan 2023 18:53:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-01 15:15:58.808384
- Title: Simplex Random Features
- Title(参考訳): Simplexランダム機能
- Authors: Isaac Reid, Krzysztof Choromanski, Valerii Likhosherstov, Adrian
Weller
- Abstract要約: ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。
我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。
ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
- 参考スコア(独自算出の注目度): 40.836348029879325
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Simplex Random Features (SimRFs), a new random feature (RF)
mechanism for unbiased approximation of the softmax and Gaussian kernels by
geometrical correlation of random projection vectors. We prove that SimRFs
provide the smallest possible mean square error (MSE) on unbiased estimates of
these kernels among the class of weight-independent geometrically-coupled
positive random feature (PRF) mechanisms, substantially outperforming the
previously most accurate Orthogonal Random Features at no observable extra
cost. We present a more computationally expensive SimRFs+ variant, which we
prove is asymptotically optimal in the broader family of weight-dependent
geometrical coupling schemes (which permit correlations between random vector
directions and norms). In extensive empirical studies, we show consistent gains
provided by SimRFs in settings including pointwise kernel estimation,
nonparametric classification and scalable Transformers.
- Abstract(参考訳): ランダム投影ベクトルの幾何学的相関によるソフトマックスとガウス核の非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。
我々は、SimRFが、これらのカーネルの非偏り推定値に最小の平均二乗誤差(MSE)を、重量非依存の幾何結合正の正のランダム特徴(PRF)機構のクラスで提供し、これまでで最も正確な直交ランダム特徴を観測可能な余分なコストで大幅に上回っていることを証明した。
我々はより計算コストのかかるSimRFs+変種を提示するが、これはより広範な重量依存幾何学的結合スキーム(ランダムベクトル方向とノルムの相関を許容する)の族において漸近的に最適である。
広範にわたる実証研究において,SimRFsは,ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において一貫した利得を示す。
関連論文リスト
- Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳(メタデータ) (2024-03-08T18:50:19Z) - Error Bounds for Learning with Vector-Valued Random Features [2.375038919274297]
本稿では,ベクトル値ランダム特徴量(RF)を用いた学習の包括的誤り解析を提供する。
この理論は、完全な無限次元入力出力設定におけるRFリッジ回帰のために開発された。
論文 参考訳(メタデータ) (2023-05-26T18:00:08Z) - Chefs' Random Tables: Non-Trigonometric Random Features [39.282051468586666]
我々は,シェフのランダムテーブル(CRT)を紹介した。これは,ガウスカーネルとソフトマックスカーネルを近似するために,新しい非三角ランダム特徴(RF)のクラスである。
CRTは、本質的に三角図に依存する標準的なランダムキッチンシンク(RKS)法に代わるものである。
RFが正となるCRTの変種を,近年の低ランクトランスフォーマーの応用における重要な要件として提示する。
論文 参考訳(メタデータ) (2022-05-30T11:37:21Z) - Nonparametric likelihood-free inference with Jensen-Shannon divergence
for simulator-based models with categorical output [1.4298334143083322]
シミュレータに基づく統計モデルに対する自由な推論は、機械学習と統計のコミュニティの両方において、関心の高まりを招いている。
本稿では、Jensen-Shannon- divergenceの計算特性を用いて、モデルパラメータに対する推定、仮説テスト、信頼区間の構築を可能にする理論的結果のセットを導出する。
このような近似はより集中的なアプローチの素早い代替手段であり、シミュレーターベースモデルの多種多様な応用には魅力的である。
論文 参考訳(メタデータ) (2022-05-22T18:00:13Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳(メタデータ) (2021-12-29T18:46:52Z) - Hybrid Random Features [60.116392415715275]
ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。
HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
論文 参考訳(メタデータ) (2021-10-08T20:22:59Z) - Sinkhorn Natural Gradient for Generative Models [125.89871274202439]
本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。
本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。
本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
論文 参考訳(メタデータ) (2020-11-09T02:51:17Z) - A Dynamical Mean-Field Theory for Learning in Restricted Boltzmann
Machines [2.8021833233819486]
ボルツマンマシンにおける磁化計算のためのメッセージパッシングアルゴリズムを定義する。
安定性基準の下でのアルゴリズムのグローバル収束を証明し,数値シミュレーションとの良好な一致を示す収束率を計算する。
論文 参考訳(メタデータ) (2020-05-04T15:19:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。