論文の概要: Simplex Random Features

• arxiv url: http://arxiv.org/abs/2301.13856v2
• Date: Sat, 7 Oct 2023 15:55:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 15:10:51.961218
• Title: Simplex Random Features
• Title（参考訳）: Simplexランダム機能
• Authors: Isaac Reid, Krzysztof Choromanski, Valerii Likhosherstov, Adrian Weller
• Abstract要約: ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。 我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。 ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
• 参考スコア（独自算出の注目度）: 53.97976744884616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Simplex Random Features (SimRFs), a new random feature (RF) mechanism for unbiased approximation of the softmax and Gaussian kernels by geometrical correlation of random projection vectors. We prove that SimRFs provide the smallest possible mean square error (MSE) on unbiased estimates of these kernels among the class of weight-independent geometrically-coupled positive random feature (PRF) mechanisms, substantially outperforming the previously most accurate Orthogonal Random Features at no observable extra cost. We present a more computationally expensive SimRFs+ variant, which we prove is asymptotically optimal in the broader family of weight-dependent geometrical coupling schemes (which permit correlations between random vector directions and norms). In extensive empirical studies, we show consistent gains provided by SimRFs in settings including pointwise kernel estimation, nonparametric classification and scalable Transformers.
• Abstract（参考訳）: ランダム投影ベクトルの幾何学的相関によるソフトマックスとガウス核の非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。 我々は、SimRFが、これらのカーネルの非偏り推定値に最小の平均二乗誤差(MSE)を、重量非依存の幾何結合正の正のランダム特徴(PRF)機構のクラスで提供し、これまでで最も正確な直交ランダム特徴を観測可能な余分なコストで大幅に上回っていることを証明した。 我々はより計算コストのかかるSimRFs+変種を提示するが、これはより広範な重量依存幾何学的結合スキーム(ランダムベクトル方向とノルムの相関を許容する)の族において漸近的に最適である。 広範にわたる実証研究において,SimRFsは,ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において一貫した利得を示す。

関連論文リスト

• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Stochastic Multivariate Universal-Radix Finite-State Machine: a Theoretically and Practically Elegant Nonlinear Function Approximator [9.92828543462075]
  非線形関数は、しばしば様々なハードウェアと計算オーバーヘッドを引き起こす。 計算(SC)は、ハードウェアの単純さのために出力精度を交換することで、この問題に取り組むための有望なアプローチとして登場した。 本稿では,第一種ユニバーサルラジックス有限状態機械(SMURF)を提案する。 実験ではSMURFの優位性が示され、16.07%の面積と14.45%のTaylor系列近似が必要とされる。
  論文  参考訳（メタデータ） (2024-05-03T02:53:32Z)
• Error Bounds for Learning with Vector-Valued Random Features [2.375038919274297]
  本稿では,ベクトル値ランダム特徴量(RF)を用いた学習の包括的誤り解析を提供する。 この理論は、完全な無限次元入力出力設定におけるRFリッジ回帰のために開発された。
  論文  参考訳（メタデータ） (2023-05-26T18:00:08Z)
• Chefs' Random Tables: Non-Trigonometric Random Features [39.282051468586666]
  我々は,シェフのランダムテーブル(CRT)を紹介した。これは,ガウスカーネルとソフトマックスカーネルを近似するために,新しい非三角ランダム特徴(RF)のクラスである。 CRTは、本質的に三角図に依存する標準的なランダムキッチンシンク(RKS)法に代わるものである。 RFが正となるCRTの変種を,近年の低ランクトランスフォーマーの応用における重要な要件として提示する。
  論文  参考訳（メタデータ） (2022-05-30T11:37:21Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Hybrid Random Features [60.116392415715275]
  ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。 HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:59Z)
• Sinkhorn Natural Gradient for Generative Models [125.89871274202439]
  本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。 本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。 本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
  論文  参考訳（メタデータ） (2020-11-09T02:51:17Z)
• A Dynamical Mean-Field Theory for Learning in Restricted Boltzmann Machines [2.8021833233819486]
  ボルツマンマシンにおける磁化計算のためのメッセージパッシングアルゴリズムを定義する。 安定性基準の下でのアルゴリズムのグローバル収束を証明し,数値シミュレーションとの良好な一致を示す収束率を計算する。
  論文  参考訳（メタデータ） (2020-05-04T15:19:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。