論文の概要: Chefs' Random Tables: Non-Trigonometric Random Features

• arxiv url: http://arxiv.org/abs/2205.15317v1
• Date: Mon, 30 May 2022 11:37:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-01 12:24:16.827552
• Title: Chefs' Random Tables: Non-Trigonometric Random Features
• Title（参考訳）: シェフのランダムテーブル:非三角性ランダム特徴
• Authors: Valerii Likhosherstov, Krzysztof Choromanski, Avinava Dubey, Frederick Liu, Tamas Sarlos, Adrian Weller
• Abstract要約: 我々は,シェフのランダムテーブル(CRT)を紹介した。これは,ガウスカーネルとソフトマックスカーネルを近似するために,新しい非三角ランダム特徴(RF)のクラスである。 CRTは、本質的に三角図に依存する標準的なランダムキッチンシンク(RKS)法に代わるものである。 RFが正となるCRTの変種を,近年の低ランクトランスフォーマーの応用における重要な要件として提示する。
• 参考スコア（独自算出の注目度）: 39.282051468586666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce chefs' random tables (CRTs), a new class of non-trigonometric random features (RFs) to approximate Gaussian and softmax kernels. CRTs are an alternative to standard random kitchen sink (RKS) methods, which inherently rely on the trigonometric maps. We present variants of CRTs where RFs are positive, a key requirement for applications in recent low-rank Transformers. Further variance reduction is possible by leveraging statistics which are simple to compute. One instantiation of CRTs, the optimal positive random features (OPRFs), is to our knowledge the first RF method for unbiased softmax kernel estimation with positive and bounded RFs, resulting in exponentially small tails and much lower variance than its counterparts. As we show, orthogonal random features applied in OPRFs provide additional variance reduction for any dimensionality $d$ (not only asymptotically for sufficiently large $d$, as for RKS). We test CRTs on many tasks ranging from non-parametric classification to training Transformers for text, speech and image data, obtaining new state-of-the-art results for low-rank text Transformers, while providing linear space and time complexity.
• Abstract（参考訳）: 我々は,gaussian および softmax カーネルを近似する新しいクラスである chefs' random tables (crts) を紹介する。 CRTは、本質的に三角図に依存する標準的なランダムキッチンシンク(RKS)法に代わるものである。 RFが正となるCRTの変種を,近年の低ランクトランスフォーマーの応用における重要な要件として提示する。 計算が容易な統計を活用することで、さらなる分散低減が可能となる。 CRTの1つのインスタンス化は、正の正のランダム特徴(OPRF)であり、正と有界のRFを持つ非バイアスのソフトマックスカーネル推定のための最初のRF法であり、結果として指数的に小さな尾とそれよりもはるかに低いばらつきをもたらす。 このように、OPRFに適用される直交ランダムな特徴は、任意の次元$d$に対して(RKSのように十分に大きな$d$に対して漸近的にのみ)さらなる分散還元を与える。 非パラメトリック分類から、テキスト、音声、画像データのトランスフォーマーのトレーニングまで、多くのタスクでcrtをテストし、低ランクのテキストトランスフォーマーの最新の結果を得るとともに、線形空間と時間複雑性を提供する。

関連論文リスト

• Adaptive Random Fourier Features Training Stabilized By Resampling With Applications in Image Regression [0.8947831206263182]
  浅層ニューラルネットワークのための適応型ランダムフーリエ(ARFF)訓練アルゴリズムを提案する。 本手法は, 粒子フィルタ型再サンプリング技術を用いて, トレーニングプロセスの安定化とパラメータ選択に対する感度の低減を図る。
  論文  参考訳（メタデータ） (2024-10-08T22:08:03Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Neural Fields with Thermal Activations for Arbitrary-Scale Super-Resolution [56.089473862929886]
  本稿では,適応型ガウスPSFを用いて点を問合せできる新しい設計手法を提案する。 理論的に保証されたアンチエイリアスにより、任意のスケールの単一画像の超解像のための新しい手法が確立される。
  論文  参考訳（メタデータ） (2023-11-29T14:01:28Z)
• FAVOR#: Sharp Attention Kernel Approximations via New Classes of Positive Random Features [39.282051468586666]
  本稿では,ガウスとソフトマックス・カーネルを近似したパラメータ化,正,非三角形のRFを提案する。 提案手法は, カーネル回帰タスクにおいて, 従来の手法よりも分散低減し, 性能的に優れていることを示す。 また,変換器の自己アテンション近似法であるFAVOR#を提案する。
  論文  参考訳（メタデータ） (2023-02-01T22:43:29Z)
• Simplex Random Features [53.97976744884616]
  ソフトマックスおよびガウスカーネルの非バイアス近似のための新しいランダム特徴(RF)機構であるSimplex Random Features (SimRFs)を提案する。 我々は,これらのカーネルの非バイアス推定値に対して,SimRFが最小平均二乗誤差(MSE)を提供することを示す。 ポイントワイドカーネル推定,非パラメトリック分類,スケーラブルトランスフォーマーなどの設定において,SimRFによる一貫したゲインを示す。
  論文  参考訳（メタデータ） (2023-01-31T18:53:39Z)
• The Terminating-Random Experiments Selector: Fast High-Dimensional Variable Selection with False Discovery Rate Control [10.86851797584794]
  T-Rexセレクタは、ユーザ定義のターゲット偽発見率(FDR)を制御する 元の予測器とランダムに生成されたダミー予測器の複数セットの組み合わせで実験を行った。
  論文  参考訳（メタデータ） (2021-10-12T14:52:46Z)
• Hybrid Random Features [60.116392415715275]
  ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。 HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:59Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Towards Unbiased Random Features with Lower Variance For Stationary Indefinite Kernels [26.57122949130266]
  本アルゴリズムは,既存のカーネル近似法と比較して,より低い分散と近似誤差を達成する。 もともと選択されたカーネルの近似性が向上し、分類精度と回帰能力が向上する。
  論文  参考訳（メタデータ） (2021-04-13T13:56:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。