論文の概要: Spectraformer: A Unified Random Feature Framework for Transformer

• arxiv url: http://arxiv.org/abs/2405.15310v4
• Date: Fri, 27 Jun 2025 07:39:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 15:06:56.745184
• Title: Spectraformer: A Unified Random Feature Framework for Transformer
• Title（参考訳）: Spectraformer: Transformer用の統一ランダム機能フレームワーク
• Authors: Duke Nguyen, Du Yin, Aditya Joshi, Flora Salim,
• Abstract要約: 本稿では,Transformerのアテンション機構におけるカーネル関数の近似と学習のための統合フレームワークであるSpectraformerを紹介する。 我々の経験的結果は、ランダムな特徴に基づくアプローチが、最高性能のスパース法と低ランク法に匹敵する性能を達成することを初めて証明した。
• 参考スコア（独自算出の注目度）: 2.840845885274172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linearization of attention using various kernel approximation and kernel learning techniques has shown promise. Past methods used a subset of combinations of component functions and weight matrices within the random feature paradigm. We identify the need for a systematic comparison of different combinations of weight matrices and component functions for attention learning in Transformer. Hence, we introduce Spectraformer, a unified framework for approximating and learning the kernel function in the attention mechanism of the Transformer. Our empirical results demonstrate, for the first time, that a random feature-based approach can achieve performance comparable to top-performing sparse and low-rank methods on the challenging Long Range Arena benchmark. Thus, we establish a new state-of-the-art for random feature-based efficient Transformers. The framework also produces many variants that offer different advantages in accuracy, training time, and memory consumption. Our code is available at: https://github.com/cruiseresearchgroup/spectraformer .
• Abstract（参考訳）: 様々なカーネル近似とカーネル学習技術を用いた注意の線形化は有望である。 過去の手法では、ランダムな特徴パラダイムの中でコンポーネント関数とウェイト行列の組み合わせのサブセットを使用していた。 本研究では,トランスフォーマーにおける注目学習のための重み行列と成分関数の組み合わせを体系的に比較する必要性を明らかにする。 そこで本研究では,Transformerのアテンション機構におけるカーネル関数の近似と学習のための統合フレームワークであるSpectraformerを紹介する。 我々の経験的結果は、ランダムな特徴に基づくアプローチが、挑戦的なLong Range Arenaベンチマークにおいて、最高性能のスパース法と低ランク法に匹敵する性能を達成することを初めて証明した。 そこで我々は,ランダムな特徴量に基づく効率的なトランスフォーマのための新しい最先端技術を構築した。 このフレームワークは、精度、トレーニング時間、メモリ消費の異なる利点を提供する多くの変種も生成する。 私たちのコードは、https://github.com/cruiseresearchgroup/spectraformer.comで利用可能です。

関連論文リスト

• Feature maps for the Laplacian kernel and its generalizations [3.671202973761375]
  ガウス核とは異なり、ラプラシア核は分離できない。 ラプラシア核とその2つの一般化に対してランダムな特徴を与える。 実データセット上でこれらのランダムな特徴写像の有効性を実証する。
  論文  参考訳（メタデータ） (2025-02-21T16:36:20Z)
• New random projections for isotropic kernels using stable spectral distributions [0.0]
  スペクトルカーネル分布を$alpha$-stableランダムベクトルのスケール混合として分解する。 結果は、サポートベクターマシン、カーネルリッジレグレッション、その他のカーネルベースの機械学習技術に広く応用されている。
  論文  参考訳（メタデータ） (2024-11-05T03:28:01Z)
• On the Identifiability and Interpretability of Gaussian Process Models [8.417178903130244]
  単出力ガウス過程(GP)モデルにおいて,Mat'ernカーネルの加法的混合を用いることの一般的な実践を批判的に検討する。 マタン核の混合の滑らかさは、最小の滑らかな成分によって決定され、そのような核を持つGPは、実質的に最小の滑らかなカーネル成分と等価であることを示す。 A$は乗算定数まで同定可能であることを示し、乗算混合が多出力タスクに適していることを示唆する。
  論文  参考訳（メタデータ） (2023-10-25T22:00:29Z)
• Transformer with Fourier Integral Attentions [18.031977028559282]
  本稿では,ドット積カーネルを一般化されたフーリエ積分カーネルに置き換えた新しい変圧器のクラスを提案する。 FourierFormersは従来のドット生成型変換器と比較して精度が向上し、注目ヘッド間の冗長性が低減された。 本稿では,FourierFormersのベースライントランスフォーマーに対する利点を,言語モデリングや画像分類など,様々な実践的応用において実証的に相関付けする。
  論文  参考訳（メタデータ） (2022-06-01T03:06:21Z)
• Geometry-aware Bayesian Optimization in Robotics using Riemannian Mat\'ern Kernels [64.62221198500467]
  ベイズ最適化のための幾何対応カーネルの実装方法を示す。 この技術は、ロボット工学における制御パラメータチューニング、パラメトリックポリシー適応、構造設計に利用できる。
  論文  参考訳（メタデータ） (2021-11-02T09:47:22Z)
• On Learning the Transformer Kernel [13.955526058823166]
  KERNELIZED TransformERは、Transformerでカーネル関数を学習するための汎用的でスケーラブルなデータ駆動フレームワークである。 本フレームワークは,スペクトル特徴写像間のドット積としてTransformerカーネルを近似し,スペクトル分布を学習してカーネルを学習する。
  論文  参考訳（メタデータ） (2021-10-15T19:20:25Z)
• Kernel Continual Learning [117.79080100313722]
  カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。 エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。 タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
  論文  参考訳（メタデータ） (2021-07-12T22:09:30Z)
• Kernel Identification Through Transformers [54.3795894579111]
  カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。 この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。 KITT: Kernel Identification through Transformersを提案する。
  論文  参考訳（メタデータ） (2021-06-15T14:32:38Z)
• MetaKernel: Learning Variational Random Features with Limited Labels [120.90737681252594]
  少数の注釈付きサンプルから学習し、新しいタスクでうまく一般化できるという根本的かつ困難な問題に、少数のショットラーニングが対処します。 マルチショット学習のためのランダムなフーリエ機能を備えたメタラーニングカーネルをMeta Kernelと呼びます。
  論文  参考訳（メタデータ） (2021-05-08T21:24:09Z)
• Learning to Learn Kernels with Variational Random Features [118.09565227041844]
  メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。 変分推論問題としてメタVRFの最適化を定式化する。 MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2020-06-11T18:05:29Z)
• Spectral Learning on Matrices and Tensors [74.88243719463053]
  テンソル分解は行列法で欠落する潜伏効果を拾うことができることを示す。 また,効率的なテンソル分解法を設計するための計算手法についても概説する。
  論文  参考訳（メタデータ） (2020-04-16T22:53:00Z)
• Scaling up Kernel Ridge Regression via Locality Sensitive Hashing [6.704115928005158]
  ランダムな双対関数の重み付け版を導入し、対応するカーネル関数が滑らかなガウス過程を生成することを示す。 重み付けされたランダムなバイナリ化特徴は、対応するカーネル行列にスペクトル近似を与え、カーネルリッジ回帰の効率的なアルゴリズムをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-03-21T21:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。