論文の概要: Spectraformer: A Unified Random Feature Framework for Transformer

• arxiv url: http://arxiv.org/abs/2405.15310v1
• Date: Fri, 24 May 2024 07:52:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-27 15:31:04.215699
• Title: Spectraformer: A Unified Random Feature Framework for Transformer
• Title（参考訳）: Spectraformer: Transformer用の統一ランダム機能フレームワーク
• Authors: Duke Nguyen, Aditya Joshi, Flora Salim,
• Abstract要約: 本稿では,Transformerの線形化におけるカーネル関数の近似と学習のための統合フレームワークであるSpectraformerを紹介する。 実験の結果,従来のSOTAランダム機能であるTransformerよりも23.4%高速なトレーニング時間と25.2%低いメモリ消費の新たな組み合わせが得られた。
• 参考スコア（独自算出の注目度）: 2.8514881296685113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linearization of attention using various kernel approximation and kernel learning techniques has shown promise. Past methods use a subset of combinations of component functions and weight matrices within the random features paradigm. We identify the need for a systematic comparison of different combinations of weight matrix and component functions for attention learning in Transformer. In this work, we introduce Spectraformer, a unified framework for approximating and learning the kernel function in linearized attention of the Transformer. We experiment with broad classes of component functions and weight matrices for three textual tasks in the LRA benchmark. Our experimentation with multiple combinations of component functions and weight matrices leads us to a novel combination with 23.4% faster training time and 25.2% lower memory consumption over the previous SOTA random feature Transformer, while maintaining the performance, as compared to the Original Transformer. Our code is available at: https://anonymous.4open.science/r/spectraformer-8A97 .
• Abstract（参考訳）: 様々なカーネル近似とカーネル学習技術を用いた注意の線形化は有望である。 過去の手法では、ランダムな特徴パラダイムの中でコンポーネント関数とウェイト行列の組み合わせのサブセットを使用していた。 本研究では,トランスフォーマーにおける注目学習のための重み行列と成分関数の組み合わせを体系的に比較する必要性を明らかにする。 本稿では,Transformerの線形化に着目したカーネル関数の近似と学習のための統合フレームワークであるSpectraformerを紹介する。 LRAベンチマークにおいて,3つのテキストタスクに対して,成分関数と重み行列の幅広いクラスを実験した。 構成関数と重み行列を複数組み合わせて実験した結果,従来のSOTAランダム機能であるTransformerよりも23.4%高速なトレーニング時間と25.2%低メモリ使用率の新たな組み合わせが得られた。 私たちのコードは、https://anonymous.4open.science/r/spectraformer-8A97 で利用可能です。

関連論文リスト

• Feature maps for the Laplacian kernel and its generalizations [3.671202973761375]
  ガウス核とは異なり、ラプラシア核は分離できない。 ラプラシア核とその2つの一般化に対してランダムな特徴を与える。 実データセット上でこれらのランダムな特徴写像の有効性を実証する。
  論文  参考訳（メタデータ） (2025-02-21T16:36:20Z)
• New random projections for isotropic kernels using stable spectral distributions [0.0]
  スペクトルカーネル分布を$alpha$-stableランダムベクトルのスケール混合として分解する。 結果は、サポートベクターマシン、カーネルリッジレグレッション、その他のカーネルベースの機械学習技術に広く応用されている。
  論文  参考訳（メタデータ） (2024-11-05T03:28:01Z)
• Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
  バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。 我々はこれらの不変カーネルの最大情報ゲインを導出する。 核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
  論文  参考訳（メタデータ） (2024-10-22T12:51:46Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention [88.45459681677369]
  複素ベクトル注意を持つ新しい変圧器変圧器(EulerFormer)を提案する。 意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。 意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。
  論文  参考訳（メタデータ） (2024-03-26T14:18:43Z)
• Equivariant Scalar Fields for Molecular Docking with Fast Fourier Transforms [11.163940886337798]
  機械学習がより高速な最適化を可能にする機能形式でスコアリング関数を学習する方法を示す。 我々は,2つの簡易ドッキング関連タスク,デコイポーズスコアリングと剛性コンフォメータドッキングのスコアリング機能をベンチマークした。 提案手法は,広く使用されているVinaとGninaのスコアリング関数と比較して,結晶構造に類似しているが高速な性能を実現し,予測された構造に対してより堅牢である。
  論文  参考訳（メタデータ） (2023-12-07T14:32:32Z)
• On the Identifiability and Interpretability of Gaussian Process Models [8.417178903130244]
  単出力ガウス過程(GP)モデルにおいて,Mat'ernカーネルの加法的混合を用いることの一般的な実践を批判的に検討する。 マタン核の混合の滑らかさは、最小の滑らかな成分によって決定され、そのような核を持つGPは、実質的に最小の滑らかなカーネル成分と等価であることを示す。 A$は乗算定数まで同定可能であることを示し、乗算混合が多出力タスクに適していることを示唆する。
  論文  参考訳（メタデータ） (2023-10-25T22:00:29Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Doubly Deformable Aggregation of Covariance Matrices for Few-shot Segmentation [25.387090319723715]
  注釈付きサンプルの少ないセマンティックセグメンテーションモデルを訓練することは、実世界の様々な応用に大きな可能性を持っている。 数ショットのセグメンテーションタスクでは、サポートとクエリサンプル間のセマンティック対応を正確に測定する方法が主な課題である。 本稿では,学習可能な共分散行列を変形可能な4次元変換器で集約し,セグメント化マップを効果的に予測する。
  論文  参考訳（メタデータ） (2022-07-30T20:41:38Z)
• Transformer with Fourier Integral Attentions [18.031977028559282]
  本稿では,ドット積カーネルを一般化されたフーリエ積分カーネルに置き換えた新しい変圧器のクラスを提案する。 FourierFormersは従来のドット生成型変換器と比較して精度が向上し、注目ヘッド間の冗長性が低減された。 本稿では,FourierFormersのベースライントランスフォーマーに対する利点を,言語モデリングや画像分類など,様々な実践的応用において実証的に相関付けする。
  論文  参考訳（メタデータ） (2022-06-01T03:06:21Z)
• Geometry-aware Bayesian Optimization in Robotics using Riemannian Mat\'ern Kernels [64.62221198500467]
  ベイズ最適化のための幾何対応カーネルの実装方法を示す。 この技術は、ロボット工学における制御パラメータチューニング、パラメトリックポリシー適応、構造設計に利用できる。
  論文  参考訳（メタデータ） (2021-11-02T09:47:22Z)
• On Learning the Transformer Kernel [13.955526058823166]
  KERNELIZED TransformERは、Transformerでカーネル関数を学習するための汎用的でスケーラブルなデータ駆動フレームワークである。 本フレームワークは,スペクトル特徴写像間のドット積としてTransformerカーネルを近似し,スペクトル分布を学習してカーネルを学習する。
  論文  参考訳（メタデータ） (2021-10-15T19:20:25Z)
• Kernel Continual Learning [117.79080100313722]
  カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。 エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。 タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
  論文  参考訳（メタデータ） (2021-07-12T22:09:30Z)
• Kernel Identification Through Transformers [54.3795894579111]
  カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。 この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。 KITT: Kernel Identification through Transformersを提案する。
  論文  参考訳（メタデータ） (2021-06-15T14:32:38Z)
• MetaKernel: Learning Variational Random Features with Limited Labels [120.90737681252594]
  少数の注釈付きサンプルから学習し、新しいタスクでうまく一般化できるという根本的かつ困難な問題に、少数のショットラーニングが対処します。 マルチショット学習のためのランダムなフーリエ機能を備えたメタラーニングカーネルをMeta Kernelと呼びます。
  論文  参考訳（メタデータ） (2021-05-08T21:24:09Z)
• Function Approximation via Sparse Random Features [23.325877475827337]
  本稿では,圧縮センシングの手法を用いて無作為特徴モデルを学習する分散ランダム特徴量法を提案する。 分散ランダム特徴法は,十分に構造化された機能や科学的機械学習タスクへの応用において,浅層ネットワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-04T17:53:54Z)
• Learning to Learn Kernels with Variational Random Features [118.09565227041844]
  メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。 変分推論問題としてメタVRFの最適化を定式化する。 MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2020-06-11T18:05:29Z)
• Spectral Learning on Matrices and Tensors [74.88243719463053]
  テンソル分解は行列法で欠落する潜伏効果を拾うことができることを示す。 また,効率的なテンソル分解法を設計するための計算手法についても概説する。
  論文  参考訳（メタデータ） (2020-04-16T22:53:00Z)
• Scaling up Kernel Ridge Regression via Locality Sensitive Hashing [6.704115928005158]
  ランダムな双対関数の重み付け版を導入し、対応するカーネル関数が滑らかなガウス過程を生成することを示す。 重み付けされたランダムなバイナリ化特徴は、対応するカーネル行列にスペクトル近似を与え、カーネルリッジ回帰の効率的なアルゴリズムをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-03-21T21:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。