論文の概要: FLuRKA: Fast fused Low-Rank & Kernel Attention
- arxiv url: http://arxiv.org/abs/2306.15799v1
- Date: Tue, 27 Jun 2023 20:58:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 16:35:25.091313
- Title: FLuRKA: Fast fused Low-Rank & Kernel Attention
- Title(参考訳): flurka: 高速に融合した低ランクとカーネルの注意
- Authors: Ahan Gupta, Yueming Yuan, Yanqi Zhou and Charith Mendis
- Abstract要約: FLuRKA (Fast Low-Rank and Kernel Attention)
FLuRKAのランタイム性能と品質を理論的・実験的に評価する。
低ランク法とカーネル法でそれぞれ3.3倍と1.7倍という経験的なスピードアップを経験するFLuRKAの3つの変種をインスタンス化する。
- 参考スコア(独自算出の注目度): 6.274925330092855
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many efficient approximate self-attention techniques have become prevalent
since the inception of the transformer architecture. Two popular classes of
these techniques are low-rank and kernel methods. Each of these methods has its
own strengths. We observe these strengths synergistically complement each other
and exploit these synergies to fuse low-rank and kernel methods, producing a
new class of transformers: FLuRKA (Fast Low-Rank and Kernel Attention). FLuRKA
provide sizable performance gains over these approximate techniques and are of
high quality. We theoretically and empirically evaluate both the runtime
performance and quality of FLuRKA. Our runtime analysis posits a variety of
parameter configurations where FLuRKA exhibit speedups and our accuracy
analysis bounds the error of FLuRKA with respect to full-attention. We
instantiate three FLuRKA variants which experience empirical speedups of up to
3.3x and 1.7x over low-rank and kernel methods respectively. This translates to
speedups of up to 30x over models with full-attention. With respect to model
quality, FLuRKA can match the accuracy of low-rank and kernel methods on GLUE
after pre-training on wiki-text 103. When pre-training on a fixed time budget,
FLuRKA yield better perplexity scores than models with full-attention.
- Abstract(参考訳): トランスアーキテクチャの開始以来,多くの効率的な自己認識技術が普及している。
これらの技法の2つの一般的なクラスは低ランクとカーネルメソッドである。
これらの方法にはそれぞれ独自の強みがある。
我々はこれらの強みを相乗的に補完し、これらの相乗効果を利用して低ランクおよびカーネル法を融合し、FLuRKA(Fast Low-Rank and Kernel Attention)という新しい変圧器のクラスを生成する。
FLuRKAは、これらの近似技術よりも大きな性能向上を提供し、高品質である。
FLuRKAのランタイム性能と品質を理論的・実験的に評価する。
我々の実行時解析は,FLuRKAがスピードアップを示すようなパラメータ構成を多用し,精度解析はフルアテンションに関してFLuRKAの誤差を限定する。
低ランク法とカーネル法でそれぞれ3.3倍と1.7倍という経験的なスピードアップを経験するFLuRKAの3つの変種をインスタンス化する。
これはフルアテンションモデルに比べて最大30倍のスピードアップとなる。
モデル品質に関して、FLuRKAはwiki-text 103で事前学習した後、GLUE上の低ランクおよびカーネルメソッドの精度と一致する。
固定時間予算で事前トレーニングを行う場合、FLuRKAはフルアテンションのモデルよりも複雑なスコアを得る。
関連論文リスト
- Imagine Flash: Accelerating Emu Diffusion Models with Backward Distillation [18.371344440413353]
本研究では,1段階から3段階の高忠実度,多種多様な試料生成を可能にする新しい蒸留フレームワークを提案する。
提案手法は, (i) 学習者自身の後方軌跡を校正することで, トレーニングと推論の相違を緩和する後方蒸留, (ii) 知識伝達を動的に適応させるシフト型再構成損失, (iii) サンプル品質を高める推論時間技術であるノイズ補正の3つの重要な要素から構成される。
論文 参考訳(メタデータ) (2024-05-08T17:15:18Z) - AEDFL: Efficient Asynchronous Decentralized Federated Learning with
Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。
まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。
次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。
第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文 参考訳(メタデータ) (2023-12-18T05:18:17Z) - Finding the SWEET Spot: Analysis and Improvement of Adaptive Inference
in Low Resource Settings [6.463202903076821]
トレーニングデータに制限がある場合、適応推論の2つの主要なアプローチであるEarly-ExitとMulti-Modelを比較した。
Early-Exitは、マルチモデルアプローチのオーバーヘッドのために、より高速なトレードオフを提供する。
本稿では,SWEETを提案する。SWEETは,各分類器に独自のモデル重みの集合を割り当てる初期出力微調整法である。
論文 参考訳(メタデータ) (2023-06-04T09:16:39Z) - Re-Evaluating LiDAR Scene Flow for Autonomous Driving [80.37947791534985]
自己教師型LiDARシーンフローの一般的なベンチマークは、動的動き、非現実的な対応、非現実的なサンプリングパターンの非現実的な速度を持つ。
実世界のデータセットのスイート上で,トップメソッドのスイートを評価する。
学習に重点を置いているにもかかわらず、ほとんどのパフォーマンス向上は前処理と後処理のステップによって引き起こされる。
論文 参考訳(メタデータ) (2023-04-04T22:45:50Z) - Meta-Learned Kernel For Blind Super-Resolution Kernel Estimation [22.437479940607332]
本稿では,画像の分布に含まれる情報からメタ学習を行う学習学習アプローチを提案する。
提案手法は,既存手法よりも14.24~102.1倍高速に推算できることを示す。
論文 参考訳(メタデータ) (2022-12-15T15:11:38Z) - FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。
3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
論文 参考訳(メタデータ) (2022-03-24T07:26:29Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳(メタデータ) (2022-03-23T06:24:31Z) - Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial
Attacks [86.88061841975482]
我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。
我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。
提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
論文 参考訳(メタデータ) (2020-10-08T18:36:51Z) - Rethinking Attention with Performers [45.47365397101224]
本稿では,フルランクアテンション変換器を精度良く推定できるPerformer,Transformerアーキテクチャを提案する。
Performersは、スケーラブルなカーネルメソッドに対して独立した関心を持つ可能性のある、新しいFast Attention Via positive Orthogonal Random Feature approach (FAVOR+)を使用している。
提案手法は,他の研究手法と競合する結果を示し,Performers が活用する新しい注意学習パラダイムの有効性を示す。
論文 参考訳(メタデータ) (2020-09-30T17:09:09Z) - FedDANE: A Federated Newton-Type Method [49.9423212899788]
フェデレートラーニングは、大規模分散データセット上で低統計モデルを共同で学習することを目的としている。
我々は、フェデレーション学習を扱うために、DANEから適応する最適化であるFedDANEを提案する。
論文 参考訳(メタデータ) (2020-01-07T07:44:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。