論文の概要: Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences

• arxiv url: http://arxiv.org/abs/2112.05359v1
• Date: Fri, 10 Dec 2021 06:58:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-13 13:14:13.397064
• Title: Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences
• Title（参考訳）: 長いシーケンスに対する自己意識の理解と促進のためのツールとしてのスケッチ
• Authors: Yifan Chen, Qi Zeng, Dilek Hakkani-Tur, Di Jin, Heng Ji, Yun Yang
• Abstract要約: トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
• 参考スコア（独自算出の注目度）: 52.6022911513076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based models are not efficient in processing long sequences due to the quadratic space and time complexity of the self-attention modules. To address this limitation, Linformer and Informer are proposed to reduce the quadratic complexity to linear (modulo logarithmic factors) via low-dimensional projection and row selection respectively. These two models are intrinsically connected, and to understand their connection, we introduce a theoretical framework of matrix sketching. Based on the theoretical analysis, we propose Skeinformer to accelerate self-attention and further improve the accuracy of matrix approximation to self-attention with three carefully designed components: column sampling, adaptive row normalization and pilot sampling reutilization. Experiments on the Long Range Arena (LRA) benchmark demonstrate that our methods outperform alternatives with a consistently smaller time/space footprint.
• Abstract（参考訳）: トランスベースモデルは、二次空間と自己接続モジュールの時間複雑性のため、長い列を処理するのに効率的ではない。 この制限に対処するために、linformer と informer は、それぞれ低次元射影と行選択によって二次複雑性を線形(モジュロ対数因子)に減らすことを提案している。 これら2つのモデルは本質的に連結であり,それらの関係を理解するために,行列スケッチの理論的枠組みを導入する。 理論解析に基づき, カラムサンプリング, 適応行正規化, パイロットサンプリング再活用の3つのコンポーネントを用いて, 自己着脱を加速し, 行列近似の精度をさらに向上させるskeinformerを提案する。 long range arena (lra)ベンチマークによる実験は、我々の手法がより小さな時間と空間のフットプリントで代替案を上回ることを示している。

関連論文リスト

• Fast Dual-Regularized Autoencoder for Sparse Biological Data [65.268245109828]
  本研究では,近傍正規化行列補完問題に対する浅層オートエンコーダを開発する。 本研究は, 薬物と薬物の相互作用と薬物の放出関連性を予測する上で, 既存の最先端技術に対するアプローチの速度と精度の優位性を実証する。
  論文  参考訳（メタデータ） (2024-01-30T01:28:48Z)
• Automatic dimensionality reduction of Twin-in-the-Loop Observers [1.6877390079162282]
  本稿では,高複雑性オブザーバを寸法を小さくすることで調整する手法を提案する。 これらの戦略は、実世界のデータに対する速度とヨーレートの推定のために検証されている。
  論文  参考訳（メタデータ） (2024-01-18T10:14:21Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Efficient Interpretable Nonlinear Modeling for Multiple Time Series [5.448070998907116]
  本稿では,複数時系列に対する効率的な非線形モデリング手法を提案する。 異なる時系列変数間の非線形相互作用を含む。 実験結果から,提案アルゴリズムは相似的にVAR係数の支持値の同定を改善することが示された。
  論文  参考訳（メタデータ） (2023-09-29T11:42:59Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Triformer: Triangular, Variable-Specific Attentions for Long Sequence Multivariate Time Series Forecasting--Full Version [50.43914511877446]
  本稿では,高い効率と精度を確保するために,三角形,可変特性に着目した注意点を提案する。 我々はTriformerが精度と効率の両方で最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-28T20:41:49Z)
• Predicting Attention Sparsity in Transformers [0.9786690381850356]
  本稿では, 遠心注意の空間パターンを計算前に同定するモデルであるスペーサーファインダーを提案する。 我々の研究は、予測された注目グラフの間隔とリコールの間のトレードオフを広範囲に分析することで、モデル効率を研究するための新しい角度を提供する。
  論文  参考訳（メタデータ） (2021-09-24T20:51:21Z)
• Revisiting Linformer with a modified self-attention with linear complexity [0.0]
  時間・空間の線形複雑性を考慮した自己保持の代替法を提案する。 この方法は長いシーケンスで機能するので、音声だけでなく画像にも使用できる。
  論文  参考訳（メタデータ） (2020-12-16T13:23:29Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。