論文の概要: S$^3$Attention: Improving Long Sequence Attention with Smoothed Skeleton Sketching

• arxiv url: http://arxiv.org/abs/2408.08567v2
• Date: Fri, 23 Aug 2024 04:53:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 17:10:58.750775
• Title: S$^3$Attention: Improving Long Sequence Attention with Smoothed Skeleton Sketching
• Title（参考訳）: S$^3$Attention: Smoothed Skeleton Sketching によるLong Sequence Attentionの改善
• Authors: Xue Wang, Tian Zhou, Jianqing Zhu, Jialin Liu, Kun Yuan, Tao Yao, Wotao Yin, Rong Jin, HanQin Cai,
• Abstract要約: 本稿ではスムースなスケルトンスケッチに基づくアテンション構造S$3$Attentionを提案する。 S$3$Attentionは、線形複雑性をシーケンス長に保ちながら、ノイズの影響を効果的に最小化する2つのメカニズムを持つ。
• 参考スコア（独自算出の注目度）: 51.38617149946765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention based models have achieved many remarkable breakthroughs in numerous applications. However, the quadratic complexity of Attention makes the vanilla Attention based models hard to apply to long sequence tasks. Various improved Attention structures are proposed to reduce the computation cost by inducing low rankness and approximating the whole sequence by sub-sequences. The most challenging part of those approaches is maintaining the proper balance between information preservation and computation reduction: the longer sub-sequences used, the better information is preserved, but at the price of introducing more noise and computational costs. In this paper, we propose a smoothed skeleton sketching based Attention structure, coined S$^3$Attention, which significantly improves upon the previous attempts to negotiate this trade-off. S$^3$Attention has two mechanisms to effectively minimize the impact of noise while keeping the linear complexity to the sequence length: a smoothing block to mix information over long sequences and a matrix sketching method that simultaneously selects columns and rows from the input matrix. We verify the effectiveness of S$^3$Attention both theoretically and empirically. Extensive studies over Long Range Arena (LRA) datasets and six time-series forecasting show that S$^3$Attention significantly outperforms both vanilla Attention and other state-of-the-art variants of Attention structures.
• Abstract（参考訳）: 注意に基づくモデルは、多くのアプリケーションで多くの顕著なブレークスルーを達成した。 しかし、注意の二次的な複雑さは、バニラ注意に基づくモデルが長い連続タスクに適用しにくくする。 低ランク化を誘導し、列全体をサブシーケンスで近似することにより計算コストを削減するために、様々な改良された注意構造を提案する。 これらのアプローチの最も難しい部分は、情報保存と計算の削減の間の適切なバランスを維持することである。 本稿では,S$^3$Attentionというスムーズなスケルトンスケッチに基づくアテンション構造を提案する。 S$3$Attentionは、長い列に情報を混ぜる滑らかなブロックと、入力行列から列と行を同時に選択する行列スケッチという2つのメカニズムを持つ。 S$^3$Attentionの有効性を理論的にも経験的にも検証する。 ロングレンジ・アリーナ(LRA)データセットと6つの時系列予測に関する広範な研究は、S$^3$Attentionがバニラ・アテンションと他の最先端のアテンション構造の両方を著しく上回っていることを示している。

関連論文リスト

• Fast Second-Order Online Kernel Learning through Incremental Matrix Sketching and Decomposition [22.39048660630147]
  オンライン学習(OKL)は、ストリーミング環境での予測性能が期待できるため、かなりの研究関心を集めている。 既存の2次OKLアプローチは、予め設定された予算に関して、少なくとも2次時間の複雑さに悩まされている。 本稿では,2次OKLに適した高速増分行列スケッチと分解手法FORTSを提案する。
  論文  参考訳（メタデータ） (2024-10-15T02:07:48Z)
• Long-Sequence Recommendation Models Need Decoupled Embeddings [49.410906935283585]
  我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。 埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。 本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:45:15Z)
• ELASTIC: Efficient Linear Attention for Sequential Interest Compression [5.689306819772134]
  最先端のシーケンシャルレコメンデーションモデルは、トランスフォーマーの注意機構に大きく依存している。 逐次的関心圧縮のための効率的な線形注意法であるELASTICを提案する。 我々は、様々な公開データセットに関する広範な実験を行い、それをいくつかの強力なシーケンシャルなレコメンデータと比較する。
  論文  参考訳（メタデータ） (2024-08-18T06:41:46Z)
• CItruS: Chunked Instruction-aware State Eviction for Long Sequence Modeling [52.404072802235234]
  本稿では,下流タスクに有用な注目度を隠蔽状態の消去プロセスに統合する新しいモデリング手法であるChunked Instruction-Aware State Eviction(CItruS)を紹介する。 トレーニング不要な手法は,メモリ予算が同じ条件下で,複数の強いベースライン上での長いシーケンス理解および検索タスクにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-17T18:34:58Z)
• Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
  本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。 提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-12T12:12:38Z)
• Distillation Enhanced Time Series Forecasting Network with Momentum Contrastive Learning [7.4106801792345705]
  長周期時系列予測のための革新的蒸留強化フレームワークであるDE-TSMCLを提案する。 具体的には、タイムスタンプをマスクするかどうかを適応的に学習する学習可能なデータ拡張機構を設計する。 そこで本研究では,時系列のサンプル間および時間内相関を探索するために,モーメントを更新したコントラスト学習タスクを提案する。 複数のタスクからモデル損失を発生させることで、下流予測タスクの効果的な表現を学習することができる。
  論文  参考訳（メタデータ） (2024-01-31T12:52:10Z)
• Triformer: Triangular, Variable-Specific Attentions for Long Sequence Multivariate Time Series Forecasting--Full Version [50.43914511877446]
  本稿では,高い効率と精度を確保するために,三角形,可変特性に着目した注意点を提案する。 我々はTriformerが精度と効率の両方で最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-28T20:41:49Z)
• Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
  トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2021-12-10T06:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。