Fugu-MT 論文翻訳(概要): ELASTIC: Efficient Linear Attention for Sequential Interest Compression

論文の概要: ELASTIC: Efficient Linear Attention for Sequential Interest Compression

arxiv url: http://arxiv.org/abs/2408.09380v3
Date: Wed, 6 Nov 2024 02:26:07 GMT
ステータス: 処理完了
システム内更新日: 2024-11-08 07:07:05.230859
Title: ELASTIC: Efficient Linear Attention for Sequential Interest Compression
Title（参考訳）: ELASTIC:シークエンス圧縮のための効率的な線形アテンション
Authors: Jiaxin Deng, Shiyao Wang, Song Lu, Yinfeng Li, Xinchen Luo, Yuanjun Liu, Peixing Xu, Guorui Zhou,
Abstract要約: 最先端のシーケンシャルレコメンデーションモデルは、トランスフォーマーの注意機構に大きく依存している。逐次的関心圧縮のための効率的な線形注意法であるELASTICを提案する。我々は、様々な公開データセットに関する広範な実験を行い、それをいくつかの強力なシーケンシャルなレコメンデータと比較する。
参考スコア（独自算出の注目度）: 5.689306819772134
License: http://creativecommons.org/licenses/by/4.0/
Abstract: State-of-the-art sequential recommendation models heavily rely on transformer's attention mechanism. However, the quadratic computational and memory complexities of self attention have limited its scalability for modeling users' long range behaviour sequences. To address this problem, we propose ELASTIC, an Efficient Linear Attention for SequenTial Interest Compression, requiring only linear time complexity and decoupling model capacity from computational cost. Specifically, ELASTIC introduces a fixed length interest experts with linear dispatcher attention mechanism which compresses the long-term behaviour sequences to a significantly more compact representation which reduces up to 90% GPU memory usage with x2.7 inference speed up. The proposed linear dispatcher attention mechanism significantly reduces the quadratic complexity and makes the model feasible for adequately modeling extremely long sequences. Moreover, in order to retain the capacity for modeling various user interests, ELASTIC initializes a vast learnable interest memory bank and sparsely retrieves compressed user's interests from the memory with a negligible computational overhead. The proposed interest memory retrieval technique significantly expands the cardinality of available interest space while keeping the same computational cost, thereby striking a trade-off between recommendation accuracy and efficiency. To validate the effectiveness of our proposed ELASTIC, we conduct extensive experiments on various public datasets and compare it with several strong sequential recommenders. Experimental results demonstrate that ELASTIC consistently outperforms baselines by a significant margin and also highlight the computational efficiency of ELASTIC when modeling long sequences. We will make our implementation code publicly available.
Abstract（参考訳）: 最先端のシーケンシャルレコメンデーションモデルは、トランスフォーマーの注意機構に大きく依存している。しかし、自己注意の二次計算とメモリの複雑さは、ユーザの長距離動作シーケンスをモデル化するためのスケーラビリティを制限している。この問題に対処するために、線形時間複雑性と計算コストからのモデルキャパシティの分離を必要とせず、SequenTial Interest Compressionの効率的な線形アテンションであるELASTICを提案する。具体的には、線形ディスパッチアテンション機構を備えた固定長関心の専門家を導入し、長期の動作シーケンスをよりコンパクトな表現に圧縮し、x2.7推論速度で最大90%のGPUメモリ使用量を削減した。提案した線形ディスパッチアテンション機構は2次複雑性を著しく低減し、非常に長いシーケンスを適切にモデル化できるモデルを実現する。さらに、多様なユーザ関心をモデル化する能力を維持するため、ELASTICは、膨大な学習可能な関心記憶バンクを初期化し、圧縮されたユーザ関心を、無視可能な計算オーバーヘッドでメモリからわずかに回収する。提案手法は,同じ計算コストを維持しつつ,利用可能な関心空間の濃度を著しく拡張し,推奨精度と効率のトレードオフを生じさせる。提案するELASTICの有効性を検証するため,様々な公開データセットに対する広範囲な実験を行い,複数の強力なシーケンシャルなレコメンデータと比較した。実験結果から、ELASTICはベースラインをかなりのマージンで一貫した性能を示し、長いシーケンスをモデル化する際の計算効率を強調した。実装コードを公開します。

関連論文リスト

Faster Diffusion Action Segmentation [9.868244939496678]
時間的行動分類(TAS)はビデオ解析において不可欠な課題であり、連続したフレームを別のアクションセグメントに分割し分類することを目的としている。拡散モデルの最近の進歩は、安定したトレーニングプロセスと高品質な生成能力により、TASタスクにおいて大きな成功を収めている。本稿では,効率的かつ高性能なTASアルゴリズムであるEffiDiffActを提案する。
論文参考訳（メタデータ） (2024-08-04T13:23:18Z)
Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
論文参考訳（メタデータ） (2024-06-24T15:55:59Z)
Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
論文参考訳（メタデータ） (2024-06-12T12:12:38Z)
Lean Attention: Hardware-Aware Scalable Attention Mechanism for the Decode-Phase of Transformers [4.674454841332859]
トランスフォーマーベースのモデルは、自然言語処理の最も広く使われているアーキテクチャの1つとして登場した。これらの巨大なモデルはメモリが空腹で、最先端のAIアクセラレータでも大きな推論レイテンシが生じる。本稿ではトークン生成フェーズの自己認識をスケーラブルに計算する手法であるLeanAttentionを提案する。
論文参考訳（メタデータ） (2024-05-17T00:52:39Z)
Decreasing the Computing Time of Bayesian Optimization using Generalizable Memory Pruning [56.334116591082896]
本稿では,任意のサロゲートモデルと取得関数で使用可能なメモリプルーニングとバウンダリ最適化のラッパーを示す。 BOを高次元または大規模データセット上で実行することは、この時間の複雑さのために難解になる。すべてのモデル実装はMIT Supercloudの最先端コンピューティングハードウェア上で実行される。
論文参考訳（メタデータ） (2023-09-08T14:05:56Z)
DBA: Efficient Transformer with Dynamic Bilinear Low-Rank Attention [53.02648818164273]
動的双線形低ランク注意(DBA)という,効率的かつ効果的な注意機構を提案する。 DBAは入力感度の動的射影行列によってシーケンス長を圧縮し、線形時間と空間の複雑さを実現する。様々なシーケンス長条件のタスクに対する実験は、DBAが最先端のパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2022-11-24T03:06:36Z)
Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
論文参考訳（メタデータ） (2021-12-10T06:58:05Z)
Adaptive Multi-Resolution Attention with Linear Complexity [18.64163036371161]
本稿では,AdaMRA(Adaptive Multi-Resolution Attention)という新しい構造を提案する。我々はマルチレゾリューション・マルチヘッド・アテンション・メカニズムを活用し、アテンションヘッドが粗い方法で長距離コンテキスト情報をキャプチャすることを可能にする。科学コミュニティによるAdaMRAの利用を促進するため、コード実装を一般公開する予定である。
論文参考訳（メタデータ） (2021-08-10T23:17:16Z)
SAC: Accelerating and Structuring Self-Attention via Sparse Adaptive Connection [51.376723069962]
本稿では,スパース適応接続(Sparse Adaptive Connection)を提案する。 SACでは、入力シーケンスをグラフとみなし、リンクノード間のアテンション操作を行う。我々は,SACが最先端モデルと競合する一方で,メモリコストを大幅に削減することを示した。
論文参考訳（メタデータ） (2020-03-22T07:58:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。