論文の概要: Luna: Linear Unified Nested Attention

• arxiv url: http://arxiv.org/abs/2106.01540v1
• Date: Thu, 3 Jun 2021 01:47:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 12:21:17.125279
• Title: Luna: Linear Unified Nested Attention
• Title（参考訳）: Luna: 線形統一ネステッド注意
• Authors: Xuezhe Ma, Xiang Kong, Sinong Wang, Chunting Zhou, Jonathan May, Hao Ma, Luke Zettlemoyer
• Abstract要約: 本稿では,2つの重み付き線形注意関数でソフトマックスアテンションを近似する線形統合ネスト型注意機構であるLunaを提案する。 具体的には、第1の注意関数により、Lunaは入力シーケンスを固定長のシーケンスにまとめ、次に、第2の注意関数を使用して充填シーケンスをアンパックする。 従来のアテンション機構と比較して、Lunaは入力として固定長の付加シーケンスとそれに対応する出力を導入し、Lunaはアテンション操作を線形に行うことができる。
• 参考スコア（独自算出の注目度）: 71.66026714473482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The quadratic computational and memory complexities of the Transformer's attention mechanism have limited its scalability for modeling long sequences. In this paper, we propose Luna, a linear unified nested attention mechanism that approximates softmax attention with two nested linear attention functions, yielding only linear (as opposed to quadratic) time and space complexity. Specifically, with the first attention function, Luna packs the input sequence into a sequence of fixed length. Then, the packed sequence is unpacked using the second attention function. As compared to a more traditional attention mechanism, Luna introduces an additional sequence with a fixed length as input and an additional corresponding output, which allows Luna to perform attention operation linearly, while also storing adequate contextual information. We perform extensive evaluations on three benchmarks of sequence modeling tasks: long-context sequence modeling, neural machine translation and masked language modeling for large-scale pretraining. Competitive or even better experimental results demonstrate both the effectiveness and efficiency of Luna compared to a variety
• Abstract（参考訳）: 変圧器の注意機構の二次計算とメモリの複雑さは、長いシーケンスのモデリングのスケーラビリティを制限した。 本稿では,2つの重み付き線形注意関数とソフトマックス注意を近似する線形統一ネスト型注意機構であるLunaを提案する。 具体的には、最初の注意関数で、Lunaは入力シーケンスを一定の長さのシーケンスにまとめる。 そして、第2の注意関数を用いて充填シーケンスをアンパックする。 より伝統的なアテンション機構と比較して、lunaは入力として一定長さの追加シーケンスと対応する出力を導入し、適切なコンテキスト情報を格納しながら、lunaがアテンション操作を線形に行えるようにする。 大規模事前学習のための長コンテキストシーケンスモデリング,ニューラルネットワーク翻訳,マスキング言語モデリングの3つのベンチマークについて,広範な評価を行った。 競争的、またはより優れた実験結果が、ルナの多種間比較の有効性と効率を実証する

関連論文リスト

• Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
  本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。 提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-12T12:12:38Z)
• Various Lengths, Constant Speed: Efficient Language Modeling with Lightning Attention [19.618556742380086]
  固定メモリ使用時の各種シーケンス長のトレーニング速度を一定に維持する最初の線形アテンション実装であるLightning Attentionを提案する。 有効性を保ちながら精度を高めるために,我々の雷の注意に合わせた新しいアーキテクチャであるTransNormerLLM(TNL)を導入する。
  論文  参考訳（メタデータ） (2024-05-27T17:38:13Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Lightning Attention-2: A Free Lunch for Handling Unlimited Sequence Lengths in Large Language Models [20.78813311569383]
  本稿では、線形アテンションによる理論計算の利点を実現するための最初の線形アテンション実装であるLightning Attentionを紹介する。 具体的には、従来のアテンション機構をブロック内に適用し、インターブロックに対して線形アテンションカーネルのトリックを適用する。 異なるモデルサイズとシーケンス長について様々な実験を行った。
  論文  参考訳（メタデータ） (2024-01-09T16:27:28Z)
• DBA: Efficient Transformer with Dynamic Bilinear Low-Rank Attention [53.02648818164273]
  動的双線形低ランク注意(DBA)という,効率的かつ効果的な注意機構を提案する。 DBAは入力感度の動的射影行列によってシーケンス長を圧縮し、線形時間と空間の複雑さを実現する。 様々なシーケンス長条件のタスクに対する実験は、DBAが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T03:06:36Z)
• cosFormer: Rethinking Softmax in Attention [60.557869510885205]
  カーネルメソッドは、ソフトマックス演算子を近似することで複雑さを減らすためにしばしば採用される。 近似誤差のため、それらのパフォーマンスは異なるタスク/コーパスで異なり、重要なパフォーマンス低下を被る。 本稿では,バニラ変圧器に匹敵する精度を達成できる,cosFormerと呼ばれる線形変圧器を提案する。
  論文  参考訳（メタデータ） (2022-02-17T17:53:48Z)
• Hard Non-Monotonic Attention for Character-Level Transduction [65.17388794270694]
  2つの弦間の多くの非単調なアライメントを余剰化するための厳密な指数時間アルゴリズムを導入する。 ソフト・モノトニック・アテンションとハード・ノン・モノトニック・アテンションを実験的に比較したところ、正確なアルゴリズムは近似よりも性能を著しく改善し、ソフト・アテンションよりも優れていた。
  論文  参考訳（メタデータ） (2018-08-29T20:00:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。