論文の概要: Segmented Recurrent Transformer: An Efficient Sequence-to-Sequence Model

• arxiv url: http://arxiv.org/abs/2305.16340v3
• Date: Mon, 23 Oct 2023 01:44:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 09:00:49.477331
• Title: Segmented Recurrent Transformer: An Efficient Sequence-to-Sequence Model
• Title（参考訳）: 分割リカレント変圧器:効率的なシーケンス対シーケンスモデル
• Authors: Yinghan Long, Sayeed Shafayet Chowdhury, Kaushik Roy
• Abstract要約: 分割された(局所的な)注意と再帰的な注意を結合した分節再帰変圧器(SRformer)を提案する。 提案モデルでは,分割変圧器よりも高いROUGE1スコアを6-22%で達成し,他の再帰変圧器よりも優れている。
• 参考スコア（独自算出の注目度）: 10.473819332984005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have shown dominant performance across a range of domains including language and vision. However, their computational cost grows quadratically with the sequence length, making their usage prohibitive for resource-constrained applications. To counter this, our approach is to divide the whole sequence into segments and apply attention to the individual segments. We propose a segmented recurrent transformer (SRformer) that combines segmented (local) attention with recurrent attention. The loss caused by reducing the attention window length is compensated by aggregating information across segments with recurrent attention. SRformer leverages Recurrent Accumulate-and-Fire (RAF) neurons' inherent memory to update the cumulative product of keys and values. The segmented attention and lightweight RAF neurons ensure the efficiency of the proposed transformer. Such an approach leads to models with sequential processing capability at a lower computation/memory cost. We apply the proposed method to T5 and BART transformers. The modified models are tested on summarization datasets including CNN-dailymail, XSUM, ArXiv, and MediaSUM. Notably, using segmented inputs of varied sizes, the proposed model achieves $6-22\%$ higher ROUGE1 scores than a segmented transformer and outperforms other recurrent transformer approaches. Furthermore, compared to full attention, the proposed model reduces the computational complexity of cross attention by around $40\%$.
• Abstract（参考訳）: トランスフォーマーは、言語やビジョンを含むさまざまな領域で支配的なパフォーマンスを示している。 しかし、計算コストはシーケンス長と二乗的に増大し、リソース制約のあるアプリケーションでは使用が禁止される。 これに対応するために,本手法では,シーケンス全体をセグメントに分割し,個々のセグメントに注意を向ける。 本稿では,セグメント化(局所的)注意と再帰的注意を組み合わせたセグメント化再帰変圧器(srformer)を提案する。 注意窓の長さを減少させることによる損失は、繰り返し注目されるセグメント間で情報を集約することで補償される。 SRformerは、RAF(Recurrent Accumulate-and-Fire)ニューロン固有のメモリを利用して、キーと値の累積積積を更新する。 分割された注意と軽量RAFニューロンは、提案したトランスの効率性を保証する。 このようなアプローチは、より低い計算/メモリコストでシーケンシャルな処理能力を持つモデルにつながる。 提案手法をT5およびBARTトランスに適用する。 修正されたモデルは、CNN-dailymail、XSUM、ArXiv、MediaSUMなどの要約データセットでテストされる。 特に、様々なサイズのセグメント入力を用いて、提案モデルは、セグメントトランスよりも6-22\%高いrouge1スコアを達成し、他の再帰トランスフォーマーアプローチよりも優れています。 さらに,本モデルでは,全注意と比較してクロス注意の計算複雑性を約$40\%$削減する。

関連論文リスト

• ENACT: Entropy-based Clustering of Attention Input for Improving the Computational Performance of Object Detection Transformers [0.0]
  トランスフォーマーは、視覚に基づく物体検出の問題において、精度で競合性能を示す。 本稿では,そのエントロピーに基づいて変換器の入力をクラスタリングする。 クラスタリングは、トランスへの入力として与えられるデータのサイズを削減し、トレーニング時間とGPUメモリ使用量を削減する。
  論文  参考訳（メタデータ） (2024-09-11T18:03:59Z)
• CAST: Clustering Self-Attention using Surrogate Tokens for Efficient Transformers [3.129187821625805]
  本稿では,Surrogate Tokens (CAST) を用いたクラスタリング自己注意機構を提案する。 CASTは複雑性を$O(N2)$から$O(アルファN)$に減らして効率を向上する。
  論文  参考訳（メタデータ） (2024-02-06T18:47:52Z)
• RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
  本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。 モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-05-22T13:57:41Z)
• Diffuser: Efficient Transformers with Multi-hop Attention Diffusion for Long Sequences [16.066338004414092]
  textitDiffuserはシーケンシャル・ツー・シーケンス・モデリングのための新しい効率的なトランスフォーマーである。 低い計算とメモリコストを維持しながら、すべてのトークンインタラクションを1つの注意層に組み込む。 スペクトルの観点からグラフ展開特性を解析することにより、全アテンションを近似する能力を示す。
  論文  参考訳（メタデータ） (2022-10-21T08:13:34Z)
• Sparse Attention Acceleration with Synergistic In-Memory Pruning and On-Chip Recomputation [6.303594714446706]
  自己認識機構は、入力シーケンス全体にわたってペアワイズ相関を計測する。 良好な性能にもかかわらず、ペアワイズ相関を計算するのは非常にコストがかかる。 この研究は、注意点を近似的に計算するSPRINTと呼ばれるアクセラレーターを設計することで、これらの制約に対処する。
  論文  参考訳（メタデータ） (2022-09-01T17:18:19Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• Cost Aggregation with 4D Convolutional Swin Transformer for Few-Shot Segmentation [58.4650849317274]
  Volumetric Aggregation with Transformers (VAT)は、数ショットセグメンテーションのためのコスト集約ネットワークである。 VATは、コスト集約が中心的な役割を果たすセマンティック対応のための最先端のパフォーマンスも達成する。
  論文  参考訳（メタデータ） (2022-07-22T04:10:30Z)
• nnFormer: Interleaved Transformer for Volumetric Segmentation [50.10441845967601]
  本稿では,自己意図と畳み込みを実証的に組み合わせた,インターリーブアーキテクチャを備えた強力なセグメンテーションモデルであるnnFormerを紹介する。 nnFormerは、SynapseとACDCの2つの一般的なデータセットで、以前のTransformerベースのメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-09-07T17:08:24Z)
• Combiner: Full Attention Transformer with Sparse Computation Cost [142.10203598824964]
  計算の複雑さを低く保ちつつ、各注目ヘッドにフルアテンション機能を提供するコンバインダを提案する。 既存のスパース変圧器で使用されるスパースアテンションパターンのほとんどは、そのような分解設計をフルアテンションに刺激することができることを示す。 自己回帰的タスクと双方向シーケンスタスクの両方に関する実験的評価は、このアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2021-07-12T22:43:11Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。