論文の概要: New Approaches to Long Document Summarization: Fourier Transform Based
Attention in a Transformer Model
- arxiv url: http://arxiv.org/abs/2111.15473v1
- Date: Thu, 25 Nov 2021 18:03:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-06 00:45:17.162609
- Title: New Approaches to Long Document Summarization: Fourier Transform Based
Attention in a Transformer Model
- Title（参考訳）: 長文要約への新しいアプローチ: 変圧器モデルにおけるフーリエ変換に基づく注意
- Authors: Andrew Kiruluta, Andreas Lemos and Eric Lundy
- Abstract要約: 本稿では,Fourier Transforms (FNET) を用いた新しいトークン混合方式を広範囲に再設計し,計算コストのかかる自己保持機構を置き換えた。
また,8000以上のトークンを処理可能な確立された手法を用いて,長い文書要約を行う。
全ての変更は、トランスフォーマーアーキテクチャで元のFNETエンコーダを使用する場合よりも、要約タスクのパフォーマンスが向上した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this work, we extensively redesign the newly introduced method of token
mixing using Fourier Transforms (FNET) to replace the computationally expensive
self-attention mechanism in a full transformer implementation on a long
document summarization task (> 512 tokens). As a baseline, we also carried out
long document summarization using established methods such as Longformer and
Big Bird transformer models that are capable of processing over 8000 tokens and
are currently the state of the art methods for these type of problems. The
original FNET paper implemented this in an encoder only architecture while
abstractive summarization requires both an encoder and a decoder. Since such a
pretrained transformer model does not currently exist in the public domain, we
decided to implement a full transformer based on this Fourier token mixing
approach in an encoder/decoder architecture which we trained starting with
Glove embeddings for the individual words in the corpus. We investigated a
number of different extensions to the original FNET architecture and evaluated
them on their Rouge F1-score performance on a summarization task. All
modifications showed better performance on the summarization task than when
using the original FNET encoder in a transformer architecture.
- Abstract（参考訳）: 本研究では,フーリエ変換 (fnet) を用いたトークン混合法を広範囲に再設計し, 長文要約タスク (> 512トークン) による完全トランスフォーマー実装において, 計算コストの高い自己照応機構を置き換えた。
ベースラインとして,8000以上のトークンを処理可能なLongformerやBig Bird Transformerモデルなどの確立した手法を用いて,長い文書要約を行った。
オリジナルのFNET論文では、これをエンコーダのみのアーキテクチャで実装し、抽象的な要約ではエンコーダとデコーダの両方を必要とする。
このような事前訓練されたトランスフォーマーモデルがパブリックドメインに存在しないため、コーパス内の個々の単語に対するGlove埋め込みから学習したエンコーダ/デコーダアーキテクチャにおいて、このフーリエトークン混合アプローチに基づいてフルトランスフォーマーを実装することにした。
我々は、元のFNETアーキテクチャの様々な拡張を調査し、それらを要約タスクでルージュF1スコアのパフォーマンスで評価した。
すべての変更は、トランスアーキテクチャで元のFNETエンコーダを使用する場合よりも、要約タスクのパフォーマンスが向上した。
関連論文リスト
- iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。
iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
論文 参考訳（メタデータ） (2023-10-10T13:44:09Z) - Fourier Transformer: Fast Long Range Modeling by Removing Sequence
Redundancy with FFT Operator [24.690247474891958]
フーリエ変換器は、様々な大きな事前訓練されたモデルから継承する能力を維持しながら、計算コストを大幅に削減することができる。
本モデルは,長距離モデリングベンチマークLRAにおいて,トランスフォーマーベースモデル間の最先端性能を実現する。
CNN/DailyMailやELI5などのシークエンシャルなシークエンスタスクでは、BARTを継承することで、私たちのモデルは標準のBARTよりも優れています。
論文 参考訳（メタデータ） (2023-05-24T12:33:06Z) - Revisiting Transformer-based Models for Long Document Classification [31.60414185940218]
実世界のアプリケーションでは、マルチページのマルチパラグラフ文書が一般的であり、バニラトランスフォーマーベースのモデルでは効率的にエンコードできない。
本稿では,変圧器の計算オーバーヘッドを軽減するために,トランスフォーマーを用いた長期文書分類(TrLDC)手法を比較した。
我々は、より長いテキストを処理できることの明確な利点を観察し、その結果に基づいて、長い文書分類タスクにTransformerベースのモデルを適用する実践的なアドバイスを導き出す。
論文 参考訳（メタデータ） (2022-04-14T00:44:36Z) - FNetAR: Mixing Tokens with Autoregressive Fourier Transforms [0.0]
本稿では、FNetARが因果言語モデリングのタスクにおいて、最先端の性能(25.8ppl)を維持していることを示す。
自己回帰フーリエ変換は、ほとんどのTransformerベースの時系列予測モデルにおけるパラメータとして使われる可能性がある。
論文 参考訳（メタデータ） (2021-07-22T21:24:02Z) - Stable, Fast and Accurate: Kernelized Attention with Relative Positional
Encoding [63.539333383965726]
相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。
相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
論文 参考訳（メタデータ） (2021-06-23T17:51:26Z) - Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation [63.46694853953092]
Swin-Unetは、医用画像セグメンテーション用のUnetライクなトランスフォーマーである。
トークン化されたイメージパッチは、TransformerベースのU字型デコーダデコーダアーキテクチャに供給される。
論文 参考訳（メタデータ） (2021-05-12T09:30:26Z) - FNet: Mixing Tokens with Fourier Transforms [0.578717214982749]
Transformerエンコーダアーキテクチャは、限られた精度コストで大幅に高速化できることを示しています。
入力トークンを「混合」する単純な線形変換に自己着脱部分層を置き換える。
FNetと呼ばれる結果のモデルは、長い入力に対して非常に効率的にスケールします。
論文 参考訳（メタデータ） (2021-05-09T03:32:48Z) - Visual Saliency Transformer [127.33678448761599]
RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。
イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。
実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
論文 参考訳（メタデータ） (2021-04-25T08:24:06Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳（メタデータ） (2021-03-22T18:00:13Z) - Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective
with Transformers [149.78470371525754]
セマンティックセグメンテーションをシーケンスからシーケンスへの予測タスクとして扱う。
具体的には、イメージをパッチのシーケンスとしてエンコードするために純粋なトランスをデプロイします。
トランスのすべての層でモデル化されたグローバルコンテキストにより、このエンコーダは、SETR(SEgmentation TRansformer)と呼ばれる強力なセグメンテーションモデルを提供するための単純なデコーダと組み合わせることができる。
SETRはADE20K(50.28% mIoU)、Pascal Context(55.83% mIoU)、およびCityscapesの競争力のある結果に関する最新技術を達成している。
論文 参考訳（メタデータ） (2020-12-31T18:55:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。