論文の概要: New Approaches to Long Document Summarization: Fourier Transform Based Attention in a Transformer Model

• arxiv url: http://arxiv.org/abs/2111.15473v1
• Date: Thu, 25 Nov 2021 18:03:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-12-06 00:45:17.162609
• Title: New Approaches to Long Document Summarization: Fourier Transform Based Attention in a Transformer Model
• Title（参考訳）: 長文要約への新しいアプローチ: 変圧器モデルにおけるフーリエ変換に基づく注意
• Authors: Andrew Kiruluta, Andreas Lemos and Eric Lundy
• Abstract要約: 本稿では,Fourier Transforms (FNET) を用いた新しいトークン混合方式を広範囲に再設計し,計算コストのかかる自己保持機構を置き換えた。 また,8000以上のトークンを処理可能な確立された手法を用いて,長い文書要約を行う。 全ての変更は、トランスフォーマーアーキテクチャで元のFNETエンコーダを使用する場合よりも、要約タスクのパフォーマンスが向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this work, we extensively redesign the newly introduced method of token mixing using Fourier Transforms (FNET) to replace the computationally expensive self-attention mechanism in a full transformer implementation on a long document summarization task (> 512 tokens). As a baseline, we also carried out long document summarization using established methods such as Longformer and Big Bird transformer models that are capable of processing over 8000 tokens and are currently the state of the art methods for these type of problems. The original FNET paper implemented this in an encoder only architecture while abstractive summarization requires both an encoder and a decoder. Since such a pretrained transformer model does not currently exist in the public domain, we decided to implement a full transformer based on this Fourier token mixing approach in an encoder/decoder architecture which we trained starting with Glove embeddings for the individual words in the corpus. We investigated a number of different extensions to the original FNET architecture and evaluated them on their Rouge F1-score performance on a summarization task. All modifications showed better performance on the summarization task than when using the original FNET encoder in a transformer architecture.
• Abstract（参考訳）: 本研究では,フーリエ変換 (fnet) を用いたトークン混合法を広範囲に再設計し, 長文要約タスク (> 512トークン) による完全トランスフォーマー実装において, 計算コストの高い自己照応機構を置き換えた。 ベースラインとして,8000以上のトークンを処理可能なLongformerやBig Bird Transformerモデルなどの確立した手法を用いて,長い文書要約を行った。 オリジナルのFNET論文では、これをエンコーダのみのアーキテクチャで実装し、抽象的な要約ではエンコーダとデコーダの両方を必要とする。 このような事前訓練されたトランスフォーマーモデルがパブリックドメインに存在しないため、コーパス内の個々の単語に対するGlove埋め込みから学習したエンコーダ/デコーダアーキテクチャにおいて、このフーリエトークン混合アプローチに基づいてフルトランスフォーマーを実装することにした。 我々は、元のFNETアーキテクチャの様々な拡張を調査し、それらを要約タスクでルージュF1スコアのパフォーマンスで評価した。 すべての変更は、トランスアーキテクチャで元のFNETエンコーダを使用する場合よりも、要約タスクのパフォーマンスが向上した。

関連論文リスト

• Learnable Multi-Scale Wavelet Transformer: A Novel Alternative to Self-Attention [0.0]
  Learnable Multi-Scale Wavelet Transformer (LMWT) は、標準的なドット生成の自己アテンションを置き換える新しいアーキテクチャである。 本稿では,学習可能なHaarウェーブレットモジュールの詳細な数学的定式化とトランスフォーマーフレームワークへの統合について述べる。 この結果から,LMWTは計算上の優位性を保ちながら,競争性能を向上することが示された。
  論文  参考訳（メタデータ） (2025-04-08T22:16:54Z)
• FourierNAT: A Fourier-Mixing-Based Non-Autoregressive Transformer for Parallel Sequence Generation [0.0]
  本稿では、デコーダにフーリエを混合して並列に出力シーケンスを生成する非自己回帰変換器(NAT)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-03-04T19:08:39Z)
• FreEformer: Frequency Enhanced Transformer for Multivariate Time Series Forecasting [17.738942892605234]
  本稿は,textbfFrequency textbfEnhanced Transtextbfformerを利用した,シンプルで効果的なモデルである textbfFreEformerを提案する。 実験により、FreEformerは18の現実世界のベンチマークで最先端のモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2025-01-23T08:53:45Z)
• Neural Fourier Modelling: A Highly Compact Approach to Time-Series Analysis [9.969451740838418]
  時系列解析のためのコンパクトで強力なソリューションであるニューラルフーリエモデリング(NFM)を導入する。 NFM はフーリエ変換 (FT) の2つの重要な性質 (i) 有限長時系列をフーリエ領域の関数としてモデル化する能力 (ii) フーリエ領域内のデータ操作の能力 (ii) に基礎を置いている。 NFMは幅広いタスクで最先端のパフォーマンスを達成しており、テスト時にこれまで見つからなかったサンプリングレートを持つ時系列シナリオに挑戦する。
  論文  参考訳（メタデータ） (2024-10-07T02:39:55Z)
• Efficient Diffusion Transformer with Step-wise Dynamic Attention Mediators [83.48423407316713]
  本稿では,クエリとキーを別々に扱うために,追加の仲介者トークンを組み込んだ新しい拡散トランスフォーマーフレームワークを提案する。 本モデルでは, 正確な非曖昧な段階を呈し, 詳細に富んだ段階へと徐々に遷移する。 本手法は,最近のSiTと統合した場合に,最先端のFIDスコア2.01を達成する。
  論文  参考訳（メタデータ） (2024-08-11T07:01:39Z)
• A Dual Domain Multi-exposure Image Fusion Network based on the Spatial-Frequency Integration [57.14745782076976]
  マルチ露光画像融合は、異なる露光で画像を統合することにより、単一の高ダイナミック画像を生成することを目的としている。 本稿では,MEF-SFI と呼ばれる空間周波数統合フレームワークによるマルチ露光画像融合の新たな視点を提案する。 提案手法は,最先端のマルチ露光画像融合手法に対する視覚的近似核融合結果を実現する。
  論文  参考訳（メタデータ） (2023-12-17T04:45:15Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• Exploring Frequency-Inspired Optimization in Transformer for Efficient Single Image Super-Resolution [32.29219284419944]
  クロスリファインメント適応型特徴変調トランス(CRAFT) CRAFTの効率向上を目的とした周波数誘導後量子化(PTQ)手法を提案する。 以上の結果より, CRAFTは現状の方法よりも優れていることが示唆された。
  論文  参考訳（メタデータ） (2023-08-09T15:38:36Z)
• Fourier Transformer: Fast Long Range Modeling by Removing Sequence Redundancy with FFT Operator [24.690247474891958]
  フーリエ変換器は、様々な大きな事前訓練されたモデルから継承する能力を維持しながら、計算コストを大幅に削減することができる。 本モデルは,長距離モデリングベンチマークLRAにおいて,トランスフォーマーベースモデル間の最先端性能を実現する。 CNN/DailyMailやELI5などのシークエンシャルなシークエンスタスクでは、BARTを継承することで、私たちのモデルは標準のBARTよりも優れています。
  論文  参考訳（メタデータ） (2023-05-24T12:33:06Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Deep Fourier Up-Sampling [100.59885545206744]
  フーリエ領域のアップサンプリングは、そのような局所的な性質に従わないため、より難しい。 これらの問題を解決するために理論的に健全なDeep Fourier Up-Sampling (FourierUp)を提案する。
  論文  参考訳（メタデータ） (2022-10-11T06:17:31Z)
• Revisiting Transformer-based Models for Long Document Classification [31.60414185940218]
  実世界のアプリケーションでは、マルチページのマルチパラグラフ文書が一般的であり、バニラトランスフォーマーベースのモデルでは効率的にエンコードできない。 本稿では,変圧器の計算オーバーヘッドを軽減するために,トランスフォーマーを用いた長期文書分類(TrLDC)手法を比較した。 我々は、より長いテキストを処理できることの明確な利点を観察し、その結果に基づいて、長い文書分類タスクにTransformerベースのモデルを適用する実践的なアドバイスを導き出す。
  論文  参考訳（メタデータ） (2022-04-14T00:44:36Z)
• FNetAR: Mixing Tokens with Autoregressive Fourier Transforms [0.0]
  本稿では、FNetARが因果言語モデリングのタスクにおいて、最先端の性能(25.8ppl)を維持していることを示す。 自己回帰フーリエ変換は、ほとんどのTransformerベースの時系列予測モデルにおけるパラメータとして使われる可能性がある。
  論文  参考訳（メタデータ） (2021-07-22T21:24:02Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)
• A Fourier-based Framework for Domain Generalization [82.54650565298418]
  ドメインの一般化は、複数のソースドメインから伝達可能な知識を学習して、未確認のターゲットドメインに一般化することでこの問題に対処することを目的としている。 本稿では、ドメイン一般化のための新しいフーリエに基づく視点を紹介する。 3つのベンチマーク実験により,提案手法は領域一般化のための最先端性能を実現することができることを示した。
  論文  参考訳（メタデータ） (2021-05-24T06:50:30Z)
• Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation [63.46694853953092]
  Swin-Unetは、医用画像セグメンテーション用のUnetライクなトランスフォーマーである。 トークン化されたイメージパッチは、TransformerベースのU字型デコーダデコーダアーキテクチャに供給される。
  論文  参考訳（メタデータ） (2021-05-12T09:30:26Z)
• FNet: Mixing Tokens with Fourier Transforms [0.578717214982749]
  Transformerエンコーダアーキテクチャは、限られた精度コストで大幅に高速化できることを示しています。 入力トークンを「混合」する単純な線形変換に自己着脱部分層を置き換える。 FNetと呼ばれる結果のモデルは、長い入力に対して非常に効率的にスケールします。
  論文  参考訳（メタデータ） (2021-05-09T03:32:48Z)
• Visual Saliency Transformer [127.33678448761599]
  RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。 イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。 実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2021-04-25T08:24:06Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers [149.78470371525754]
  セマンティックセグメンテーションをシーケンスからシーケンスへの予測タスクとして扱う。 具体的には、イメージをパッチのシーケンスとしてエンコードするために純粋なトランスをデプロイします。 トランスのすべての層でモデル化されたグローバルコンテキストにより、このエンコーダは、SETR(SEgmentation TRansformer)と呼ばれる強力なセグメンテーションモデルを提供するための単純なデコーダと組み合わせることができる。 SETRはADE20K(50.28% mIoU)、Pascal Context(55.83% mIoU)、およびCityscapesの競争力のある結果に関する最新技術を達成している。
  論文  参考訳（メタデータ） (2020-12-31T18:55:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。