論文の概要: WavSpA: Wavelet Space Attention for Boosting Transformers' Long Sequence Learning Ability

• arxiv url: http://arxiv.org/abs/2210.01989v3
• Date: Mon, 22 May 2023 22:42:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 01:22:12.385087
• Title: WavSpA: Wavelet Space Attention for Boosting Transformers' Long Sequence Learning Ability
• Title（参考訳）: WavSpA: トランスフォーマーの長期学習能力向上のためのウェーブレット空間アテンション
• Authors: Yufan Zhuang, Zihan Wang, Fangbo Tao, Jingbo Shang
• Abstract要約: 近年の研究では、フーリエ空間における学習の注意がトランスフォーマーの長いシーケンス学習能力を向上させることが示されている。 ウェーブレット変換は、位置情報と周波数情報の両方を線形時間複雑度でキャプチャするので、よりよい選択であるべきだと我々は主張する。 学習可能なウェーブレット係数空間における注意学習を容易にするウェーブレット空間注意(WavSpA)を提案する。
• 参考スコア（独自算出の注目度）: 31.791279777902957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer and its variants are fundamental neural architectures in deep learning. Recent works show that learning attention in the Fourier space can improve the long sequence learning capability of Transformers. We argue that wavelet transform shall be a better choice because it captures both position and frequency information with linear time complexity. Therefore, in this paper, we systematically study the synergy between wavelet transform and Transformers. We propose Wavelet Space Attention (WavSpA) that facilitates attention learning in a learnable wavelet coefficient space which replaces the attention in Transformers by (1) applying forward wavelet transform to project the input sequences to multi-resolution bases, (2) conducting attention learning in the wavelet coefficient space, and (3) reconstructing the representation in input space via backward wavelet transform. Extensive experiments on the Long Range Arena demonstrate that learning attention in the wavelet space using either fixed or adaptive wavelets can consistently improve Transformer's performance and also significantly outperform learning in Fourier space. We further show our method can enhance Transformer's reasoning extrapolation capability over distance on the LEGO chain-of-reasoning task.
• Abstract（参考訳）: Transformerとその変種はディープラーニングの基本的なニューラルネットワークである。 近年の研究では、フーリエ空間における学習注意がトランスフォーマーの長いシーケンス学習能力を向上できることが示されている。 ウェーブレット変換は、位置情報と周波数情報の両方を線形時間複雑性でキャプチャするので、より良い選択であると主張する。 そこで本稿では,ウェーブレット変換とトランスフォーマーの相乗効果を系統的に研究する。 本稿では,(1)フォワードウェーブレット変換を適用して,入力シーケンスを多分解能ベースに投影し,(2)ウェーブレット係数空間で注意学習を行い,(3)後方ウェーブレット変換により入力空間における表現を再構築することにより,学習可能なウェーブレット係数空間での注意学習を容易にするウェーブレット空間注意(WavSpA)を提案する。 ロングレンジ・アリーナでの大規模な実験により、固定ウェーブレットまたは適応ウェーブレットを用いたウェーブレット空間での学習は、トランスフォーマーの性能を一貫して改善し、フーリエ空間での学習を著しく上回ることを示した。 さらに,本手法は,LEGOチェイン・オブ・レゾニングタスクにおけるトランスフォーマーの推論外挿能力を向上させることができることを示す。

関連論文リスト

• Differential Transformer [99.5117269150629]
  トランスフォーマーは、無関係な文脈に注意を向ける傾向がある。 Diff Transformerを導入し、ノイズをキャンセルしながら関連するコンテキストに注意を向ける。 ロングコンテキストモデリング、キー情報検索、幻覚緩和、インコンテキスト学習、アクティベーションアウトリーの削減など、実用的な応用において顕著な利点がある。
  論文  参考訳（メタデータ） (2024-10-07T17:57:38Z)
• Steerable Transformers [5.564976582065106]
  本稿では、視覚変換機構の拡張であるステアブルトランス(Steerable Transformer)を紹介する。 本稿では, ステアブル・コンボリューションによって抽出された特徴に作用する同変アテンション機構を提案する。
  論文  参考訳（メタデータ） (2024-05-24T20:43:19Z)
• Spiking Wavelet Transformer [1.8712213089437697]
  スパイキングニューラルネットワーク(SNN)は、従来のディープラーニングに代わるエネルギー効率の高い代替手段を提供する。 SNNの変換器は精度が保証されているが、高周波パターンの学習に苦労している。 本研究では、スパイク駆動方式で包括的空間周波数特徴を効果的に学習する無注意アーキテクチャであるSpking Wavelet Transformer(SWformer)を提案する。
  論文  参考訳（メタデータ） (2024-03-17T08:41:48Z)
• Multi-Scale Wavelet Transformer for Face Forgery Detection [43.33712402517951]
  顔偽造検出のためのマルチスケールウェーブレットトランスフォーマフレームワークを提案する。 周波数に基づく空間的注意は、空間的特徴抽出器をフォージェリトレースに集中させるよう誘導するように設計されている。 空間的特徴と周波数特徴を融合させるため,モーダリティ間の注意が提案されている。
  論文  参考訳（メタデータ） (2022-10-08T03:39:36Z)
• Wave-ViT: Unifying Wavelet and Transformers for Visual Representation Learning [138.29273453811945]
  マルチスケールビジョントランス (ViT) はコンピュータビジョンタスクの強力なバックボーンとして登場した。 本稿では,ウェーブレット変換と自己注意学習を用いて,可逆的なダウンサンプリングを定式化する新しいウェーブレットビジョン変換器(textbfWave-ViT)を提案する。
  論文  参考訳（メタデータ） (2022-07-11T16:03:51Z)
• SepTr: Separable Transformer for Audio Spectrogram Processing [74.41172054754928]
  分離可能トランス (Separable Transformer, SepTr) と呼ばれる新しい視覚変換器アーキテクチャを提案する。 SepTrは2つのトランスフォーマーブロックを逐次的に使用し、1つは同じ周波数ビン内のトークンに、もう1つは同じ時間間隔でトークンに出席する。 我々は3つのベンチマークデータセットで実験を行い、我々のアーキテクチャが従来のビジョントランスフォーマーや他の最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-17T19:48:43Z)
• aiWave: Volumetric Image Compression with 3-D Trained Affine Wavelet-like Transform [43.984890290691695]
  最も一般的なボリューム画像圧縮法はJP3Dのようなウェーブレット変換に基づいている。 本稿では,信号依存型および非分離型変換を実現するために,まず3次元トレーニングウェーブレット様変換を設計する。 次に、アフィンウェーブレットベースを導入し、ボリューム画像の異なる領域における様々な局所的相関をキャプチャする。
  論文  参考訳（メタデータ） (2022-03-11T10:02:01Z)
• Continual Transformers: Redundancy-Free Attention for Online Inference [86.3361797111839]
  連続的な入力ストリームにおいて、トランスフォーマーが効率的なオンライントークン・バイ・トケン推論を行うことができるスケールド・ドット・プロダクト・アテンション(Scaled Dot-Product Attention)の新たな定式化を提案する。 我々の修正は純粋に計算順に行われ、生成した出力と学習重量は元のマルチヘッド注意のものと同一である。
  論文  参考訳（メタデータ） (2022-01-17T08:20:09Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。