論文の概要: WavSpA: Wavelet Space Attention for Boosting Transformers' Long Sequence
Learning Ability
- arxiv url: http://arxiv.org/abs/2210.01989v3
- Date: Mon, 22 May 2023 22:42:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 01:22:12.385087
- Title: WavSpA: Wavelet Space Attention for Boosting Transformers' Long Sequence
Learning Ability
- Title(参考訳): WavSpA: トランスフォーマーの長期学習能力向上のためのウェーブレット空間アテンション
- Authors: Yufan Zhuang, Zihan Wang, Fangbo Tao, Jingbo Shang
- Abstract要約: 近年の研究では、フーリエ空間における学習の注意がトランスフォーマーの長いシーケンス学習能力を向上させることが示されている。
ウェーブレット変換は、位置情報と周波数情報の両方を線形時間複雑度でキャプチャするので、よりよい選択であるべきだと我々は主張する。
学習可能なウェーブレット係数空間における注意学習を容易にするウェーブレット空間注意(WavSpA)を提案する。
- 参考スコア(独自算出の注目度): 31.791279777902957
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer and its variants are fundamental neural architectures in deep
learning. Recent works show that learning attention in the Fourier space can
improve the long sequence learning capability of Transformers. We argue that
wavelet transform shall be a better choice because it captures both position
and frequency information with linear time complexity. Therefore, in this
paper, we systematically study the synergy between wavelet transform and
Transformers. We propose Wavelet Space Attention (WavSpA) that facilitates
attention learning in a learnable wavelet coefficient space which replaces the
attention in Transformers by (1) applying forward wavelet transform to project
the input sequences to multi-resolution bases, (2) conducting attention
learning in the wavelet coefficient space, and (3) reconstructing the
representation in input space via backward wavelet transform. Extensive
experiments on the Long Range Arena demonstrate that learning attention in the
wavelet space using either fixed or adaptive wavelets can consistently improve
Transformer's performance and also significantly outperform learning in Fourier
space. We further show our method can enhance Transformer's reasoning
extrapolation capability over distance on the LEGO chain-of-reasoning task.
- Abstract(参考訳): Transformerとその変種はディープラーニングの基本的なニューラルネットワークである。
近年の研究では、フーリエ空間における学習注意がトランスフォーマーの長いシーケンス学習能力を向上できることが示されている。
ウェーブレット変換は、位置情報と周波数情報の両方を線形時間複雑性でキャプチャするので、より良い選択であると主張する。
そこで本稿では,ウェーブレット変換とトランスフォーマーの相乗効果を系統的に研究する。
本稿では,(1)フォワードウェーブレット変換を適用して,入力シーケンスを多分解能ベースに投影し,(2)ウェーブレット係数空間で注意学習を行い,(3)後方ウェーブレット変換により入力空間における表現を再構築することにより,学習可能なウェーブレット係数空間での注意学習を容易にするウェーブレット空間注意(WavSpA)を提案する。
ロングレンジ・アリーナでの大規模な実験により、固定ウェーブレットまたは適応ウェーブレットを用いたウェーブレット空間での学習は、トランスフォーマーの性能を一貫して改善し、フーリエ空間での学習を著しく上回ることを示した。
さらに,本手法は,LEGOチェイン・オブ・レゾニングタスクにおけるトランスフォーマーの推論外挿能力を向上させることができることを示す。
関連論文リスト
- Spiking Wavelet Transformer [1.8712213089437697]
スパイキングニューラルネットワーク(SNN)は、脳のイベント駆動処理を模倣することによって、従来のディープラーニングに代わるエネルギー効率の高い代替手段を提供する。
グローバルな自己注意操作に依存しているため、移動エッジや画素レベルの明るさ変化のような高周波パターンを捉えることは不可能である。
本研究では、スパイク駆動方式で包括的空間周波数特徴を効果的に学習する無注意アーキテクチャであるSpking Wavelet Transformer(SWformer)を提案する。
論文 参考訳(メタデータ) (2024-03-17T08:41:48Z) - Efficient Quantum Algorithm for All Quantum Wavelet Transforms [0.08968838300743379]
我々は,量子コンピュータ上で任意のウェーブレット変換を実行するための,単純かつ効率的な量子アルゴリズムを開発した。
提案した量子ウェーブレット変換は、確立された量子フーリエ変換と同様の方法で量子計算アルゴリズムで利用することができる。
論文 参考訳(メタデータ) (2023-09-17T19:02:08Z) - Multi-Scale Wavelet Transformer for Face Forgery Detection [43.33712402517951]
顔偽造検出のためのマルチスケールウェーブレットトランスフォーマフレームワークを提案する。
周波数に基づく空間的注意は、空間的特徴抽出器をフォージェリトレースに集中させるよう誘導するように設計されている。
空間的特徴と周波数特徴を融合させるため,モーダリティ間の注意が提案されている。
論文 参考訳(メタデータ) (2022-10-08T03:39:36Z) - Wave-ViT: Unifying Wavelet and Transformers for Visual Representation
Learning [138.29273453811945]
マルチスケールビジョントランス (ViT) はコンピュータビジョンタスクの強力なバックボーンとして登場した。
本稿では,ウェーブレット変換と自己注意学習を用いて,可逆的なダウンサンプリングを定式化する新しいウェーブレットビジョン変換器(textbfWave-ViT)を提案する。
論文 参考訳(メタデータ) (2022-07-11T16:03:51Z) - Towards Lightweight Transformer via Group-wise Transformation for
Vision-and-Language Tasks [126.33843752332139]
本稿では,LW-Transformerと呼ばれる視覚・言語タスクのための,普遍的で軽量なトランスフォーマーに対するグループワイズ変換を提案する。
LW-Transformerを一組のTransformerベースのネットワークに適用し、3つの視覚・言語タスクと6つのベンチマークデータセットで定量的に測定する。
実験の結果,LW-Transformerは多数のパラメータや計算を節約しながら,視覚・言語タスクのためのトランスフォーマーネットワークと非常に競合する性能を発揮することがわかった。
論文 参考訳(メタデータ) (2022-04-16T11:30:26Z) - SepTr: Separable Transformer for Audio Spectrogram Processing [74.41172054754928]
分離可能トランス (Separable Transformer, SepTr) と呼ばれる新しい視覚変換器アーキテクチャを提案する。
SepTrは2つのトランスフォーマーブロックを逐次的に使用し、1つは同じ周波数ビン内のトークンに、もう1つは同じ時間間隔でトークンに出席する。
我々は3つのベンチマークデータセットで実験を行い、我々のアーキテクチャが従来のビジョントランスフォーマーや他の最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-03-17T19:48:43Z) - aiWave: Volumetric Image Compression with 3-D Trained Affine
Wavelet-like Transform [43.984890290691695]
最も一般的なボリューム画像圧縮法はJP3Dのようなウェーブレット変換に基づいている。
本稿では,信号依存型および非分離型変換を実現するために,まず3次元トレーニングウェーブレット様変換を設計する。
次に、アフィンウェーブレットベースを導入し、ボリューム画像の異なる領域における様々な局所的相関をキャプチャする。
論文 参考訳(メタデータ) (2022-03-11T10:02:01Z) - Continual Transformers: Redundancy-Free Attention for Online Inference [86.3361797111839]
連続的な入力ストリームにおいて、トランスフォーマーが効率的なオンライントークン・バイ・トケン推論を行うことができるスケールド・ドット・プロダクト・アテンション(Scaled Dot-Product Attention)の新たな定式化を提案する。
我々の修正は純粋に計算順に行われ、生成した出力と学習重量は元のマルチヘッド注意のものと同一である。
論文 参考訳(メタデータ) (2022-01-17T08:20:09Z) - Stable, Fast and Accurate: Kernelized Attention with Relative Positional
Encoding [63.539333383965726]
相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。
相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
論文 参考訳(メタデータ) (2021-06-23T17:51:26Z) - Scalable Transformers for Neural Machine Translation [86.4530299266897]
トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。
本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。
スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
論文 参考訳(メタデータ) (2021-06-04T04:04:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。