論文の概要: Waveformer: Linear-Time Attention with Forward and Backward Wavelet Transform

• arxiv url: http://arxiv.org/abs/2210.01989v1
• Date: Wed, 5 Oct 2022 02:37:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 12:49:32.773713
• Title: Waveformer: Linear-Time Attention with Forward and Backward Wavelet Transform
• Title（参考訳）: Waveformer: 前方および後方ウェーブレット変換による線形時間アテンション
• Authors: Yufan Zhuang, Zihan Wang, Fangbo Tao, Jingbo Shang
• Abstract要約: 本稿では,ウェーブレット係数空間における注意機構を学習し,線形時間しか必要とせず,普遍的な近似力を享受するWaveformerを提案する。 また、他の非線形変換も使用できるので、学習パラダイムWavelet transformatIon for Sequence lEarning (WISE) と命名する。
• 参考スコア（独自算出の注目度）: 31.791279777902957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose Waveformer that learns attention mechanism in the wavelet coefficient space, requires only linear time complexity, and enjoys universal approximating power. Specifically, we first apply forward wavelet transform to project the input sequences to multi-resolution orthogonal wavelet bases, then conduct nonlinear transformations (in this case, a random feature kernel) in the wavelet coefficient space, and finally reconstruct the representation in input space via backward wavelet transform. We note that other non-linear transformations may be used, hence we name the learning paradigm Wavelet transformatIon for Sequence lEarning (WISE). We emphasize the importance of backward reconstruction in the WISE paradigm -- without it, one would be mixing information from both the input space and coefficient space through skip connections, which shall not be considered as mathematically sound. Compared with Fourier transform in recent works, wavelet transform is more efficient in time complexity and better captures local and positional information; we further support this through our ablation studies. Extensive experiments on seven long-range understanding datasets from the Long Range Arena benchmark and code understanding tasks demonstrate that (1) Waveformer achieves competitive and even better accuracy than a number of state-of-the-art Transformer variants and (2) WISE can boost accuracies of various attention approximation methods without increasing the time complexity. These together showcase the superiority of learning attention in a wavelet coefficient space over the input space.
• Abstract（参考訳）: 本稿では,ウェーブレット係数空間における注意機構を学習し,線形時間複雑性のみを必要とし,普遍近似パワーを享受する波形器を提案する。 具体的には、まず入力シーケンスを多分解能直交ウェーブレット基底に投影するためにフォワードウェーブレット変換を適用し、次にウェーブレット係数空間において非線形変換(この場合、ランダム特徴カーネル)を行い、最後に後方ウェーブレット変換を介して入力空間の表現を再構成する。 また、他の非線形変換も利用可能であり、学習パラダイムであるWavelet transformatIon for Sequence lEarning (WISE) と命名する。 我々は、WISEパラダイムにおける後方再構成の重要性を強調し、それなしでは、数学的に健全とはみなさないスキップ接続を通じて入力空間と係数空間の両方から情報を混合する。 最近の研究におけるフーリエ変換と比較して、ウェーブレット変換は時間複雑性においてより効率的であり、局所的および位置的情報をよりよくキャプチャする。 Long Range Arenaベンチマークとコード理解タスクによる7つの長距離理解データセットの大規模な実験により、(1)Waveformerは、最先端のTransformer変種よりも競争力と精度を向上し、(2)WISEは、時間的複雑さを増大させることなく、様々な注意近似手法の精度を高めることができることを示した。 これらは入力空間上のウェーブレット係数空間における学習注意の優位性を示す。

関連論文リスト

• Differential Transformer [99.5117269150629]
  トランスフォーマーは、無関係な文脈に注意を向ける傾向がある。 Diff Transformerを導入し、ノイズをキャンセルしながら関連するコンテキストに注意を向ける。 ロングコンテキストモデリング、キー情報検索、幻覚緩和、インコンテキスト学習、アクティベーションアウトリーの削減など、実用的な応用において顕著な利点がある。
  論文  参考訳（メタデータ） (2024-10-07T17:57:38Z)
• Steerable Transformers [5.564976582065106]
  本稿では、視覚変換機構の拡張であるステアブルトランス(Steerable Transformer)を紹介する。 本稿では, ステアブル・コンボリューションによって抽出された特徴に作用する同変アテンション機構を提案する。
  論文  参考訳（メタデータ） (2024-05-24T20:43:19Z)
• Spiking Wavelet Transformer [1.8712213089437697]
  スパイキングニューラルネットワーク(SNN)は、従来のディープラーニングに代わるエネルギー効率の高い代替手段を提供する。 SNNの変換器は精度が保証されているが、高周波パターンの学習に苦労している。 本研究では、スパイク駆動方式で包括的空間周波数特徴を効果的に学習する無注意アーキテクチャであるSpking Wavelet Transformer(SWformer)を提案する。
  論文  参考訳（メタデータ） (2024-03-17T08:41:48Z)
• Multi-Scale Wavelet Transformer for Face Forgery Detection [43.33712402517951]
  顔偽造検出のためのマルチスケールウェーブレットトランスフォーマフレームワークを提案する。 周波数に基づく空間的注意は、空間的特徴抽出器をフォージェリトレースに集中させるよう誘導するように設計されている。 空間的特徴と周波数特徴を融合させるため,モーダリティ間の注意が提案されている。
  論文  参考訳（メタデータ） (2022-10-08T03:39:36Z)
• Wave-ViT: Unifying Wavelet and Transformers for Visual Representation Learning [138.29273453811945]
  マルチスケールビジョントランス (ViT) はコンピュータビジョンタスクの強力なバックボーンとして登場した。 本稿では,ウェーブレット変換と自己注意学習を用いて,可逆的なダウンサンプリングを定式化する新しいウェーブレットビジョン変換器(textbfWave-ViT)を提案する。
  論文  参考訳（メタデータ） (2022-07-11T16:03:51Z)
• SepTr: Separable Transformer for Audio Spectrogram Processing [74.41172054754928]
  分離可能トランス (Separable Transformer, SepTr) と呼ばれる新しい視覚変換器アーキテクチャを提案する。 SepTrは2つのトランスフォーマーブロックを逐次的に使用し、1つは同じ周波数ビン内のトークンに、もう1つは同じ時間間隔でトークンに出席する。 我々は3つのベンチマークデータセットで実験を行い、我々のアーキテクチャが従来のビジョントランスフォーマーや他の最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-17T19:48:43Z)
• aiWave: Volumetric Image Compression with 3-D Trained Affine Wavelet-like Transform [43.984890290691695]
  最も一般的なボリューム画像圧縮法はJP3Dのようなウェーブレット変換に基づいている。 本稿では,信号依存型および非分離型変換を実現するために,まず3次元トレーニングウェーブレット様変換を設計する。 次に、アフィンウェーブレットベースを導入し、ボリューム画像の異なる領域における様々な局所的相関をキャプチャする。
  論文  参考訳（メタデータ） (2022-03-11T10:02:01Z)
• Continual Transformers: Redundancy-Free Attention for Online Inference [86.3361797111839]
  連続的な入力ストリームにおいて、トランスフォーマーが効率的なオンライントークン・バイ・トケン推論を行うことができるスケールド・ドット・プロダクト・アテンション(Scaled Dot-Product Attention)の新たな定式化を提案する。 我々の修正は純粋に計算順に行われ、生成した出力と学習重量は元のマルチヘッド注意のものと同一である。
  論文  参考訳（メタデータ） (2022-01-17T08:20:09Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。