論文の概要: Bridging the Divide: Reconsidering Softmax and Linear Attention

• arxiv url: http://arxiv.org/abs/2412.06590v1
• Date: Mon, 09 Dec 2024 15:44:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:54:26.474595
• Title: Bridging the Divide: Reconsidering Softmax and Linear Attention
• Title（参考訳）: 分断をブリッジする - ソフトマックスと線形注意を再考する
• Authors: Dongchen Han, Yifan Pu, Zhuofan Xia, Yizeng Han, Xuran Pan, Xiu Li, Jiwen Lu, Shiji Song, Gao Huang,
• Abstract要約: 線形注意の限界を理解し緩和する2つの重要な視点を提示する。 線形注意は単射ではなく、異なるクエリベクトルに同一の注意重みを割り当てる傾向があることを証明した。 第2に,線形の注意が不足するソフトマックスの注意を成功させるためには,効果的な局所モデリングが不可欠であることを確認した。
• 参考スコア（独自算出の注目度）: 116.34723260730405
• License:
• Abstract: Widely adopted in modern Vision Transformer designs, Softmax attention can effectively capture long-range visual information; however, it incurs excessive computational cost when dealing with high-resolution inputs. In contrast, linear attention naturally enjoys linear complexity and has great potential to scale up to higher-resolution images. Nonetheless, the unsatisfactory performance of linear attention greatly limits its practical application in various scenarios. In this paper, we take a step forward to close the gap between the linear and Softmax attention with novel theoretical analyses, which demystify the core factors behind the performance deviations. Specifically, we present two key perspectives to understand and alleviate the limitations of linear attention: the injective property and the local modeling ability. Firstly, we prove that linear attention is not injective, which is prone to assign identical attention weights to different query vectors, thus adding to severe semantic confusion since different queries correspond to the same outputs. Secondly, we confirm that effective local modeling is essential for the success of Softmax attention, in which linear attention falls short. The aforementioned two fundamental differences significantly contribute to the disparities between these two attention paradigms, which is demonstrated by our substantial empirical validation in the paper. In addition, more experiment results indicate that linear attention, as long as endowed with these two properties, can outperform Softmax attention across various tasks while maintaining lower computation complexity. Code is available at https://github.com/LeapLabTHU/InLine.
• Abstract（参考訳）: 現代のVision Transformerの設計で広く採用されているSoftmaxの注意力は、長距離の視覚情報を効果的に捉えることができるが、高解像度入力を扱う場合の計算コストは過大である。 対照的に、線形の注意は自然に線形の複雑さを享受し、高解像度の画像にスケールアップする大きな可能性を秘めている。 それでも、線形注意の満足できない性能は、様々なシナリオにおける実用性を著しく制限する。 本稿では,線形とソフトマックスの注目のギャップを埋めるために,新たな理論解析を行い,性能差の背景となる要因を解明する。 具体的には,単射特性と局所モデリング能力という,線形注意の限界を理解し緩和するための2つの重要な視点を示す。 まず、線形注意が単射ではなく、異なるクエリベクトルに同一の注意重みを割り当てる傾向があることを証明し、異なるクエリが同じ出力に対応するため、重大な意味的混乱を追加する。 第2に,線形の注意が不足するソフトマックスの注意を成功させるためには,効果的な局所モデリングが不可欠であることを確認した。 上記の2つの基本的差異は,これらの2つの注意パラダイムの相違に大きく寄与する。 さらに、これらの2つの特性が与えられている限り、線形の注意は、より低い計算複雑性を維持しながら、様々なタスクにおいてソフトマックスの注意を上回り得ることを示す実験結果も出ている。 コードはhttps://github.com/LeapLabTHU/InLineで入手できる。

関連論文リスト

• Breaking the Low-Rank Dilemma of Linear Attention [61.55583836370135]
  線形注意(linear attention)は、複雑性を線形レベルに還元することで、はるかに効率的なソリューションを提供する。 実験により, この性能低下は, 線形アテンションの特徴マップの低ランク性に起因することが示唆された。 我々は,線形複雑性と高効率を維持しつつ,Softmaxの注目性能に匹敵するランク拡張線形注意(RALA)を導入する。
  論文  参考訳（メタデータ） (2024-11-12T08:30:59Z)
• Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
  本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。 提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-12T12:12:38Z)
• Superiority of Softmax: Unveiling the Performance Edge Over Linear Attention [28.98187418889448]
  大規模なトランスモデルは、多くの自然言語処理タスクにおいて最先端の結果を得た。 注意機構は、ソフトマックス関数の利用を通じて、シーケンス内のトークン相互作用を捕捉する上で重要な役割を果たす。 リニアアテンションは、線形複雑性でソフトマックス演算を近似することで、より計算的に効率的な代替手段を示す。
  論文  参考訳（メタデータ） (2023-10-18T03:17:57Z)
• SEA: Sparse Linear Attention with Estimated Attention Mask [51.22399593954608]
  長い連続性は、注意操作の二次的な複雑さのために問題を引き起こす。 従来の研究は、注意行列をスパース化または線形に近似することで複雑さを低下させることを目的としていた。 推定アテンションマスクを用いたSparse linear attentionを提案する。
  論文  参考訳（メタデータ） (2023-10-03T03:56:26Z)
• FLatten Transformer: Vision Transformer using Focused Linear Attention [80.61335173752146]
  線形注意(linear attention)は、その線形複雑性に対して、はるかに効率的な代替手段を提供する。 現在の線形アテンションアプローチは、大きなパフォーマンス劣化に悩まされるか、追加の計算オーバーヘッドを導入するかのいずれかである。 本研究では,高効率と表現性の両方を実現するために,新しいFocused Linear Attentionモジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-01T10:37:12Z)
• The Devil in Linear Transformer [42.232886799710215]
  線形変圧器は、バニラ変圧器の二次的時空複雑性を低減することを目的としている。 通常、様々なタスクやコーパスの劣化したパフォーマンスに悩まされる。 本稿では,このような性能のギャップを生じさせる2つの重要な問題を特定する。
  論文  参考訳（メタデータ） (2022-10-19T07:15:35Z)
• Linear Video Transformer with Feature Fixation [34.324346469406926]
  ビジョントランスフォーマーは、ソフトマックスのアテンション機構によって引き起こされる二次的な複雑さに悩まされながら、ビデオ分類において印象的なパフォーマンスを達成した。 本稿では、線形注意を計算する前に、クエリとキーの特徴的重要性を再重み付けする機能固定モジュールを提案する。 我々は,3つの人気ビデオ分類ベンチマークを用いて,線形ビデオ変換器の最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-10-15T02:20:50Z)
• cosFormer: Rethinking Softmax in Attention [60.557869510885205]
  カーネルメソッドは、ソフトマックス演算子を近似することで複雑さを減らすためにしばしば採用される。 近似誤差のため、それらのパフォーマンスは異なるタスク/コーパスで異なり、重要なパフォーマンス低下を被る。 本稿では,バニラ変圧器に匹敵する精度を達成できる,cosFormerと呼ばれる線形変圧器を提案する。
  論文  参考訳（メタデータ） (2022-02-17T17:53:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。