論文の概要: HLA: Hadamard Linear Attention

• arxiv url: http://arxiv.org/abs/2602.12128v1
• Date: Thu, 12 Feb 2026 16:16:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.921885
• Title: HLA: Hadamard Linear Attention
• Title（参考訳）: HLA:アダマール・リニア・アテンション
• Authors: Hanno Ackermann, Hong Cai, Mohsen Ghafoorian, Amirhossein Habibian,
• Abstract要約: 注意機構は変圧器の成功の重要な理由である。 トークン間のペア関係の計算に依存する。 効率的な近似法として 線形注意法が提案されています
• 参考スコア（独自算出の注目度）: 23.409131174857666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The attention mechanism is an important reason for the success of transformers. It relies on computing pairwise relations between tokens. To reduce the high computational cost of standard quadratic attention, linear attention has been proposed as an efficient approximation. It employs kernel functions that are applied independently to the inputs before the pairwise similarities are calculated. That allows for an efficient computational procedure which, however, amounts to a low-degree rational function approximating softmax. We propose Hadamard Linear Attention (HLA). Unlike previous works on linear attention, the nonlinearity in HLA is not applied separately to queries and keys, but, analogously to standard softmax attention, after the pairwise similarities have been computed. It will be shown that the proposed nonlinearity amounts to a higher-degree rational function to approximate softmax. An efficient computational scheme for the proposed method is derived that is similar to that of standard linear attention. In contrast to other approaches, no time-consuming tensor reshaping is necessary to apply the proposed algorithm. The effectiveness of the approach is demonstrated by applying it to a large diffusion transformer model for video generation, an application that involves very large amounts of tokens.
• Abstract（参考訳）: 注意機構は変圧器の成功の重要な理由である。 トークン間のペア関係の計算に依存する。 標準二次注意の計算コストを下げるため、効率的な近似法として線形注意法が提案されている。 これは、ペアの類似性が計算される前に、入力に独立して適用されるカーネル関数を用いる。 これにより、ソフトマックスを近似する低次有理関数に相当する効率的な計算処理が可能となる。 本稿では,アダマール線形注意(Hadamard Linear Attention, HLA)を提案する。 線形注意に関する従来の研究とは異なり、HLAの非線形性はクエリやキーに別々に適用されるのではなく、対の類似性が計算された後、標準的なソフトマックスの注意と類似している。 提案された非線形性は、ソフトマックスを近似する高次有理関数に等しいことが示される。 提案手法の効率的な計算手法は,標準線形注意法と類似している。 他の手法とは対照的に、提案アルゴリズムを適用するのに時間を要するテンソル変換は不要である。 この手法の有効性は、大量のトークンを含むビデオ生成のための大規模な拡散トランスフォーマモデルに適用することで実証される。

関連論文リスト

• Higher-order Linear Attention [59.92962330635185]
  スケールされたドット積の注意の二次コストは、自己回帰言語モデルを長いコンテキストにスケールするための中心的な障害である。 本稿では,高次線形注意(Higher-order Linear Attention, HLA)を提案する。
  論文  参考訳（メタデータ） (2025-10-31T07:54:37Z)
• Neural incomplete factorization: learning preconditioners for the conjugate gradient method [2.899792823251184]
  我々は、効率的なプレコンディショナーの生成を加速するためのデータ駆動型アプローチを開発する。 一般的に手動のプリコンディショナーをグラフニューラルネットワークの出力に置き換える。 本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。
  論文  参考訳（メタデータ） (2023-05-25T11:45:46Z)
• Learning distributed representations with efficient SoftMax normalization [3.8673630752805437]
  有界ノルムを持つ埋め込みベクトルに対して$rm SoftMax(XYT)$の正規化定数を計算する線形時間近似を提案する。 本稿では,提案手法が競合手法よりも高い精度あるいは同等の精度を達成できるような事前学習した埋め込みデータセットについて述べる。 提案アルゴリズムは解釈可能で,任意の埋め込み問題に容易に適応できる。
  論文  参考訳（メタデータ） (2023-03-30T15:48:26Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• SOFT: Softmax-free Transformer with Linear Complexity [112.9754491864247]
  視覚変換器(ViT)は、パッチワイド画像トークン化と自己認識によって、様々な視覚認識タスクの最先端を推し進めている。 線形複雑度で自己注意を近似する様々な試みが自然言語処理で行われている。 これらの制限は、近似中にソフトマックスの自己注意を維持することに根ざしている。 ソフトマックスフリー変圧器(SOFT)を初めて提案する。
  論文  参考訳（メタデータ） (2021-10-22T17:57:29Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。