論文の概要: Exact Linear Attention

• arxiv url: http://arxiv.org/abs/2605.18848v1
• Date: Wed, 13 May 2026 08:06:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.665969
• Title: Exact Linear Attention
• Title（参考訳）: 厳密な線形注意
• Authors: Weinuo Ou,
• Abstract要約: 本稿では,トランスフォーマー注意のための線形計算複雑性を実現する機構であるExact Linear Attention (ELA)を紹介する。 カーネル制約を課すことで、事前の線形アテンション法における勾配爆発とトークンアテンションの希釈を識別し、対処する。 Hadamard Exp Kernel、Summation Squared Euclidean Distance Kernel、Subtraction Squared Euclidean Distance Kernelなど、いくつかのカーネル関数が提案されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces Exact Linear Attention (ELA), a mechanism that achieves linear computational complexity for Transformer attention by leveraging the exact decomposition property of kernel functions, without any approximation error. It identifies and addresses gradient explosion and token attention dilution in prior linear attention methods by imposing kernel constraints that ensure non-negativity, discriminability, and geometric interpretability. Several kernel functions are proposed, including the Hadamard Exp Kernel, Summation Squared Euclidean Distance Kernel, and Subtraction Squared Euclidean Distance Kernel. Beyond the core attention formulation, the paper presents three engineering innovations: a Hyper Link structure that replaces traditional residual connections to mitigate gradient degradation, a Memory Lobe module based on bidirectional linear attention that captures transformation flow across layers to implement qualitative memory and an implicit reinforcement learning paradigm, and a routing score based bias mechanism for Mixture of Experts to improve interpretability and semantic alignment.
• Abstract（参考訳）: 本稿では,カーネル関数の正確な分解特性を利用して,線形計算複雑性を実現する機構であるExact Linear Attention (ELA)を提案する。 これは、非負性性、識別可能性、幾何学的解釈可能性を保証するカーネル制約を課すことにより、以前の線形アテンション法における勾配爆発とトークンアテンションの希釈を識別し、解決する。 Hadamard Exp Kernel、Summation Squared Euclidean Distance Kernel、Subtraction Squared Euclidean Distance Kernelなど、いくつかのカーネル関数が提案されている。 コアアテンションの定式化以外にも,従来の残差接続をリプレースして勾配劣化を緩和するハイパーリンク構造,定性的メモリと暗黙的強化学習パラダイムを実装するために層間の変換フローをキャプチャする双方向線形アテンションに基づくメモリローブモジュール,解釈性とセマンティックアライメントを改善するためのルーティングスコアベースバイアス機構の3つの技術革新が提案されている。

関連論文リスト

• Accelerating Regularized Attention Kernel Regression for Spectrum Cartography [1.9651461643699661]
  本稿では,学習に基づく注意カーネル回帰(LAKER)アルゴリズムを提案する。 鍵となる考え方は、アテンションカーネルシステムの逆スペクトル構造をキャプチャするデータ依存プリコンディショナーを学習することである。 実験により、LAKERは最大3桁の条件数を大幅に削減し、ベースラインに比べて20倍以上の収束を加速し、高い復元精度を維持することが示された。
  論文  参考訳（メタデータ） (2026-04-28T02:27:40Z)
• Rethinking Vector Field Learning for Generative Segmentation [50.08025820235397]
  生成的セグメンテーションのためのモデリング拡散モデルが注目されている。 ベクトル場学習の観点から拡散セグメンテーションを再考する。 本稿では,学習した消滅速度場を距離認識補正項で拡張するベクトル場再構成手法を提案する。 この補正は、誘引的相互作用と反発的相互作用の両方を導入し、元の拡散訓練フレームワークを保ちながら、セントロイド付近の勾配等級を増大させる。
  論文  参考訳（メタデータ） (2026-03-19T17:58:19Z)
• Influence Malleability in Linearized Attention: Dual Implications of Non-Convergent NTK Dynamics [0.0]
  線形化された注意はその無限幅のNTK限界に収束しないことを示す。 また、注意力と脆弱性は、カーネル体制からの離脱に共通点があることも示している。
  論文  参考訳（メタデータ） (2026-03-13T15:33:34Z)
• Sparse Attention as Compact Kernel Regression [20.026224027434974]
  カーネル理論によるスパースアテンション機構の理解が現在欠落している。 スパースアテンションとコンパクト(有界サポート)カーネルの正式な対応を確立する。 カーネルレグレッションベースの変種であるメモリモザイクによる実験は、カーネルベースのスパースアテンションが競合性能を達成することを示している。
  論文  参考訳（メタデータ） (2026-01-30T09:45:35Z)
• A Representer Theorem for Hawkes Processes via Penalized Least Squares Minimization [31.876688992403647]
  代表者定理(英: representer theorem)は、カーネルヒルベルト空間を再現する潜在関数を推定することを目的とした、カーネル法の基礎となる定理である。 変換されたカーネルの族は、同時積分方程式の系によって定義される。 注目すべきは、双対係数はすべて解析的にユニタリに固定され、双対係数を得るためにコストのかかる最適化問題を解く必要がなくなることである。
  論文  参考訳（メタデータ） (2025-10-10T02:00:56Z)
• Generalization Bound of Gradient Flow through Training Trajectory and Data-dependent Kernel [55.82768375605861]
  我々は、カーネル法における古典的ラデマッハ複雑性と整合する勾配流の一般化を確立する。 NTKのような静的カーネルとは異なり、LPKはトレーニング軌跡全体をキャプチャし、データと最適化の両方に適応する。
  論文  参考訳（メタデータ） (2025-06-12T23:17:09Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Linear Self-Attention Approximation via Trainable Feedforward Kernel [77.34726150561087]
  高速な計算を追求する中で、効率的なトランスフォーマーは印象的な様々なアプローチを実証している。 我々は,トランスフォーマーアーキテクチャの自己保持機構を近似するために,トレーニング可能なカーネルメソッドのアイデアを拡張することを目指している。
  論文  参考訳（メタデータ） (2022-11-08T08:14:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。