論文の概要: Quasi Linear Kernel Attention with Infinite Capacity
- arxiv url: http://arxiv.org/abs/2609.35349v1
- Date: Mon, 28 Sep 2026 15:02:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 06:16:23.706536
- Title: Quasi Linear Kernel Attention with Infinite Capacity
- Title（参考訳）: 無限容量の準線形カーネルアテンション
- Abstract要約: 準線形計算を可能にしながら注意力の表現性を保ったカーネルを同定する。
我々は、Softmax, Gauss, Laplace のような表現的カーネルが無限の能力を持つことを示す。
加法的ソートカーネルを現代のソフトマックスバックエンドに対して効率よくベンチマークする。
- 参考スコア（独自算出の注目度）: 6.913903864683795
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The evaluation cost of transformers with softmax attention scales quadratically with sequence length. Kernel attention addresses this by replacing softmax with a more general kernel function. In this paper, we aim to identify kernels that retain the expressivity of attention while enabling quasi linear computation. To quantify expressivity, we introduce a capacity for each kernel, measuring the maximum sequence length for which the attention matrix can approximate the identity. A higher capacity thus indicates greater expressivity. We show that expressive kernels like softmax, Gauss, and Laplace have infinite capacity. In contrast, common quasi linear kernels, such as those derived from finite dimensional feature maps, exhibit finite capacity. As a solution, we propose additive kernels constructed from univariate spline and polynomial exponential kernels. We prove that these maintain infinite capacity while allowing quasi linear computation via sorting. Finally, we implement additive sorting kernels efficiently and benchmark them against modern softmax backends, demonstrating advantages for long sequences.
- Abstract（参考訳）: ソフトマックスアテンションを持つ変圧器の評価コストは、シーケンス長の2倍になる。
カーネルアテンションは、ソフトマックスをより一般的なカーネル関数に置き換えることでこの問題に対処する。
本稿では,準線形計算を可能にしつつ,注意力の表現性を保ったカーネルを同定することを目的とする。
表現性を定量化するために,各カーネルのキャパシティを導入し,注目行列が同一性を近似できる最大シーケンス長を計測する。
したがって、高いキャパシティはより高い表現力を示す。
ソフトマックス、ガウス、ラプラスのような表現的カーネルは無限の能力を持つことを示す。
対照的に、有限次元特徴写像から導かれるような共通準線型核は有限容量を示す。
そこで本研究では,単変量スプラインと多項式指数関数カーネルから構築した加法的カーネルを提案する。
並べ替えによる準線形計算が可能でありながら、無限容量を維持できることを示す。
最後に、加算選別カーネルを効率よく実装し、それらを現代のソフトマックスバックエンドと比較し、長いシーケンスの利点を示す。
関連論文リスト
- Interpretable Kernels [0.0]
非線形予測のためのカーネルの使用は機械学習で広く行われている。
現在のカーネルの使用における大きな欠点は、元の特徴の解釈が失われることである。
観測値よりも多くの特徴が存在するような幅広い特徴行列の場合、カーネルの解は線形結合の観点で再表現できる、と我々は論じる。
論文 参考訳（メタデータ） (2025-08-21T19:40:15Z) - Spectral Truncation Kernels: Noncommutativity in $C^*$-algebraic Kernel Machines [12.11705128358537]
スペクトルトランケーションに基づく正定値カーネルの新しいクラスを提案する。
提案するカーネルは,既存の分離可能カーネルと可換カーネルのギャップを埋めることを示す。
提案されたカーネルクラスの柔軟性により、以前の分離可能で可換なカーネルを超えることができる。
論文 参考訳（メタデータ） (2024-05-28T04:47:12Z) - Quantum Kernel Machine Learning With Continuous Variables [0.0]
量子カーネルを連続変数量子コンピューティングプラットフォームのための閉形式関数として表現する。
すべての核がガウス函数の積として表現され、特徴写像のパラメータの代数函数として表されることを示す。
我々は、GKP状態符号化のような無限星級数の特徴写像で定義されるカーネルを、有限星級数の特徴写像で定義されるカーネルによって任意に近似することができることを証明した。
論文 参考訳（メタデータ） (2024-01-11T03:49:40Z) - Softmax-free Linear Transformers [90.83157268265654]
視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。
既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。
我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
論文 参考訳（メタデータ） (2022-07-05T03:08:27Z) - cosFormer: Rethinking Softmax in Attention [60.557869510885205]
カーネルメソッドは、ソフトマックス演算子を近似することで複雑さを減らすためにしばしば採用される。
近似誤差のため、それらのパフォーマンスは異なるタスク/コーパスで異なり、重要なパフォーマンス低下を被る。
本稿では,バニラ変圧器に匹敵する精度を達成できる,cosFormerと呼ばれる線形変圧器を提案する。
論文 参考訳（メタデータ） (2022-02-17T17:53:48Z) - Fast Sketching of Polynomial Kernels of Polynomial Degree [61.83993156683605]
他のカーネルはしばしばテイラー級数展開を通じてカーネルによって近似されるので、カーネルは特に重要である。
スケッチの最近の技術は、カーネルの$q$という難解な程度に実行時間に依存することを減らしている。
我々は、この実行時間を大幅に改善する新しいスケッチを、先頭の注文項で$q$への依存を取り除くことで提供します。
論文 参考訳（メタデータ） (2021-08-21T02:14:55Z) - Kernel Identification Through Transformers [54.3795894579111]
カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。
この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。
KITT: Kernel Identification through Transformersを提案する。
論文 参考訳（メタデータ） (2021-06-15T14:32:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。