論文の概要: Kernelized Linear Attention: Breaking the Capacity Wall with Symmetric Cones
- arxiv url: http://arxiv.org/abs/2607.17419v1
- Date: Sun, 19 Jul 2026 21:46:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.463499
- Title: Kernelized Linear Attention: Breaking the Capacity Wall with Symmetric Cones
- Title（参考訳）: カーネル化された線形注意:対称円錐で容量壁を破る
- Abstract要約: リニアアテンションは一定時間繰り返しの推論を約束するが、連想的リコールによって著しく低下する。
Kernelized Linear Attention Activations (KATA)を紹介します。
ランク1の正の半定的な特徴が良好なキャパシティ-干渉トレードオフをもたらすことを示す。
- 参考スコア（独自算出の注目度）: 4.847095054351615
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Linear attention promises constant-time recurrent inference but degrades sharply on associative recall. We formulate attention recall as a spherical-packing problem and introduce Kernelized Linear Attention Activations (KATA), a framework whose feature maps are derived from first principles by certifying nonnegative attention weights through a self-dual homogeneous cone. Building on this observation, we show that rank-one positive semi-definite (PSD) features offer a favorable capacity--interference tradeoff. KATA recovers a parameter-free convex output gate and characterizes associative capacity through the Welch interference floor. For tolerances above this floor, KATA enlarges the state without adding parameters and admits spherical codes with exponentially many keys in the projection dimension. We implement KATA as fused Triton kernels at two operating points: a flash-attention-style forward up to ${\sim}1.6\times$ FlashAttention-2 throughput, and an exact $O(T)$ chunked-state form that reaches ${\sim}11\times$ FlashAttention-2 forward throughput at $131$k tokens. An associative scan of the first-order feature lowers the inter-chunk recurrence depth to $O(\log(T/C))$ for chunk size $C$ and averages ${\sim}2.4\times$ the throughput of a matched sequential linear-attention baseline. On long-range MQAR and repeated-key overwrite, several KATA variants outperform Gated DeltaNet, with parameter counts and state sizes reported alongside accuracy. Induction preserves near-perfect recall, while kernel benchmarks show that the maps can be implemented efficiently. KATA retains $0.985$ MQAR at a $16\times$ out-of-distribution length, approaching the softmax with roughly one quarter of the KV-cache entries. Experiments on 340M-parameter LLMs reveal a feature-dependent fluency trade-off and clarify how positional embeddings, delta rules, and decay gates interact with feature geometry.
- Abstract（参考訳）: リニアアテンションは一定時間繰り返しの推論を約束するが、連想的リコールによって著しく低下する。
自己双対同質円錐を通して非負の注意重みを証明し、第一原理から特徴写像を導出するフレームワークであるKATA(Kernelized Linear Attention Activations)を導入する。
この観測に基づいて、ランクワン正の半定値(PSD)特徴が良好なキャパシティ-干渉トレードオフをもたらすことを示す。
KATAはパラメータフリーの凸出力ゲートを復元し、ウェルチ干渉フロアを介して連想容量を特徴付ける。
このフロア上の寛容性については、KATAはパラメータを追加せずに状態を拡大し、射影次元において指数的に多くのキーを持つ球面符号を許容する。
フラッシュアテンションスタイルのフォワードを${\sim}1.6\times$ FlashAttention-2スループットに、正確な$O(T)$チャンクステートフォームを${\sim}11\times$ FlashAttention-2フォワードスループットを$31$kトークンで実装する。
1次機能の連想スキャンにより、チャンク間の再帰深さを$O(\log(T/C))$でチャンクサイズが$C$、平均が${\sim}2.4\times$で一致した逐次リニアアテンションベースラインのスループットが$O(\log(T/C))$に下げられる。
長距離MQARと繰り返しキー上書きでは、いくつかのKATA変種がGated DeltaNetを上回り、パラメータカウントと状態サイズが正確さと共に報告されている。
インジェクションは、ほぼ完全なリコールを保持し、カーネルベンチマークは、マップを効率的に実装できることを示している。
KATAは$0.985$ MQARを16\times$out-of-distriion lengthで保持し、KVキャッシュの約4分の1のエントリでソフトマックスに近づいている。
340M パラメーター LLM の実験では、特徴に依存した周波数トレードオフが示され、位置埋め込み、デルタ規則、崩壊ゲートが特徴幾何学とどのように相互作用するかを明らかにする。
関連論文リスト
- SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。
我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
論文 参考訳（メタデータ） (2026-08-23T10:41:07Z) - Flash-CNNCap: Capacitance Extraction via Image Mapping [3.790585344640331]
Flash-CNNCapはCNNベースの抽出器で、空間寄与マップ上でのイメージ・ツー・イメージレグレッションとして全行列キャパシタンス予測を再構成する。
総容量モデルとマスター条件結合モデルはそれぞれ、導体レベルの値に還元された空間マップを予測する。
地図は、ピクセル単位の監督なしに、導体レベルラベルから学習される。
論文 参考訳（メタデータ） (2026-07-26T22:46:20Z) - Attention at the Theoretical Minimum: A Mathematics of Arrays Framework for Memory-Optimal Transformer Kernels [0.0]
本報告では, ドット積の小型化と, 数値的に安定なソフトマックスについて述べる。
DNFは、標準実装に対して$O(n_dk + n_dv)$データ移動と$O(n2 + n_dk + n_dv)$のデータ移動を達成する。
ハードウェア固有のアクセラレータやFlashAttentionのような経験的なタイリングスキームとは異なり、MoAはアレイ融合、形状変換の正確性、予測コストモデルも同時に提供する。
論文 参考訳（メタデータ） (2026-06-05T14:44:49Z) - LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。
本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。
その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
論文 参考訳（メタデータ） (2026-06-03T06:07:33Z) - Tensor Cache: Eviction-conditioned Associative Memory for Transformers [20.67103891489219]
キャッシュは、第1レベルのキャッシュ(L1)としてスライディングウインドウのソフトマックスの注意を、固定サイズの外積高速なメモリとして、ウィンドウから放出されるKVペアによって供給される第2レベルのキャッシュとする。
取り除かれたペアは、層ごとの行列に$A$に圧縮され、単一の行列乗算によって将来のクエリによって読み込まれる。
論文 参考訳（メタデータ） (2026-05-21T00:21:51Z) - Variational Linear Attention: Stable Associative Memory for Long-Context Transformers [0.6117371161379209]
リニアアテンションはソフトマックスアテンションの二次コストを$mathcalO(T)$に下げるが、フロベニウスノルムでは$mathcalO(T)$としてメモリ状態が増加する。
メモリ更新をオンライン最小二乗問題として再構成するtextbfVariational Linear Attention (VLA) を導入する。
論文 参考訳（メタデータ） (2026-05-11T20:03:12Z) - Sharp Capacity Thresholds in Linear Associative Memory: From Winner-Take-All to Listwise Retrieval [59.859592671274704]
$dtimes d$ リニアメモリストアはいくつのキー値アソシエーションが可能ですか?
この答えは、メモリマトリックスの$d2$自由度だけでなく、検索基準にも依存する。
論文 参考訳（メタデータ） (2026-05-06T17:53:20Z) - Linear-Readout Floors and Threshold Recovery in Computation in Superposition [0.0]
重ね合わせにおける計算に対する最近の2つのアプローチは、異なるキャパシティレジームに到達している。
これらの結果は異なるインターフェース不変性を維持するため矛盾しない。
Hnniテンプレート以外のロバストな非線形リセットは開のままである。
論文 参考訳（メタデータ） (2026-05-02T02:11:31Z) - AAC: Admissible-by-Architecture Differentiable Landmark Compression for ALT [1.2891210250935148]
AAC は ALT (A*, Landmarks, Triangle) のショートパスのための差別化可能なランドマーク選択モジュールである。
これは古典的な探索における圧縮時適応の伝統の最初の微分可能な例である。
論文 参考訳（メタデータ） (2026-04-22T16:31:21Z) - Scaling Attention via Feature Sparsity [50.64995497733461]
超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。
本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。
GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
論文 参考訳（メタデータ） (2026-03-17T08:41:50Z) - Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit
Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。
我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-07T15:03:50Z) - H$_2$O: Heavy-Hitter Oracle for Efficient Generative Inference of Large
Language Models [110.06476624089679]
メモリフットプリントを大幅に削減する新しいKVキャッシュの実装手法を提案する。
我々のアプローチは、トークンのごく一部が、注意点の計算において、ほとんどの価値に寄与する、という観察に基づいている。
我々は,最近のトークンとH$のバランスを動的に保持するKVキャッシュ消去ポリシーであるヘビーヒッター(H$O)を提案する。
論文 参考訳（メタデータ） (2023-06-24T20:11:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。