論文の概要: Linearized 2-Simplicial Attention
- arxiv url: http://arxiv.org/abs/2608.09307v1
- Date: Mon, 10 Aug 2026 08:53:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.170777
- Title: Linearized 2-Simplicial Attention
- Title（参考訳）: 線形化された2-simplicialアテンション
- Abstract要約: 合成問合せと鍵の間の内積としてトリリニアスコアを書き換えることにより, 2-simplicial attention の線形化形式を示し, トークン軸上の和が通常のソフトマックスアテンションと同一となるようにした。
次に、この和を正のランダムな特徴と近似し、過去全体を固定サイズの状態に保存し、第2軸は最近のトークンの短いウィンドウ上で明示的に保持する。
- 参考スコア（独自算出の注目度）: 4.500637354443275
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a linearized form of 2-simplicial attention by rewriting the trilinear score as an inner product between a composite query and a key, so that the sum over one token axis takes the same form as ordinary softmax attention. We then approximate this sum with positive random features and store the entire past in a fixed-size state, while the second axis stays explicit over a short window of recent tokens. This enables us to achieve linear cost in sequence length combined with a global reach that windowed 2-simplicial attention lacks. We implement it with custom Triton kernels and combine it with Kimi Delta Attention to build a model with no softmax attention at all. Under matched compute, this model achieves the highest mean downstream accuracy among the compared architectures, and at 16k context it improves mean accuracy over a KDA hybrid while lowering LAMBADA perplexity from 715.6 to 602.6.
- Abstract（参考訳）: 合成問合せと鍵の間の内積としてトリリニアスコアを書き換えることにより, 2-simplicial attention の線形化形式を示し, トークン軸上の和が通常のソフトマックスアテンションと同一となるようにした。
次に、この和を正のランダムな特徴と近似し、過去全体を固定サイズの状態に保存し、第2軸は最近のトークンの短いウィンドウ上で明示的に保持する。
これにより、2-simplicial attentionが欠如しているグローバルリーチと組み合わさって、シーケンス長の線形コストを実現することができる。
カスタムのTritonカーネルで実装し、Kim Delta Attentionと組み合わせて、ソフトマックスの注意をまったく払わずにモデルを構築する。
一致した計算の下では、このモデルは比較したアーキテクチャの中で最高平均下流精度を達成し、16kコンテキストではKDAハイブリットの平均精度を改善し、LAMBADAパープレキシティを715.6から602.6に下げる。
関連論文リスト
- Autoencoder Architectures for Athlete Performance Scoring from Wearable Telemetry [0.0]
本稿では,9つのセンサランナープロファイルを1つのスカラー性能指標である潜時スコアに圧縮する能力について,次元縮小モデル,3種類のオートエンコーダ,PCA,変分オートエンコーダについて検討する。
論文 参考訳（メタデータ） (2026-06-26T14:41:24Z) - ATMA: Length-Invariant Language Modeling via Polar Attention and Gated-Delta Compression Memory [0.0]
ATMAは、新しい3チャンネルアテンション機構を統合するハイブリッドな畳み込みアテンションアーキテクチャである。
また,120回のAblationスイープを用いてATMAの評価を行い,Pola + メモリモデルの組み合わせは誘導針-a-haystack検索精度を90%以上維持することを示した。
論文 参考訳（メタデータ） (2026-06-23T20:43:51Z) - Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences [51.38664601405696]
我々はDeltaNet,GDN,KDAのプレコンディション付き変種を,効率的なチャンクワイズ並列アルゴリズムとともに導入する。
予備条件付きデルタルールの繰り返しは,340M,1Bスケールでの合成リコールベンチマークと言語モデリングにおいて一貫した性能向上をもたらす。
論文 参考訳（メタデータ） (2026-04-22T21:38:25Z) - Neural Attention Search Linear: Towards Adaptive Token-Level Hybrid Attention Models [7.961563754693873]
異なるトークンに対して同一レイヤ内での線形アテンションとソフトマックスアテンションの両方を適用可能なフレームワークを提案する。
NAtS-Lは、トークンが線形アテンションモデル(短期的な影響しか持たないトークン)で処理できるかどうかを自動的に決定する。
トークン間の最適Gated DeltaNetとソフトマックスアテンションの組み合わせを探索することにより、NAtS-Lは強力で効率的なトークンレベルのハイブリッドアーキテクチャを提供することを示す。
論文 参考訳（メタデータ） (2026-02-03T16:02:50Z) - LINA: Linear Autoregressive Image Generative Models with Continuous Tokens [56.80443965097921]
連続トークンを持つ自己回帰モデルは、特にテキスト・トゥ・イメージ(T2I)合成において、視覚生成に有望なパラダイムを形成する。
このフレームワーク内での計算効率のよい線形アテンションの設計法について検討する。
LINAは、線形注意に基づくシンプルで計算効率の良いT2Iモデルであり、ユーザ命令から高忠実度1024x1024画像を生成することができる。
論文 参考訳（メタデータ） (2026-01-30T06:44:33Z) - Kimi Linear: An Expressive, Efficient Attention Architecture [75.89211364086309]
Kimi Linearはハイブリッドな線形アテンションアーキテクチャで、初めて、公正な比較で完全にアテンションを上回ります。
中心となるKimi Delta Attention (KDA)は、Gated DeltaNetを拡張した表現力のある線形アテンションモジュールである。
我々は,Kimi Linearがより優れた性能と効率で十分な注意を払って,ドロップインで置き換えられることを示す。
論文 参考訳（メタデータ） (2025-10-30T16:59:43Z) - Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。
SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
論文 参考訳（メタデータ） (2025-05-10T17:15:49Z) - cosFormer: Rethinking Softmax in Attention [60.557869510885205]
カーネルメソッドは、ソフトマックス演算子を近似することで複雑さを減らすためにしばしば採用される。
近似誤差のため、それらのパフォーマンスは異なるタスク/コーパスで異なり、重要なパフォーマンス低下を被る。
本稿では,バニラ変圧器に匹敵する精度を達成できる,cosFormerと呼ばれる線形変圧器を提案する。
論文 参考訳（メタデータ） (2022-02-17T17:53:48Z) - Sketching as a Tool for Understanding and Accelerating Self-attention
for Long Sequences [52.6022911513076]
トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。
我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。
理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
論文 参考訳（メタデータ） (2021-12-10T06:58:05Z) - Scalable Optimal Transport in High Dimensions for Graph Distances,
Embedding Alignment, and More [7.484063729015126]
最適輸送のためのコスト行列の2つの効率的な対数線形時間近似を提案する。
これらの近似は、複雑な高次元空間に対してもよく機能するエントロピー規則化OTに対する一般的な対数線形時間アルゴリズムを可能にする。
グラフ距離回帰のために,グラフニューラルネットワーク(GNN)と拡張シンクホーンを組み合わせたグラフトランスポートネットワーク(GTN)を提案する。
論文 参考訳（メタデータ） (2021-07-14T17:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。