論文の概要: Fast and Stable Triangular Inversion for Delta-Rule Linear Transformers

• arxiv url: http://arxiv.org/abs/2605.21325v1
• Date: Wed, 20 May 2026 15:51:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.765611
• Title: Fast and Stable Triangular Inversion for Delta-Rule Linear Transformers
• Title（参考訳）: デルタルール線形変圧器の高速かつ安定な三角インバージョン
• Authors: Aleksandros Sobczyk, Gioele Gottardo, Christos K. Matzoros, Mirko De Vita, Filip Skogh, Anastasios Zouzias, Jiawei Zhuang,
• Abstract要約: デルタルールと呼ばれる線形注意層を組み込んだモデルでは、三角行列をコアサブルーチンとして逆転させる。 この研究は、行列積に富む手法をターゲットとした、直接的および反復的な三角反転アルゴリズムの体系的解析を提供する。 NPUのパフォーマンスベンチマークでは、三角行列逆転のためのSGLangの最先端実装に対して、最大4.3倍のスピードアップが示されている。
• 参考スコア（独自算出の注目度）: 35.36704326614983
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Linear attention has emerged as a cornerstone for efficient long-context architectures, as evidenced by its integration into state-of-the-art open-source models including Qwen3.5/3.6, Kimi Linear, and RWKV-7. Models that incorporate linear attention layers with the so-called Delta-Rule involve the inversion of triangular matrices as a core sub-routine. This operation often forms a performance bottleneck, and, due to its high-sensitivity to numerical errors, it can significantly deteriorate end-to-end model accuracy if it is not carefully implemented. This work provides a systematic analysis of both direct and iterative triangular inversion algorithms, targeting methods that are rich in matrix products, and, therefore, have the potential to efficiently utilize modern hardware. To that end, our analysis covers a broad spectrum of mathematical and practical aspects, with a heavy focus on numerical stability, computational complexity, and, ultimately, hardware efficiency and practical considerations. We provide a rigorous experimental evaluation to verify these properties in practical scenarios, and in low-precision floating-point representations, highlighting the strengths and limitations of each method. Performance benchmarks on NPUs reveal up to $4.3\times$ speed-up against the state-of-the-art implementations of SGLang for triangular matrix inversion, leading to significant performance improvements on the entire layer level, while maintaining full end-to-end model accuracy.
• Abstract（参考訳）: Qwen3.5/3.6、Kimi Linear、RWKV-7といった最先端のオープンソースモデルに統合されていることが証明されている。 デルタルールと呼ばれる線形注意層を組み込んだモデルでは、三角行列をコアサブルーチンとして逆転させる。 この操作は、しばしば性能ボトルネックを形成し、数値誤差に対する高い感度のため、慎重に実装されていない場合、エンドツーエンドモデルの精度を著しく低下させる可能性がある。 この研究は、行列生成物に富む手法をターゲットとした、直接的および反復的な三角反転アルゴリズムの体系的な解析を提供し、それゆえ、現代のハードウェアを効率的に活用する可能性がある。 この目的のために、我々の分析は、数値安定性、計算の複雑さ、そして究極的には、ハードウェアの効率性と実践的考察に重点を置いて、幅広い数学的・実践的な側面を網羅している。 本研究では,これらの特性を現実的なシナリオ,低精度浮動小数点表現で検証するための厳密な実験評価を行い,それぞれの手法の強みと限界を強調した。 NPUのパフォーマンスベンチマークでは、三角行列逆転のためのSGLangの最先端実装に対して4.3\times$のスピードアップが示され、完全なエンドツーエンドモデルの精度を維持しながら、層全体のパフォーマンスが大幅に向上した。

関連論文リスト

• Mesh Based Simulations with Spatial and Temporal awareness [2.867517731896504]
  本稿では,幾何学的深層学習と厳密な数値解析のギャップを埋める統一的な枠組みを提案する。 1) ノードの全局所トポロジのフィールド値を予測するステンシルレベルの目的であるマルチノード予測,(2) 時間的微分整合性,(3) 時間的交叉による不安定な定性的スキームを予測器・コレクタに置き換える時間的補正,(3) 幾何学的インダクティブ・ビアース,3) 3次元回転位置埋め込み(RoPE)を利用して非構造メッシュの回転対称性を頑健に捉える。
  論文  参考訳（メタデータ） (2026-05-02T17:09:31Z)
• Tail-Aware Post-Training Quantization for 3D Geometry Models [58.79500829118265]
  ポストトレーニング量子化(PTQ)は、再トレーニングなしに効率的な推論を可能にする。 PTQは複雑な特徴分布と禁止キャリブレーションオーバーヘッドのために、3Dモデルに効果的に転送できない。 3次元幾何学学習のためのTail-Aware Post-Training Quantization PipelineであるTAPTQを提案する。
  論文  参考訳（メタデータ） (2026-02-02T07:21:15Z)
• TriADA: Massively Parallel Trilinear Matrix-by-Tensor Multiply-Add Algorithm and Device Architecture for the Acceleration of 3D Discrete Transformations [0.0]
  マルチ線形変換は、ハイパフォーマンスコンピューティング(HPC)と人工知能(AI)ワークロードにおいて重要である。 並列処理ユニットの数を増やすことで スケール計算は エネルギー消費を大幅に増加させます。 TriADAは、ハイパーキュービックな算術複雑性を持つ様々なトリ線形変換を、線形の時間ステップで実行することができる。
  論文  参考訳（メタデータ） (2025-06-28T08:42:01Z)
• Comba: Improving Bilinear RNNs with Closed-loop Control [57.800320390698516]
  本稿では,これらのモデルの利点と限界を包括的に分析したBilinear RNNの概念を紹介する。 我々は,状態フィードバックと出力フィードバックの両補正を併用した,スカラー+低ランク状態遷移を取り入れた新しいバイリニアRNNであるCombaを提案する。 また,大規模コーパス上での340M/1.3Bパラメータのトレーニングモデルと,ハードウェア効率のよいチャンクワイド並列カーネルを実装した。
  論文  参考訳（メタデータ） (2025-06-03T05:44:50Z)
• DeltaProduct: Improving State-Tracking in Linear RNNs via Householder Products [60.72655477351486]
  リニアリカレントニューラルネットワーク(線形RNN)は、シーケンスモデリングのためのトランスフォーマーの競合代替手段として登場した。 既存のアーキテクチャは、表現性と効率の基本的なトレードオフに直面しており、状態遷移行列の構造によって規定されている。
  論文  参考訳（メタデータ） (2025-02-14T16:59:05Z)
• Differentiable Weightless Neural Networks [1.453874055504475]
  本稿では,相互接続型ルックアップテーブルに基づくモデルであるDWNを提案する。 本稿では,これらのモデルの精度と効率をさらに向上させるために,学習可能なマッピング,学習可能なリダクション,スペクトル正規化を提案する。
  論文  参考訳（メタデータ） (2024-10-14T21:43:48Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。