論文の概要: ReWY: Faster Backpropagation for Delta-Rule Attention - From 7 to 3 Matrix Multiplications

• arxiv url: http://arxiv.org/abs/2611.01940v2
• Date: Tue, 03 Nov 2026 08:50:34 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:38:20.915991
• Title: ReWY: Faster Backpropagation for Delta-Rule Attention - From 7 to 3 Matrix Multiplications
• Title（参考訳）: ReWY: Delta-Ruleアテンションのバックプロパゲーションの高速化 - 7から3の行列乗算
• Abstract要約: デルタルール線形アテンションは、Kimi LinearやQwen3-Nextといった言語モデルに基づいている。 我々は、加速器の実行を最適化する前に、この作業を減らす代数的再構成であるRe WYを提案する。 中心行列の収縮は、ペアワイズベクトルゲート処理に置き換わり、スカラーゲート還元はキーグラム行列を形成する代わりに、キー階調積を再利用する。
• 参考スコア（独自算出の注目度）: 17.18747354913606
• License:
• Abstract: Delta-rule linear attention underlies language models such as Kimi Linear and Qwen3-Next. Chunkwise implementations expose matrix parallelism, but their backward passes compute unnecessary auxiliary adjoints. We present ReWY, an algebraic reformulation that reduces this work before optimizing accelerator execution. Differentiating the chunk correction as one triangular residual system eliminates the inverse adjoint and reduces seven local WY matrix products to three. Two complementary transformations expose further reuse: centered matrix contractions replace pairwise vector-gate processing, and scalar-gate reductions reuse key-gradient products instead of forming a key Gram matrix. These identities simplify backward computation for DeltaNet, GDN, KDA, and GDN2 while preserving the recurrence and gradients in exact arithmetic, without changing the architecture or training objective. We implement the reduced graph on GPUs and Ascend NPUs. Under matched recomputation and full-saving policies, precision-qualified six-shape comparisons with frozen FLA references yield 1.15-1.81$\times$ geometric-mean complete low-level backward speedups on NVIDIA GPUs. All four operators achieve 1.18-1.70$\times$ on H100 and H200 while retaining original FP32 working matrices. A separate public-autograd evaluation on Ascend 950DT, including gradient conversions, yields 1.09-2.89$\times$ under available matched policies. Paired ablations establish further ReWY gains after optimizing the complementary contractions. Complete-gradient checks validate the recorded operator cases; supplementary full-model backward measurements assess integration into community FLA models and a GDN2 layer port. Code and reproduction materials: https://github.com/flashserve/ReWY.
• Abstract（参考訳）: デルタルール線形アテンションは、Kimi LinearやQwen3-Nextといった言語モデルに基づいている。 チャンクワイズ実装は行列並列性を公開するが、その後方通過は不要な補助共役を計算する。 本稿では、加速器の実行を最適化する前に、この作業を削減した代数的再構成であるReWYを提案する。 チャンク補正を1つの三角形残留系として微分することは、逆随伴を排除し、7つの局所WY行列積を3つに還元する。 中心行列の収縮は、ペアワイズベクトルゲート処理に置き換わり、スカラーゲート還元はキーグラム行列を形成する代わりに、キー階調積を再利用する。 これらのアイデンティティは、DeltaNet、GDN、KDA、GDN2の後方計算を単純化し、アーキテクチャやトレーニングの目的を変更することなく、正確な算術の繰り返しと勾配を保存する。 我々はGPUとAscend NPUに削減グラフを実装した。 一致した再計算と全省力ポリシの下では、精度の高い6つの形状比較と凍結されたFLA参照は1.15-1.81$\times$ NVIDIA GPU上での完全な低レベル下位方向のスピードアップをもたらす。 4つの演算子はすべて、1.18-1.70$\times$をH100とH200で達成し、元のFP32動作行列を保持する。 Ascend 950DTの別の公開オートグレード評価(勾配変換を含む)は、利用可能な整合ポリシーの下で1.09-2.89$\times$を得る。 Paired Ablationsは、補完的な契約を最適化した後、さらなるReWYゲインを確立する。 完全な段階的なチェックは、記録されたオペレーターケースを検証し、追加のフルモデル後方測定は、コミュニティFLAモデルとGDN2層ポートとの統合を評価する。 コードと再生資料:https://github.com/flashserve/ReWY.com

関連論文リスト

• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
  一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。 GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
  論文  参考訳（メタデータ） (2025-11-28T07:26:45Z)
• INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
  本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。 $mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。 大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
  論文  参考訳（メタデータ） (2025-11-16T20:14:28Z)
• Learning Sparse Approximate Inverse Preconditioners for Conjugate Gradient Solvers on GPUs [25.22023084590467]
  共役勾配解法 (CG) は対称および正定値線形系 Ax=b を解くための一般的な方法である。 既存の学習ベースの手法では、しばしばグラフニューラルネットワーク(GNN)を使用して、性能を改善し、構築を高速化する。 本稿では,GPUフレンドリなプリコンディショナを生成する学習ベース手法を提案し,特にGNNを用いてSPAI(スパース近似逆)プリコンディショナを構築する。
  論文  参考訳（メタデータ） (2025-10-31T14:42:48Z)
• nuGPR: GPU-Accelerated Gaussian Process Regression with Iterative Algorithms and Low-Rank Approximations [3.8715578341717207]
  本稿では,GPRトレーニングに伴う高コストの課題に対処する新しいフレームワークであるnuGPRを提案する。 我々のフレームワークは、GPRの重要なステップにおける計算量を削減するために、数値線形代数からのいくつかのアイデアを含んでおり、それらを組み合わせてエンドツーエンドのトレーニングアルゴリズムを確立する。 nuGPRは、さまざまな合成および実世界のデータセット上で、トレーニング時間を最大2倍、ピークメモリ消費を最大12倍削減する。
  論文  参考訳（メタデータ） (2025-10-14T04:06:02Z)
• TC-GS: A Faster Gaussian Splatting Module Utilizing Tensor Cores [8.422911585027924]
  本稿では,アルゴリズムに依存しない汎用モジュールTC-GSを統合し,Core(TCU)を3DGSに適用する。 提案手法は,既存のガウス加速度アルゴリズムを2.18倍高速化し,最大5.6倍の高速化を実現するとともに,レンダリング品質を維持している。
  論文  参考訳（メタデータ） (2025-05-30T16:58:18Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Sequential Gradient Coding For Straggler Mitigation [28.090458692750023]
  分散コンピューティングでは、遅いノード(ストラグラー)がボトルネックとなる。 グラディエント符号化(GC)は、誤り訂正符号の原理を用いて、ストラグラーの存在下で勾配計算を分散する効率的な手法である。 本稿では,GCと比較して性能向上を示す2つのスキームを提案する。
  論文  参考訳（メタデータ） (2022-11-24T21:12:49Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
  本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。 提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-06T08:03:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。