論文の概要: SparseGDN: Chunk Sparse in Linear Attention

• arxiv url: http://arxiv.org/abs/2610.41420v1
• Date: Fri, 30 Oct 2026 08:27:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.659275
• Title: SparseGDN: Chunk Sparse in Linear Attention
• Title（参考訳）: SparseGDN: 線形注意におけるチャンクスパース
• Abstract要約: Gated Delta Networks (GDNs) は線形時間シーケンスモデリングを提供する。 長いコンテキストのプリフィルは、密度の高いチャンク内計算、リカレント状態の更新、中間状態のストレージのためにコストがかかるままである。 SparseGDNは,構成されたチャンク内近似と入力依存の繰り返しイベント選択を組み合わせたハードウェア対応フレームワークである。
• 参考スコア（独自算出の注目度）: 16.764932165405074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gated Delta Networks (GDNs) offer linear-time sequence modeling, yet long-context prefill remains costly due to dense intra-chunk computation, recurrent-state updates, and intermediate state storage. We introduce SparseGDN, a hardware-aware framework that combines structured intra-chunk approximation with input-dependent recurrent-event selection while producing outputs for every token. A block-adjacent solver reduces local Delta-solve computation, while a dynamic selector allocates recurrent-update budgets across head pairs. The GPU implementation materializes updates only for selected events and reconstructs token outputs using compact state snapshots and group-local interactions, reducing computation and memory traffic. We evaluate SparseGDN on Qwen3.5-4B and Qwen3.5-9B across RULER tasks and context lengths from 4K to 128K. Retaining approximately 29% of recurrent events on average, SparseGDN achieves 1.50-1.94x GDN-core prefill speedups over native FLA kernels, including online selection overhead.
• Abstract（参考訳）: Gated Delta Networks (GDNs) は、線形時間シーケンスモデリングを提供するが、高密度のチャンク内計算、リカレント状態更新、中間状態記憶のために、長いコンテキストのプリフィルはコストがかかる。 SparseGDNは、構造化されたチャンク内近似と入力依存の繰り返しイベント選択を組み合わせたハードウェア対応フレームワークで、トークン毎に出力を生成する。 ブロック・アジャセント・ソルバは局所デルタ解計算を削減し、動的セレクタはヘッドペア間で繰り返し更新される予算を割り当てる。 GPUの実装は、選択したイベントのみを更新し、コンパクトな状態スナップショットとグループローカルインタラクションを使用してトークン出力を再構築することで、計算とメモリトラフィックを削減している。 我々は,Qwen3.5-4BとQwen3.5-9BのSparseGDNを,RULERタスクとコンテキスト長4Kから128Kで評価した。 SparseGDNは平均して29%のリカレントイベントを保持しており、オンライン選択オーバーヘッドを含むネイティブFLAカーネル上で1.50-1.94x GDNコアのプリフィルスピードアップを達成する。

関連論文リスト

• FlashRT-PAI: Fast Kernels Are Not Fast Pipelines for Physical AI Inference [3.8308602670912943]
  FLASHRT-PAIは、モデル-ハードウェアパイプラインの共設計に基づいて構築された低言語推論エンジンである。 FLASHRT-PAIには3つのコアメカニズムが組み合わさっている: ディープカーネルの融合とオーバラップオーバーラップにより、オペレータ間のバウンダリとローンチギャップがなくなる; 実行契約はパイプラインのステージDAG、更新レート、名前付きバッファを形式化する。 16ビットの精度で、FLASHRT-PAIは公式パスよりも1.3-3.7倍高速である。
  論文  参考訳（メタデータ） (2026-10-17T00:35:58Z)
• Compression and Inference of Spiking Neural Networks on Resource-Constrained Hardware [0.2226043394835212]
  スパイキングニューラルネットワーク(SNN)は、連続的なアクティベーションではなく、離散的なスパイクを介して時間内に通信する。 エッジデバイス上でのSNN推論のための軽量なC言語ランタイムを提案する。 我々は,無活動ニューロンやシナプスを刺激するスパーススパイク活性を利用して,上流の畳み込み層での計算を縮小する。
  論文  参考訳（メタデータ） (2025-11-15T10:02:23Z)
• Tensor Slicing and Optimization for Multicore NPUs [2.670309629218727]
  本稿では,Slicing Optimization (TSO) と呼ばれるマルチコアNPUに対するコンパイラ最適化パスを提案する。 TSOは、一連のCNNモデルの実行時間を最小化する最高のテンソルスライシングを特定する。 その結果、TSOは一連のCNNモデルの実行時間を最小化する最適なテンソルスライシングを識別できることがわかった。
  論文  参考訳（メタデータ） (2023-04-06T12:03:03Z)
• Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
  通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。 本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
  論文  参考訳（メタデータ） (2022-05-23T12:35:18Z)
• AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
  イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
  論文  参考訳（メタデータ） (2022-03-31T16:21:12Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。