論文の概要: HyScale: Scaling Long-Context Training for Learned Sparse Attention

• arxiv url: http://arxiv.org/abs/2610.32057v2
• Date: Mon, 26 Oct 2026 14:36:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.211751
• Title: HyScale: Scaling Long-Context Training for Learned Sparse Attention
• Title（参考訳）: HyScale: 学習したスパース注意のための長期トレーニングのスケールアップ
• Abstract要約: HyScaleは、学習されたスパースアテンションのための長いコンテキストトレーニングシステムである。 スコアテーブルなしで、各クエリの正確なトップ$をオンザフライで見つける。 また、DeepSeek-V4-FlashのCSA層とQwen3.8-Flash-NextのQSA層を高速化する。
• 参考スコア（独自算出の注目度）: 9.32576903781242
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present HyScale, a long-context training system for learned sparse attention. Learned sparse attention is a promising architecture for million-token contexts, widely adopted in production since DeepSeek-V3.2. Selection, however, grows into the training bottleneck. For each query, it scores every previous token whereas sparse attention reads only $k$; worse, current systems materialize a full score table and repeat selection during recomputation. Our key insight is that the output of selection is not an activation, but rather a set of indices. Building on it, HyScale introduces HyTopK and selection replay. HyTopK finds each query's exact top-$k$ on the fly without a score table, while selection replay reuses forward-pass selection in recomputation. Together with holistic system optimizations tackling end-to-end training challenges, HyScale speeds up GLM-5.1 training on 1M-token sequences by 2.07$\times$ over Megatron-LM on 512 H20 GPUs. It also speeds up the CSA layers of DeepSeek-V4-Flash and the QSA layers of Qwen3.8-Flash-Next by 2.01$\times$ and 1.57$\times$ at 1M tokens on 32 H800 GPUs.
• Abstract（参考訳）: 本稿では,学習者の注意をそそる長文学習システムHyScaleを紹介する。 学習されたスパース・アテンションは、百万のコンテキストのための有望なアーキテクチャであり、DeepSeek-V3.2以降、プロダクションで広く採用されている。 しかし、選択はトレーニングのボトルネックへと成長する。 各クエリに対して、すべての前のトークンをスコアするが、スパースアテンションはわずか$k$でしか読めない。さらに悪いことに、現在のシステムは、完全なスコアテーブルと再計算中の繰り返しの選択を具体化している。 私たちの重要な洞察は、選択の出力はアクティベーションではなく、指標のセットであることです。 HyScaleはHyTopKとセレクションリプレイを導入している。 HyTopKはスコアテーブルを使わずに各クエリの正確な上位k$を見つけ、セレクションリプレイは再計算でフォワードパスの選択を再利用する。 エンドツーエンドのトレーニング課題に対処するシステム最適化と合わせて、HyScaleは512 H20 GPU上のMegatron-LMよりも2.07$\times$で、1M-tokenシーケンスでのGLM-5.1トレーニングをスピードアップする。 また、DeepSeek-V4-FlashのCSA層とQSA層のQwen3.8-Flash-Nextを2.01$\times$と1.57$\times$で32 H800 GPU上の1Mトークンで高速化する。

関連論文リスト

• MLIPS: Multi-Layer Indexer Pool Sharing [0.05189697705525472]
  私たちは$MLIPS:$ $Multi$-$Layer$$Indexer$$$$Sharing$を紹介します。 プロデューサーは、アテンション予算のK$よりも大きいトップ$M$プールを発行し、その後のレイヤはそのプールからトップ$K$を選択する。 3つのスパース・アテンション・モデル・ファミリーにおける測定は、最終選択間の重なり合いよりも、広いプールからかなり高いカバレッジを示す。
  論文  参考訳（メタデータ） (2026-10-20T00:37:29Z)
• SpotAttention: Plug-In Block-Sparse Routing for Pretrained Long-Context Transformers [38.620985085871034]
  SpotAttentionは、最大128Kトークンのコンテキストで、トレーニングの長さの8倍の精度で一致します。 セレクタのKキャッシュをINT4またはFP4マイクロスケールに量子化すると、正確さなしで3.5倍縮小する。
  論文  参考訳（メタデータ） (2026-06-22T05:39:12Z)
• Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
  長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。 この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。 本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
  論文  参考訳（メタデータ） (2026-02-02T13:52:40Z)
• Multi-Granular Spatio-Temporal Token Merging for Training-Free Acceleration of Video LLMs [45.52960437068249]
  ビデオ言語モデル(LLM)は、大量の時間トークンを活用することで、強力なビデオ理解を実現するが、2次計算スケーリングに苦しむ。 そこで本研究では,STTMと呼ばれるトレーニングフリーの時間トークンマージ手法を提案する。 我々の重要な洞察は、作業中に見過ごされたビデオデータにおける局所的空間的および時間的冗長性を活用することである。
  論文  参考訳（メタデータ） (2025-07-10T17:59:02Z)
• DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training [82.06732962485754]
  FlashAttentionは、1つのGPU上でのトレーニングトランスフォーマーベースの大規模言語モデル(LLM)において、2次ピークメモリの使用を線形に削減する。 本研究では,長期LLM学習に最適化されたメモリ効率の高い注意機構であるDisTFLASHATTNを紹介する。 最近のRing AttentionやDeepSpeed-Ulyssesと比較して、1.67xと1.26 - 1.88xのスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-10-05T03:47:57Z)
• Hyena Hierarchy: Towards Larger Convolutional Language Models [115.82857881546089]
  ハイエナは、暗黙的にパラメトリケートされた長い畳み込みとデータ制御ゲーティングをインターリーブすることによって構築された注意のための準四分法的なドロップイン置換である。 数千から数十万のトークン列のリコールおよび推論タスクにおいて、ハイエナは状態空間やその他の暗黙的かつ明示的なメソッドに依存する演算子よりも50ポイント以上精度を向上させる。
  論文  参考訳（メタデータ） (2023-02-21T18:29:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。