論文の概要: Layerwise Repacking: Variable-Length Hybrid-Attention Training without an Extra Redistribution Pass

• arxiv url: http://arxiv.org/abs/2610.35989v1
• Date: Mon, 26 Oct 2026 12:07:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.38176
• Title: Layerwise Repacking: Variable-Length Hybrid-Attention Training without an Extra Redistribution Pass
• Title（参考訳）: レイヤワイズリパック:再分配パスを要しない可変長ハイブリッドアテンショントレーニング
• Abstract要約: スパースアテンション層は、ノードローカルなSP8グループ内で最も評価されたワークロードのバランスをとる。 Repackingは各SP16/32親を十分に注意し、SP1, 2, 4, 8でそのサンプルをノードローカルスパースに再パッケージする。 リパッキングだけで平均エンド・ツー・エンド時間を5.95%削減し、モデルFLOP(MFU)を3.75ポイント引き上げる。
• 参考スコア（独自算出の注目度）: 14.187553850024434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Variable-length training creates conflicting parallelism requirements across the layers of a hybrid-attention model. The longest samples require wide sequence-parallel (SP) groups of 16 or 32 ranks for full attention, whose cost grows quadratically with sequence length. Sparse-attention layers, dominated by near-linear MoE work, can instead balance most evaluated workloads within node-local SP8 groups. Reusing the wide groups for these layers pushes their all-to-all communication across nodes, where the observed effective rate is 7.0x lower. Yet switching to smaller groups changes which ranks own each sample; a separate redistribution at every full-sparse boundary would introduce another data transfer. Layerwise Repacking keeps each SP16/32 parent for full attention and repacks its samples into node-local sparse children at SP{1, 2, 4, 8}, where hidden states persist between full layers. The layout change rides on the two existing full-layer Ulysses sites: at each, one variable-size all-to-all performs both the head exchange and the sample repacking, so no redistribution pass is added. Because the balance the children can reach depends on which samples share a parent, an auxiliary parent solver rebalances parent membership before the children are formed. On all 22 steps with SP16/32 parents among the first 200 training steps of a 1F3S hybrid-attention model (one full-attention layer per three sparse-attention layers), repacking alone reduces the mean end-to-end time by 5.95% and raises model FLOPs utilization (MFU) by 3.75 percentage points over the baseline with repacking disabled; with the improved solver, end-to-end time falls by 7.61% and MFU rises by 4.83 percentage points.
• Abstract（参考訳）: 可変長トレーニングは、ハイブリッドアテンションモデルのレイヤ間で矛盾する並列性要件を生成する。 最も長いサンプルは16位または32位の広範囲な配列並列(SP)グループを必要とし、そのコストはシークエンスの長さで2倍に増加する。 ほぼ直線的なMoE作業に支配されるスパースアテンション層は、ノードローカルなSP8グループ内で、最も評価されたワークロードのバランスをとることができる。 これらの層に対する広いグループの使用は、観測された有効率が7.0倍のノード間の全対全通信をプッシュする。 しかし、各サンプルを所有する下位グループへの切り替えは、すべてのフルスパース境界における別の再配布によって、別のデータ転送が導入される。 Layerwise Repackingは、各SP16/32親を十分に注意し、そのサンプルをSP{1, 2, 4, 8}のノードローカルスパース子供に再パッケージする。 レイアウトの変更は、既存の2つのフルレイヤのUlyssesサイト上で行われ、それぞれ1つの可変サイズのオール・ツー・オールがヘッド交換とサンプル再パッケージの両方を実行するため、再配布パスは追加されない。 子どもが到達できるバランスは、どのサンプルが親を共有するかによって異なり、補助親ソルバは、子供が形成される前に親メンバーシップを再バランスさせる。 1F3Sハイブリッドアテンションモデルの最初の200ステップのうち、SP16/32の親を持つ22ステップすべてにおいて、リパック単独で平均エンド・ツー・エンド時間を5.95%削減し、モデルFLOPs(MFU)をリパック不能でベースライン上で3.75ポイント増加させ、改良されたソルバにより、エンド・ツー・エンド時間は7.61%減少し、MFUは4.83ポイント上昇する。

関連論文リスト

• Beyond Mean Attention: Diversity-Aware, Layer-Wise Scoring for KV Cache Eviction [3.060720241524644]
  KVキャッシュ消去法は、小さな観測窓に平均的な注意だけでトークンをランク付けする。 統一スコアである$_i+__mathrmcorr(i,S)$について検討し,ウィンドウクエリ間の注意分散と,選択したトークンに対する冗長性について検討した。
  論文  参考訳（メタデータ） (2026-09-25T03:08:00Z)
• One Patch, Three Roles: What Is Actually Coupled in Autoregressive Time-Series Forecasting? [49.84472730204669]
  凍結した親の軌道は, 軽量な平行出口で観測される未来よりも適合しやすいことを示す。 また、列車選択した周期的歴史方向に沿って補正可能な残射も見出す。 Tangentはこの修正を、ニューラルパラメータやTransformerコールを追加せずに適用する。
  論文  参考訳（メタデータ） (2026-09-20T14:54:35Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• RoutePack: Expert Placement and Attention-Aware Data Packing for MoE Reinforcement Learning [12.666959780521912]
  強化学習(RL)のためのMixture-of-Experts(MoE)モデルは2つの負荷分散問題を結合する。 シーケンス構成は、各データ並列マイクロバッチにおける集中的注意作業を決定する一方、トークンルーティングはエキスパート並列ランクに関するスパース専門家作業を決定する。 RoutePackは、状態整合性、状態ワイドな専門家リルーティング、および専門家対応のデータパッキングを協調する階層的なプランナーです。
  論文  参考訳（メタデータ） (2026-08-12T15:07:15Z)
• When Compression Scores Cannot Decide: Information Boundaries for Group-Robust LLM Pruning [2.8699714648237387]
  密度の高い調査では、分割半信頼パス四分法スコアは16.1%上昇し、選択されたエンドポイントは2つの制御よりも6.0-7.7%低下した。 我々は、最も供給の悪いグループがいつデプロイに気を配るのか、圧縮統計が正当化できるものは何なのかを尋ねる。
  論文  参考訳（メタデータ） (2026-08-03T23:07:29Z)
• Qantara: Bridge-Flow Training for Multi-Paradigm JEPA Control [5.357451930622806]
  共同埋め込み予測アーキテクチャは、生のピクセルから制御する潜在世界モデルの家族を支えている。 両方を提供する単一のチェックポイントは、デプロイメントの制約がどのパスが勝つかを決定するとき、この選択を推論に延期する。 本稿では,連続した清潔な潜伏者間のブラウン橋補間を共同訓練対象とするエンドツーエンドのJEPAであるQantaraを紹介する。
  論文  参考訳（メタデータ） (2026-07-06T12:12:50Z)
• Unextractable Protocol Models: Collaborative Training and Inference without Weight Materialization [58.14514930760722]
  参加者が協力して大規模なニューラルネットワークを訓練し、提供する分散セットアップを検討する。 このセットアップでは、フルウェイトセットがどの参加者にも利用できないような、非機械的なウェイトの可能性を探る。 我々は、シャードモデルセットアップを利用するトレーニングおよび推論フレームワーク、Unextractable Protocol Models (UPMs)を紹介する。
  論文  参考訳（メタデータ） (2026-05-22T10:24:57Z)
• Discrete Diffusion for Complex and Congested Multi-Agent Path Finding with Sparse Social Attention [23.40140861152013]
  MAPF(Multi-Agent Path Finding)は、グローバルに一貫した計算を必要とする協調問題である。 密集した環境では、最適でない初期計画は複合的な紛争を引き起こし、実現可能な修復を妨げる。 本稿では,分散拡散確率モデル(D3PM)をLSS2と統合したハイブリッドフレームワークDiffSLNを提案する。
  論文  参考訳（メタデータ） (2026-05-13T10:10:22Z)
• Posterior Augmented Flow Matching [64.1559809786948]
  後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
  論文  参考訳（メタデータ） (2026-05-01T17:59:59Z)
• MASS: MoErging through Adaptive Subspace Selection [55.03293736484465]
  モデルマージの新しいアプローチであるMASS(MoErging through Adaptive Subspace Selection)を提案する。 MASSはタスクごとに最も健全な特異なコンポーネントのみを格納し、それらを共有モデルにマージする。 我々は,8,14,20タスクのベンチマークに対して,ViT-B-16,ViT-B-32,ViT-L-14を用いて,CLIPに基づく画像分類のMASSを評価する。
  論文  参考訳（メタデータ） (2025-04-06T08:49:52Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。