論文の概要: The Endgame of FSDP Communication: Layout-Aware Collectives on Copy Engines, RDMA, and NVSwitch

• arxiv url: http://arxiv.org/abs/2610.38228v1
• Date: Wed, 28 Oct 2026 03:28:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.368033
• Title: The Endgame of FSDP Communication: Layout-Aware Collectives on Copy Engines, RDMA, and NVSwitch
• Title（参考訳）: FSDP通信の終局:コピーエンジン、RDMA、NVSwitch上のレイアウト対応集合体
• Abstract要約: TIDEは、パブリックなNCCL 2.31+ API上に構築されたゼロコピーの集合体である。 FSDP2のパラメータ単位のストレージとカーネルを保存し、レイアウトを集合アドレスに折り畳む。 SM時間を12.5-14.5の因子で削減し、コンカレントコンピューティングとの干渉を最大1桁まで削減する。
• 参考スコア（独自算出の注目度）: 21.063419243400933
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fully Sharded Data Parallelism (FSDP2) maintains parameters and gradients as per-parameter tensors, whereas its collective path operates on flat, rank-major buffers. Converting between these layouts copies all-gather outputs into parameter storage and packs gradients into full-group fp32 buffers. Layout conversion alone accounts for 6.4% of step time in Llama-3.1 70B training at 8K tokens per GPU. Communication kernels impose a second cost: a default NCCL reduce-scatter can slow a concurrent GEMM that would otherwise complete in a single wave by 69%. We present TIDE, a set of zero-copy collectives built on public NCCL 2.31+ APIs. TIDE preserves FSDP2's per-parameter storage and compute kernels while folding layout placement into collective addressing. TIDE-AG delivers shards directly to parameter storage using NVSwitch multicast and paced recursive-doubling RDMA, with no SMs used for transport or placement. TIDE-RS consumes per-parameter bf16 gradients directly and reduces them into fp32 shards (a mixed-precision mode that NCCL does not provide) using copy engines and short-lived thread blocks (CTAs) for node-local accumulation and NVSwitch for cross-node reduction. A two-phase pipeline separates gradient reads from network progress; Slot-Reuse optionally stages gradients in vacated all-gather slots. On 64 GPUs, TIDE reduces step time by up to 27.1% relative to Stock FSDP2 and 6.0% relative to FSDP2+SymmMem across Llama-3.1 70B, Wan2.2, and Qwen3-30B-A3B. It reduces reduce-scatter SM time by factors of 12.5-14.5 and cuts interference with concurrent compute by up to an order of magnitude. Its reduce-scatter buffer remains nearly constant from 16 to 64 GPUs at a fixed per-GPU output size, and its peak memory is up to 4.7 GiB below FSDP2+SymmMem's and, with Slot-Reuse on Wan2.2, below Stock FSDP2's.
• Abstract（参考訳）: Fully Sharded Data Parallelism (FSDP2) はパラメータと勾配をパラメータ単位のテンソルとして保持する。 これらのレイアウト間の変換は、全ガター出力をパラメータストレージにコピーし、勾配をフルグループfp32バッファにパックする。 レイアウト変換だけで、GPU当たり8KトークンでのLlama-3.1 70Bトレーニングでは、ステップタイムの6.4%を占める。 デフォルトのNCCLreduce-scatterは同時GEMMを遅くし、そうでなければ1つの波で69%の速度で完了する。 我々は、パブリックNCCL 2.31+ API上に構築されたゼロコピー集合であるTIDEを紹介する。 TIDEはFSDP2のパラメータ単位のストレージとカーネルを保存し、レイアウトを集合アドレスに折り畳む。 TIDE-AGは、NVSwitchマルチキャストとペーストされた再帰的なRDMAを使用してパラメータストレージに直接シャードを提供する。 TIDE-RSはパラメータごとのbf16勾配を直接消費し、コピーエンジンと短寿命のスレッドブロック(CTA)を使用してfp32シャード(NCCLが提供していない混合精度モード)に還元し、ノード局所の蓄積とNVSwitchをノード間還元に使用する。 2相パイプラインは勾配をネットワークの進行から切り離し、Slot-Reuseは空いた全スロットの勾配を任意にステージ化する。 64GPUでは、TIDEはステップタイムをストックFSDP2に対して最大27.1%削減し、Llama-3.1 70B、Wan2.2、Qwen3-30B-A3BでFSDP2+SymmMemに対して6.0%削減する。 SM時間を12.5-14.5の因子で削減し、コンカレントコンピューティングとの干渉を最大1桁まで削減する。 バッファは16から64GPUまでほぼ一定であり、ピークメモリはFSDP2+SymmMemの4.7 GiB、Wan2.2のSlot-ReuseはFSDP2の4.7 GiBである。

関連論文リスト

• Right In-Place (RiP) Convolution: A Simple, General, and Near-Optimal Strategy for Memory-Efficient CNN Inference [0.0]
  演算ではなくアクティベーションメモリは、マイクロコントローラのような制約のあるハードウェア上でのCNN推論を制限する。 直接 in-place 畳み込みは二重バッファのコストを低減させるが、Gural と Murmann のメモリ最適化の定式化は有効なパディング、単位非有界ストライド、単位拡張、奇数正方核を仮定する。 本稿では,各レイヤが共有ワークスペース内で入力を右に読み取り,インデックスゼロから出力を左に書き込むという,ビット単位の演算であるRight In-Place畳み込みを提案する。
  論文  参考訳（メタデータ） (2026-09-30T18:51:30Z)
• SlideDP: Scaling Host-Resident LLM Fine-Tuning Across Multiple GPUs [18.92711146810362]
  SlideDPは、共有ホストマルチGPUシステムのための同期データ並列ランタイムである。 1つの信頼できるホスト状態を維持し、状態レイアウトから通信ルートを分離し、パイプラインのパラメータ配信、勾配集約、ランクとチャンクにわたるCPU更新を行う。 SlideFormer、MegaTrain、ZeRO-Offloadよりも1.46-2.64$times$の幾何学平均スループット比を実現している。
  論文  参考訳（メタデータ） (2026-09-28T02:39:42Z)
• MergeOver: Post-Training Token Merging for Recursive Vision Transformers [1.6106006867887395]
  MergeOverがToken Merging(ToMe)をSliced Recursive Transformer(SReT)に統合 ImageNet-1Kをベンチマークし、トップ1の精度を1.47ポイント削減した。 GPUでは、バッチサイズ1と16ではピークアクティベーションメモリを37.3%、38.4%削減し、バッチサイズ1ではスループットを21.7%削減するが、バッチサイズ16では21.7%向上する。
  論文  参考訳（メタデータ） (2026-08-13T12:15:10Z)
• Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
  ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:29:43Z)
• Forge-UGC: FX optimization and register-graph engine for universal graph compiler [2.587194279527956]
  OpenVINOやONNXのような既存のフレームワークは、しばしば不透明なコンパイルパイプラインを使用する。 Forge-UGCは、グラフキャプチャ、最適化、中間表現の低下、バックエンドスケジューリングを分離するハードウェアに依存しない設計でこの問題に対処する。
  論文  参考訳（メタデータ） (2026-04-14T04:39:16Z)
• Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
  DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。 d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。 因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
  論文  参考訳（メタデータ） (2026-03-23T17:57:24Z)
• GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
  一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。 GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
  論文  参考訳（メタデータ） (2025-11-28T07:26:45Z)
• AutoSAGE: Input-Aware CUDA Scheduling for Sparse GNN Aggregation (SpMM/SDDMM) and CSR Attention [52.20940151628735]
  AutoSAGEは入力ごとにタイリングとマッピングを選択するインプット対応スケジューラである。 Reddit OGBN-Productsでは、カーネルレベルの最大4.7倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2025-11-17T18:25:51Z)
• DistZO2: High-Throughput and Memory-Efficient Zeroth-Order Fine-tuning LLMs with Distributed Parallel Computing [4.589472292598182]
  細調整された大規模言語モデル(LLM)は、その厳密なスケールのため、リソース集約型のままである。 LLMの分散ゼロオーダー微調整のためのメモリ効率のよいフレームワークであるDistZO2を提案する。
  論文  参考訳（メタデータ） (2025-07-03T22:53:34Z)
• 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [52.079202872069835]
  大規模言語モデル(LLM)や拡散モデル(DM)といった大規模AIモデルは急速に成長している。 圧縮フレームワークであるDynamic-Length Float (DFloat11) を導入し, LLM と DM サイズを30%削減した。
  論文  参考訳（メタデータ） (2025-04-15T22:38:38Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。