論文の概要: KOSMOS: Self-scheduling Persistent Kernels for Communication-Compute Overlap
- arxiv url: http://arxiv.org/abs/2611.07477v1
- Date: Thu, 05 Nov 2026 05:36:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.556513
- Title: KOSMOS: Self-scheduling Persistent Kernels for Communication-Compute Overlap
- Title（参考訳）: KOSMOS: 通信計算オーバーラップのための自己スケジューリング型永続カーネル
- Abstract要約: KOSMOSは、永続カーネルの自己スケジューリングのためのライブラリである。
GEMMでトランスのすべてのTP+SP集合を融合させ、ルーターから折り畳みまで、各方向に1回の発射で専門家層全体を走らせる。
- 参考スコア（独自算出の注目度）: 45.70410332687873
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tensor and sequence parallelism (TP+SP) and expert parallelism (EP) put collectives on the critical path of transformer layers. State-of-the-art fused kernels mitigate this with fixed roles or schedules, but this rigidity leaves large idle windows. Predicting a communication-computation split does not remove them either; a predetermined split cannot follow data readiness. We present KOSMOS, a library for self-scheduling persistent kernels whose workgroups use queues ordered by consumer demand to switch between communication and computation roles as data become ready, with no scheduler, per-call cost model, or tuned split. KOSMOS fuses every TP+SP collective of a transformer layer with its GEMM, and runs an entire expert layer, from router to fold, in one launch per direction. Evaluated on AMD Instinct MI350X and AMD Instinct MI355X GPUs, KOSMOS speeds up TP+SP end-to-end training in Megatron-LM by 1.10-1.28x in BF16 and 1.10-1.25x in MXFP8. KOSMOS accelerates end-to-end training of DeepSeek-V3 and Qwen3-235B proxies by 1.29-1.83x over DeepEP.
- Abstract（参考訳）: テンソルとシーケンス並列 (TP+SP) とエキスパート並列 (EP) は変圧器層の臨界経路に集合体を配置する。
最先端の融合カーネルは、固定された役割やスケジュールでこれを緩和するが、この剛性は大きなアイドルウィンドウを残している。
通信計算スプリットの予測も削除されない; 所定のスプリットはデータ準備に追従できない。
KOSMOSは、スケジューラ、呼び出し単位のコストモデル、調整されたスプリットなしで、データの準備が整ったときに通信と計算ロールを切り替えるように、ワークグループがコンシューマが注文したキューを使用する永続カーネルをセルフスケジューリングするライブラリである。
KOSMOSはトランスのすべてのTP+SP集合をGEMMで融合させ、ルーターから折り畳みまで、各方向に1回の発射で専門家層全体を走らせる。
AMD Instinct MI350XとAMD Instinct MI355X GPUで評価され、KoSMOSはMegatron-LMでTP+SPのエンドツーエンドトレーニングをBF16で1.10-1.28x、MXFP8で1.10-1.25x高速化する。
KOSMOSはDeepSeek-V3およびQwen3-235BプロキシのエンドツーエンドトレーニングをDeepEPの1.29-1.83倍高速化する。
関連論文リスト
- TopoEP: Topology-Aware Load Balancing for Expert-Parallel MoE Training [33.05449172689584]
動的ルーティングは、大規模なエキスパート並列混合(MoE)トレーニングにおいて、厳しい負荷不均衡を引き起こす。
大規模MoEトレーニングのためのGPUネイティブなトポロジ対応ロードバランシングシステムである textitTopoEP を提案する。
論文 参考訳（メタデータ） (2026-09-28T15:57:31Z) - Tevatron Meets Megatron: Expert-Parallel LLM Reranker Training on an Academic Budget [72.7352550413971]
私たちはMegatron-CoreトレーニングバックエンドをTevatronに統合したTevatron 3.0を紹介します。
MegatronはFSDPのリランカ品質とトレーニング効率を同等のデータ並列設定で比較した。
その結果,MoEリランカは高密度の8B品質と一致し,パラメータの半数以下を活性化し,推論スループットを著しく向上することがわかった。
論文 参考訳（メタデータ） (2026-08-02T00:55:47Z) - ZeRO-Prefill: Zero Redundancy Overheads in MoE Prefill Serving [18.574823955774207]
本稿では,ZeRO-Prefillを提案する。ZeRO-Prefillはプリフィルのみのサービスシステムで,バックエンドはアクティベーションによってルーティングするのではなく,専門家を重みに集める。
Qwen3-235B-A22Bでは、4つのハードウェア/精度構成でZeRO-Prefillは1.35-1.37倍のスループットを提供する。
論文 参考訳（メタデータ） (2026-05-03T03:10:24Z) - GPIR: Enabling Practical Private Information Retrieval with GPUs [10.979759633611133]
GPIRは、カーネル、データレイアウト、実行スケジュールを再考するGPUアクセラレーションPIRシステムである。
本稿では、各プリミティブな操作を別々に実行する運用レベルカーネルと、プロトコルステージ内のすべての操作を単一のカーネルに融合させてオンチップデータの再利用を最大化する運用レベルカーネルを切り替える、段階対応ハイブリッド実行モデルを提案する。
論文 参考訳（メタデータ） (2026-04-06T14:04:14Z) - Pretraining A Large Language Model using Distributed GPUs: A Memory-Efficient Decentralized Paradigm [12.526901917227425]
本研究では,SParse Expert Synchronization (SPES)を提案する。
SPESはノードごとに専門家のサブセットのみを訓練し、メモリフットプリントを大幅に低下させる。
7Bモデルをスクラッチから,9Bモデルを高密度チェックポイントからアップサイクルすることで,スケーラビリティを実証する。
論文 参考訳（メタデータ） (2026-02-12T04:02:45Z) - CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。
CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。
トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
論文 参考訳（メタデータ） (2025-09-24T07:54:01Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。
その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
論文 参考訳（メタデータ） (2024-10-16T05:17:49Z) - Parm: Efficient Training of Large Sparsely-Activated Models with Dedicated Schedules [15.680276212483292]
本稿では,MP+EP+ESP学習を高速化するParmを提案する。
Parmは、1.13$times$から5.77$times$のスピードアップを実現し、1296年に手動で設定されたMoEレイヤと、2つの現実世界のMoEモデルで約3$times$の改善を行った。
論文 参考訳（メタデータ） (2024-06-30T05:55:11Z) - Training Recommender Systems at Scale: Communication-Efficient Model and
Data Parallelism [56.78673028601739]
通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。
DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。
最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
論文 参考訳（メタデータ） (2020-10-18T01:44:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。