論文の概要: Resilient AI Supercomputer Networking using MRC and SRv6

• arxiv url: http://arxiv.org/abs/2605.04333v1
• Date: Tue, 05 May 2026 22:40:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.564217
• Title: Resilient AI Supercomputer Networking using MRC and SRv6
• Title（参考訳）: MRCとSRv6を用いたレジリエントAIスーパーコンピュータネットワーク
• Authors: Joao Araujo, Alex Chow, Mark Handley, Ryder Lewis, Christoph Paasch, Jitendra Padhye, Michael Papamichael, Greg Steinbrecher, Amin Tootoonchian, Lihua Yuan, S. Anantharamu, Abhishek Dosi, Mohit Garg, Mahdieh Ghazi, Torsten Hoefler, Deepal Jayasinghe, Jithin Jose, Abdul Kabbani, Guohan Lu, Yang Wang, K. Doddapaneni, Murali Garimella, Vipin Jain, Yanfang Le, H. Nagulapalli, S. Narayanan, Rong Pan, Rathina Sabesan, Raghava Sivaramu, Rip Sohan, Eric Davis, Dragos Dumitrescu, Mohan Kalkunte, Bhaswar Mitra, Guglielmo Morandin, Adrian Popa, Costin Raiciu, Eric Spada, John Spillane, Niranjan Vaidya, Aviv Barnea, Idan Burstein, Elazar Cohen, Yamin Friedman, Noam Katz, Masoud Moshref, Yuval Shpigelman, Shahaf Shuler, Shy Shyman, Sayantan Sur,
• Abstract要約: RDMAをベースとした新しいトランスポートプロトコル MRC について述べる。 MRCは、これまでトレーニングを中断していた多くのネットワーク障害をAIトレーニングジョブが実行可能にする方法を示します。
• 参考スコア（独自算出の注目度）: 14.362480653992074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tail latency dominates the performance of synchronous pretraining jobs when running at very large scales. We describe a three-pronged approach: (1) a new RDMA-based transport protocol, MRC, sprays across many paths and actively load-balances between them, eliminating the issue of flow collisions (2) the use of multi-plane Clos topologies to get the benefits of high switch radix and redundancy, allowing training clusters well over 100K GPUs to be built as two-tier topologies while increasing physical redundancy, and (3) the use of static source-routing using SRv6 to allow MRC the freedom to bypass failures by itself. We describe our experiences running MRC and static SRv6 routing in production in OpenAI and Microsoft's largest training clusters, where it has been used to train the latest frontier models. We demonstrate how MRC allows AI training jobs to ride out many network failures that previously would have interrupted training.
• Abstract（参考訳）: テールレイテンシは、非常に大規模な実行時の同期事前トレーニングジョブのパフォーマンスを支配します。 1)新しいRDMAベースのトランスポートプロトコルであるMRCは,フロー衝突の問題を解消し,多くの経路をスプレーし,その間の負荷バランスを積極的に行うこと,(2)高スイッチ半径と冗長性の利点を享受するためにマルチプレーンのClosトポロジを使用することにより,100K以上のGPUを2層トポロジとして構築し,物理的冗長性を高めつつ,トレーニングクラスタを2層に構築すること,(3)SRv6を用いた静的ソースルーティングを使用することにより,MRCが障害を回避できる,という3つのアプローチを述べる。 私たちは、最新のフロンティアモデルをトレーニングするために、OpenAIとMicrosoft最大のトレーニングクラスタで、MRCと静的SRv6ルーティングを本番環境で実行した経験について説明する。 MRCは、これまでトレーニングを中断していた多くのネットワーク障害をAIトレーニングジョブが乗り越えることを可能にする方法を実証する。

関連論文リスト

• ReMix: Reinforcement routing for mixtures of LoRAs in LLM finetuning [85.39146836671897]
  低ランクアダプタ(LoRAs)は、トレーニング可能な低ランク行列をトレーニング済みモデルに注入し、新しいタスクに適応するパラメータ効率の微調整技術である。 既存のMixture-of-LoRAsルータは学習したルーティングウェイトを各LoRAに割り当て、ルータのエンドツーエンドのトレーニングを可能にする。 Reinforcement Routing for Mixture-of-LoRAs (ReMix) と呼ばれる新しいルータを提案する。
  論文  参考訳（メタデータ） (2026-03-10T18:51:27Z)
• RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
  エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。 分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
  論文  参考訳（メタデータ） (2025-12-27T11:14:23Z)
• Stabilizing MoE Reinforcement Learning by Aligning Training and Inference Routers [33.18639109838351]
  我々は,MoEモデルのトレーニングと推論の整合性を解析し,ルーティング行動における顕著な相違点を同定する。 本稿では、推論エンジンからのルーティング分布を記録し、トレーニング中にリプレイするRollout Replay Routing (R3)を提案する。 R3は、トレーニング速度を損なうことなく、トレーニング推論ポリシーKLのばらつきを著しく低減し、極端な不一致を緩和する。
  論文  参考訳（メタデータ） (2025-10-13T13:11:27Z)
• Efficient Multi-turn RL for GUI Agents via Decoupled Training and Adaptive Data Curation [65.3648667980258]
  視覚言語モデル(VLM)に基づくGUIエージェントは複雑なタスクの自動化を約束するが、強化学習(RL)の適用において大きな課題に直面している。 異種モジュールを高度に非結合的に協調するGUIエージェントのための非結合エージェントRLトレーニングフレームワークであるDARTを提案する。 OSWorldのベンチマークでは、DART-GUI-7Bは42.13%のタスク成功率、14.61%の絶対ゲイン、オープンソースSOTAよりも7.34%高い。
  論文  参考訳（メタデータ） (2025-09-28T13:19:20Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Rail-only: A Low-Cost High-Performance Network for Training LLMs with Trillion Parameters [7.293402047354488]
  本稿では,大規模言語モデル(LLM)をハイパースケールでトレーニングするための,低コストなネットワークアーキテクチャを提案する。 この設計をRailオンリーネットワークと名付け,ネットワークコストを38%から77%削減しながら,同じトレーニング性能を実現することを示す。 私たちのアーキテクチャは、全トラフィックに対して8.2%から11.2%の完了時間オーバーヘッドしか持たない、全対全通信を備えたMixture-of-Expert(MoE)モデルもサポートしています。
  論文  参考訳（メタデータ） (2023-07-22T21:18:41Z)
• Implementing Reinforcement Learning Datacenter Congestion Control in NVIDIA NICs [64.26714148634228]
  渋滞制御 (CC) アルゴリズムの設計は非常に困難になる。 現在、計算能力に制限があるため、ネットワークデバイスにAIモデルをデプロイすることはできない。 我々は,近年の強化学習CCアルゴリズムに基づく計算軽度解を構築した。
  論文  参考訳（メタデータ） (2022-07-05T20:42:24Z)
• MACER: Attack-free and Scalable Robust Training via Maximizing Certified Radius [133.47492985863136]
  敵対的トレーニングは、堅牢なモデルを学習する最も一般的な方法の1つだが、通常は攻撃に依存し、コストがかかる。 敵の訓練を使わずに頑健なモデルを学習するMACERアルゴリズムを提案する。 すべてのタスクに対してMACERは、最先端の対人訓練アルゴリズムよりもトレーニング時間が少ない。
  論文  参考訳（メタデータ） (2020-01-08T05:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。