論文の概要: Deploying RDMA for Distributed Inference and Training At Scale

• arxiv url: http://arxiv.org/abs/2610.12815v2
• Date: Mon, 12 Oct 2026 14:44:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-14 23:39:49.868943
• Title: Deploying RDMA for Distributed Inference and Training At Scale
• Title（参考訳）: 分散推論と大規模トレーニングのためのRDMAのデプロイ
• Abstract要約: RDMAは分散機械学習システムの通信オーバーヘッドを減らすことができるが、本番環境でのこれらの利点を実現するにはTCPを置き換える以上のことが必要である。 本稿では、ハードウェアRDMA上のソフトウェア通信層であるByteExpressを、ByteDanceのパラメータサーバベースの推論およびトレーニングシステムにデプロイした経験を報告する。
• 参考スコア（独自算出の注目度）: 19.79326970571244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RDMA can reduce communication overhead in distributed machine learning systems, but realizing these benefits in production requires more than replacing TCP. Variable-size messages, concurrent connections, bursty incasts, and service failures introduce challenges that hardware offload alone cannot address. This paper reports our experience deploying ByteExpress, a software communication layer over hardware RDMA, in ByteDance's parameter-server-based inference and training systems. We present three lessons from the deployment: efficient RDMA requires buffer management across application and transport layers; scalable communication requires coordinated management of connections, receive capacity, and outstanding data; and service availability requires recovery above the transport layer. ByteExpress combines an RDMA-aware allocator, zero-copy transfers, QP multiplexing, receive-credit flow control, a software send window, and RPC-assisted recovery. In production inference, ByteExpress reduces mean and P99 model parameter fetch latency by 35.7% and 43.7%, respectively, and total CPU usage by 10.69% compared with kernel TCP. In training, ByteExpress reduces P99 model parameter push latency by up to 74.0% compared with TCP, with no PFC pauses observed at runtime.
• Abstract（参考訳）: RDMAは分散機械学習システムの通信オーバーヘッドを減らすことができるが、本番環境でのこれらの利点を実現するにはTCPを置き換える以上のことが必要である。 可変サイズメッセージ、同時接続、バーストインキャスト、サービス障害は、ハードウェアのオフロードだけでは対処できない課題をもたらす。 本稿では、ハードウェアRDMA上のソフトウェア通信層であるByteExpressを、ByteDanceのパラメータサーバベースの推論およびトレーニングシステムにデプロイした経験を報告する。 効率的なRDMAはアプリケーション層とトランスポート層にまたがるバッファ管理を必要とし、スケーラブルな通信にはコネクションの管理、キャパシティの受信、および優れたデータの管理が必要であり、サービスの可用性にはトランスポート層上のリカバリが必要である。 ByteExpressはRDMA対応アロケータ、ゼロコピー転送、QP多重化、受信-Creditフロー制御、ソフトウェア送信ウィンドウ、RPC支援リカバリを組み合わせたものだ。 実運用環境では、ByteExpressは平均とP99モデルのパラメータフェッチのレイテンシをそれぞれ35.7%、43.7%削減し、CPU全体の使用量はカーネルTCPと比較して10.69%削減した。 トレーニングでは、ByteExpressはP99モデルパラメータのプッシュレイテンシをTCPと比較して最大74.0%削減する。

関連論文リスト

• MECAIL: Communication-Aware Incremental Learning for Object Detection with 14.6 KB Spatiotemporal Experts [64.3606916844498]
  インテリジェントトランスポートシステムは、動的環境における全体的なパフォーマンスを継続的に改善するためにインクリメンタルラーニング(IL)を必要とする。 本稿では, 固定ベースモデルを駐車場, ガソリンスタンド, フェリー, 建設現場などの特定の状況に適応させる, 密集した特殊なモジュールカバレッジを得る手法を提案する。 1モジュールあたり14.6KBの厳密な制限を確立し、最初のTCPウィンドウに適合し、UDP/BTPフラグメンテーションを最小限に抑える。 さらに、この厳密な要件を満たす最初の方法である、コミュニケーション・アウェア・インクリメンタル・ラーニングのためのMixture-of-Experts(MECAIL)を紹介します。
  論文  参考訳（メタデータ） (2026-09-21T12:02:35Z)
• Securing High-Performance Data Transfers: Implementing AES Encryption in RDMA Systems [0.0]
  本研究では、RDMAとAES-128の暗号化を統合して、性能を損なうことなくデータ転送をセキュアにする方法について検討する。 P4 プログラミング言語を用いて,プログラム可能な Tofino スイッチのデータプレーン内で直接暗号化を実装した。 実験の結果,16バイトパケットで0.37Gbps,32バイトパケットで0.76Gbps,64バイトパケットで1.83Gbps,128バイトパケットで1.9Gbpsのスループットを達成した。
  論文  参考訳（メタデータ） (2026-05-24T12:06:22Z)
• SCRec: A Scalable Computational Storage System with Statistical Sharding and Tensor-train Decomposition for Recommendation Models [17.602518628415776]
  Deep Learning Recommendation Models (DLRMs)は、ソーシャルネットワークやビデオストリーミングといったWebアプリケーション間でパーソナライズされたコンテンツを配信する上で、重要な役割を果たす。 性能の改善により、DLRMsのパラメータサイズはテラバイト(TB)に拡大し、メモリ帯域幅の要求はTB/sを超えるようになった。 TBスケールの産業用DLRMを扱えるスケーラブルな計算ストレージレコメンデーションシステムであるSCRecを提案する。
  論文  参考訳（メタデータ） (2025-04-01T08:12:45Z)
• Optimizing Quantum Communication for Quantum Data Centers with Reconfigurable Networks [9.297027215402807]
  我々は、クロスラック通信の並列化と頻繁な再設定を避けるために、新しい最適化空間を導入する。 提案手法は,全体のレイテンシを8.02倍に削減し,キュービットのデコヒーレンスを緩和する。
  論文  参考訳（メタデータ） (2024-12-06T08:07:26Z)
• Transport-Level Encryption in Datacenter Networks [1.9001209299973367]
  クラウドアプリケーションは、他のテナントから分離し、ネットワークインフラストラクチャ内の潜在的盗聴者からデータを保護するために、ネットワークデータ暗号化が必要です。 本稿では、TCP上のTLS用に設計された既存のNICオフロードを使用して、データ暗号化を統合する、新しいデータセンタートランスポートプロトコルのためのプロトコル設計であるSDTを提案する。
  論文  参考訳（メタデータ） (2024-06-21T23:28:36Z)
• FSD-Inference: Fully Serverless Distributed Inference with Scalable Cloud Communication [2.1301190271783317]
  FSD-Inferenceは、分散ML推論のための、初めて完全にサーバレスで高度にスケーラブルなシステムである。 我々は、クラウドベースのパブリッシュ/サブスクライブ/キューとオブジェクトストレージの両方を活用する、ML推論ワークロードのための、新しい完全なサーバレス通信スキームを紹介します。
  論文  参考訳（メタデータ） (2024-03-22T13:31:24Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• RAMP: A Flat Nanosecond Optical Network and MPI Operations for Distributed Deep Learning Systems [68.8204255655161]
  我々は、RAMPと呼ばれるナノ秒再構成による、ほぼスケール、全2分割帯域、オールツーオール、シングルホップ、オール光学ネットワークアーキテクチャを導入する。 RAMPは、最大65,536ノードで1ノードあたり12.8Tbpsの大規模分散並列コンピューティングシステムをサポートしている。
  論文  参考訳（メタデータ） (2022-11-28T11:24:51Z)
• Dynamic Parameter Allocation in Parameter Servers [74.250687861348]
  本稿では,パラメータサーバに動的パラメータ割り当てを組み込んで,Lapse と呼ばれるパラメータサーバの効率的な実装を提案する。 Lapseはニアリニアなスケーリングを提供しており、既存のパラメータサーバよりも桁違いに高速であることがわかった。
  論文  参考訳（メタデータ） (2020-02-03T11:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。