論文の概要: Distributed Training using an Intelligent Network

• arxiv url: http://arxiv.org/abs/2608.26453v1
• Date: Wed, 26 Aug 2026 22:58:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.199232
• Title: Distributed Training using an Intelligent Network
• Title（参考訳）: インテリジェントネットワークを用いた分散トレーニング
• Abstract要約: 広域ネットワーク(WAN)をまたいだ分散トレーニングは、帯域幅の制限やレイテンシ、不均一なトポロジによって、計算島による連続的なパラメータ交換が制限されるため、困難である。 我々は,ネットワークをトレーニングに積極的に参加させることを提案する。システム側では,そのようなネットワークは (i) マルチキャスト技術を利用してアウトバウンドトラフィックを再現し, (ii) インラインFPGAを用いてインバウンドトラフィックを集約する必要がある。
• 参考スコア（独自算出の注目度）: 0.14323566945483496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributed training across a wide area network (WAN) is challenging, as continuous parameter exchange by islands of compute is constrained by limited bandwidth, high latency, and uneven topology. We propose making the network an active participant in training. On the systems side, such networks should leverage (i) multicast technology to replicate outbound traffic and (ii) in-line FPGAs to aggregate inbound traffic, to ease egress and ingress bottlenecks. These technologies are used for training across workers within a data center, but this paper extends them to the WAN. On the algorithms side, we develop an optimization framework that produces rich synchronization schedules (namely, rotating cliques of islands) around the underlying network topology and these technologies, to maximize information exchange. Finally, we illustrate this on a nine-city topology modeled on the DoubleZero network, a live programmable WAN equipped with both technologies, and show how the optimal schedules shift with the network's capabilities. Together, these can narrow the gap to the gold standard of colocated training.
• Abstract（参考訳）: 広域ネットワーク(WAN)をまたいだ分散トレーニングは、帯域幅の制限やレイテンシ、不均一なトポロジによって、計算島による連続的なパラメータ交換が制限されるため、困難である。 我々は,ネットワークをトレーニングに積極的に参加させることを提案する。 システム側では、そのようなネットワークは活用すべきである (i)アウトバウンドトラフィックを再現するマルチキャスト技術 (II) インラインFPGAは、インバウンドトラフィックを集約し、エクスグレスとイングレスボトルネックを緩和する。 これらの技術は、データセンター内の労働者間のトレーニングに使用されるが、本論文はそれらをWANに拡張する。 アルゴリズム側では,ネットワークトポロジとその技術を中心としたリッチな同期スケジュール(島々の回転軸)を生成する最適化フレームワークを開発し,情報交換の最大化を図る。 最後に、これをDoubleZeroネットワークをモデルとした9都市トポロジ、両方の技術を備えたライブプログラム可能なWAN、および、ネットワークの能力によって最適なスケジュールがどう変化するかを示す。 同時に、これらはコロケーショントレーニングのゴールドスタンダードとのギャップを狭めることができる。

関連論文リスト

• Unrolled Neural Networks for Constrained Optimization [83.29547301151177]
  我々のフレームワークは、ラグランジアンのサドル点を共同で近似する2つの結合ニューラルネットワークで構成されている。 混合整数二次プログラムと無線ネットワークにおける電力配分に関する枠組みを数値的に評価する。
  論文  参考訳（メタデータ） (2026-01-24T03:12:41Z)
• Resource Allocation in Hybrid Radio-Optical IoT Networks using GNN with Multi-task Learning [11.833896722352568]
  本稿では,光ニューラルOWCと電波周波数(RF)を統合したハイブリッドモノのインターネット(IoT)ネットワークにおけるデュアルテクノロジースケジューリングの問題に対処する。 本稿では,2段階グラフ埋め込みとトランスフォーマー(DGET)フレームワークを組み合わせた教師付きマルチタスク学習アーキテクチャを提案する。 提案フレームワークは、90%以上の分類精度で最適に近いスケジューリングを実現し、計算複雑性を低減し、部分的なチャネルオブザーバビリティの下で高いロバスト性を示す。
  論文  参考訳（メタデータ） (2025-10-29T15:02:28Z)
• CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
  CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。 CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。 トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
  論文  参考訳（メタデータ） (2025-09-24T07:54:01Z)
• Distributed Link Sparsification for Scalable Scheduling Using Graph Neural Networks (Journal Version) [50.894272363373126]
  密接な接続を特徴とする無線ネットワークでは、分散リンクスケジューリングアルゴリズムによって発生する重要な信号のオーバーヘッドは、混雑、エネルギー消費、無線フットプリント拡張といった問題を悪化させる可能性がある。 ネットワーク容量を維持しながら遅延耐性トラフィックのスケジューリングオーバーヘッドを低減するために,グラフニューラルネットワーク(GNN)を用いた分散リンクスカラー化方式を提案する。 GNNモジュールは、トラフィック統計とネットワークトポロジに基づいて、個々のリンクに対する競合しきい値を調整するように訓練されており、成功しそうもない場合には、リンクがスケジュール競合から撤退することを可能にする。
  論文  参考訳（メタデータ） (2025-09-05T18:59:14Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• A Deep Reinforcement Learning Approach for Adaptive Traffic Routing in Next-gen Networks [1.1586742546971471]
  次世代ネットワークは、トラフィックダイナミクスに基づいたネットワーク構成を自動化し、適応的に調整する必要がある。 交通政策を決定する伝統的な手法は、通常は手作りのプログラミング最適化とアルゴリズムに基づいている。 我々は適応的なトラフィックルーティングのための深層強化学習(DRL)アプローチを開発する。
  論文  参考訳（メタデータ） (2024-02-07T01:48:29Z)
• Multi-Flow Transmission in Wireless Interference Networks: A Convergent Graph Learning Approach [9.852567834643292]
  ネットワークデータ信号の2段階干渉対応マルチフロー最適化(DIAMOND)という新しいアルゴリズムを提案する。 集中型ステージは、グラフニューラルネットワーク(GNN)強化学習(RL)ルーティングエージェントの新しい設計を用いて、マルチフロー伝送戦略を計算する。 そして、分散学習更新の新しい設計に基づいて、分散ステージにより性能が向上する。
  論文  参考訳（メタデータ） (2023-03-27T18:49:47Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Teal: Learning-Accelerated Optimization of WAN Traffic Engineering [68.7863363109948]
  本稿では,GPUの並列処理能力を活用してTE制御を高速化する学習型TEアルゴリズムTealを提案する。 問題スケールの削減と学習のトラクタビリティ向上のために,Tealはマルチエージェント強化学習(RL)アルゴリズムを用いて,各トラフィック要求を独立に割り当てる。 他のTE加速方式と比較して、Tealは需要を6～32%増やし、197～625倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2022-10-25T04:46:30Z)
• Themis: A Network Bandwidth-Aware Collective Scheduling Policy for Distributed Training of DL Models [2.6599014990168834]
  分散トレーニングは、タスクを複数のNPUに分割することで、トレーニング時間を短縮するソリューションである。 Themisは、すべての次元にわたる通信負荷のバランスをとるために、グループを動的にスケジュールする新しい集合スケジューリングスキームである。 Themisは平均して1.88x(2.92xmax)で1つのAll-ReduceのネットワークBW利用を改善することができる。
  論文  参考訳（メタデータ） (2021-10-09T06:50:04Z)
• LIBRA: Enabling Workload-aware Multi-dimensional Network Topology Optimization for Distributed Training of Large AI Models [6.980277221943408]
  我々は,機械学習システムにおける多次元ネットワークの設計を,ネットワーク全体の帯域幅を向上させるためのコスト効率のメカニズムとして動機付けている。 多次元ファブリックアーキテクチャの最適化に特化したフレームワークであるLIBRAを紹介する。
  論文  参考訳（メタデータ） (2021-09-24T06:22:28Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。