論文の概要: Throughput-Optimal Topology Design for Cross-Silo Federated Learning

• arxiv url: http://arxiv.org/abs/2010.12229v2
• Date: Tue, 17 Nov 2020 19:04:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 00:20:49.464228
• Title: Throughput-Optimal Topology Design for Cross-Silo Federated Learning
• Title（参考訳）: クロスサイロフェデレーション学習のためのスループット最適トポロジ設計
• Authors: Othmane Marfoq, Chuan Xu, Giovanni Neglia, Richard Vidal
• Abstract要約: フェデレーション学習は通常、クライアントサーバアーキテクチャを使用し、オーケストレータがリモートクライアントからのモデル更新を反復的に集約し、洗練されたモデルに戻す。 高速アクセスリンクを持つクローズバイデータサイロは、オーケストレータよりも高速に情報を交換できるため、このアプローチはクロスサイロ設定では非効率である可能性がある。 本稿では,最大スループットあるいは保証可能なスループット保証を備えたトポロジを求める実用的なアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 13.922754427601493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning usually employs a client-server architecture where an orchestrator iteratively aggregates model updates from remote clients and pushes them back a refined model. This approach may be inefficient in cross-silo settings, as close-by data silos with high-speed access links may exchange information faster than with the orchestrator, and the orchestrator may become a communication bottleneck. In this paper we define the problem of topology design for cross-silo federated learning using the theory of max-plus linear systems to compute the system throughput---number of communication rounds per time unit. We also propose practical algorithms that, under the knowledge of measurable network characteristics, find a topology with the largest throughput or with provable throughput guarantees. In realistic Internet networks with 10 Gbps access links for silos, our algorithms speed up training by a factor 9 and 1.5 in comparison to the master-slave architecture and to state-of-the-art MATCHA, respectively. Speedups are even larger with slower access links.
• Abstract（参考訳）: フェデレーション学習は通常、クライアントサーバアーキテクチャを使用し、オーケストレータがリモートクライアントからのモデル更新を反復的に集約し、洗練されたモデルに戻す。 高速アクセスリンクを持つ近接データサイロはオーケストレータよりも高速に情報を交換し、オーケストレータは通信ボトルネックになる可能性がある。 本稿では,マックスプラス線形系の理論を用いたクロスサイロフェデレーション学習におけるトポロジー設計の問題を定義し,時間単位当たりの通信ラウンド数であるシステムスループットを計算する。 また,実測可能なネットワーク特性の知識に基づいて,最大スループットのトポロジや実現可能なスループット保証を求める実用的なアルゴリズムを提案する。 10gbpsのサイロアクセスリンクを持つ現実のインターネットネットワークでは、マスタースレーブアーキテクチャと最先端のmatchaと比較して、アルゴリズムはトレーニングを9倍と1.5倍スピードアップします。 スピードアップはさらに大きく、アクセスリンクが遅くなる。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Time Minimization in Hierarchical Federated Learning [11.678121177730718]
  フェデレートラーニング(Federated Learning)は、ユーザ機器が機械学習タスクをローカルに実行し、モデルパラメータを中央サーバにアップロードする、現代的な分散機械学習技術である。 本稿では,クラウドとエッジサーバ間のモデルパラメータ交換を含む3層階層型階層型学習システムについて考察する。
  論文  参考訳（メタデータ） (2022-10-07T13:53:20Z)
• Learning Connectivity-Maximizing Network Configurations [123.01665966032014]
  本稿では、専門家からコミュニケーションエージェントを配置することを学ぶ畳み込みニューラルネットワーク(CNN)を用いた教師あり学習手法を提案する。 我々は,標準ライントポロジやリングトポロジ,ランダムに生成された105万件のテストケース,トレーニング中に見えない大規模なチームについて,CNNのパフォーマンスを実証した。 トレーニング後,本システムは10～20名のエージェントの最適化手法よりも2桁高速な接続構成を生成する。
  論文  参考訳（メタデータ） (2021-12-14T18:59:01Z)
• Predicting Bandwidth Utilization on Network Links Using Machine Learning [0.966840768820136]
  本稿では,異なるネットワークリンク間の帯域利用率を高精度に予測する手法を提案する。 シミュレーションネットワークは、各インタフェース上のネットワークリンクのパフォーマンスに関するデータを収集するために作成される。 提案手法は,SDN (Software-Defined Networking) プラットフォームによって管理される反応を用いて,リアルタイムで利用できることを示す。
  論文  参考訳（メタデータ） (2021-12-04T19:47:41Z)
• Comfetch: Federated Learning of Large Networks on Constrained Clients via Sketching [28.990067638230254]
  フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。 我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
  論文  参考訳（メタデータ） (2021-09-17T04:48:42Z)
• Scheduling Policy and Power Allocation for Federated Learning in NOMA Based MEC [21.267954799102874]
  Federated Learning(FL)は、データ分散を維持しながらモデルを集中的にトレーニングできる、高度に追求された機械学習技術である。 重み付き和データレートを最大化するために、非直交多重アクセス(NOMA)設定を用いた新しいスケジューリングポリシーと電力割当方式を提案する。 シミュレーションの結果,提案手法は,NOMAベースの無線ネットワークにおいて高いFLテスト精度を実現するのに有効であることがわかった。
  論文  参考訳（メタデータ） (2020-06-21T23:07:41Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。