論文の概要: Sky Computing: Accelerating Geo-distributed Computing in Federated Learning

• arxiv url: http://arxiv.org/abs/2202.11836v1
• Date: Thu, 24 Feb 2022 00:14:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-25 16:12:58.424209
• Title: Sky Computing: Accelerating Geo-distributed Computing in Federated Learning
• Title（参考訳）: スカイコンピューティング: フェデレートラーニングにおけるジオ分散コンピューティングの加速
• Authors: Jie Zhu and Shenggui Li and Yang You
• Abstract要約: フェデレーション学習は、ユーザーのデバイス上でローカルにトレーニングモデルを通じてデータのプライバシを保護するためにGoogleによって提案されている。 ディープラーニングモデルのサイズが大きくなるにつれて、モデル全体をひとつのデバイスに収めることがますます困難になっている。 重みを適応的にデバイスに割り当てるロードバランスモデル並列化フレームワークであるSky Computingを提案する。
• 参考スコア（独自算出の注目度）: 10.464235298811671
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is proposed by Google to safeguard data privacy through training models locally on users' devices. However, with deep learning models growing in size to achieve better results, it becomes increasingly difficult to accommodate the whole model on one single device. Thus, model parallelism is then used to divide the model weights among several devices. With this logic, the approach currently used evenly allocates weights among devices. However, in reality, a computation bottleneck may occur resulting from variant computing power of different users' devices. To address this problem, load balancing is needed to allocate the model weights based on the computational capability of the device. In this paper, we proposed Sky Computing, a load-balanced model parallelism framework to adaptively allocate the weights to devices. Sky Computing outperforms the baseline method by 55% in training time when training 160-layer BERT with 64 nodes. The source code can be found at https://github.com/hpcaitech/SkyComputing.
• Abstract（参考訳）: フェデレーション学習は、ユーザーのデバイス上でローカルにトレーニングモデルを通じてデータのプライバシを保護するためにGoogleによって提案されている。 しかし、より優れた結果を得るために、ディープラーニングモデルのサイズが大きくなるにつれて、1つのデバイスでモデル全体を適合させることがますます困難になる。 したがって、モデル並列性はモデル重みを複数のデバイスに分割するために使われる。 この論理により、現在のアプローチはデバイス間で均等に重みを割り当てる。 しかし、実際には、異なるユーザのデバイスの異なる計算能力によって計算ボトルネックが発生する可能性がある。 この問題に対処するためには、装置の計算能力に基づいてモデルの重みを割り当てるロードバランシングが必要である。 本稿では,重みをデバイスに適応的に割り当てるロードバランスモデル並列化フレームワークであるSky Computingを提案する。 スカイコンピューティングは、64ノードの160層bertをトレーニングするときのトレーニング時間のベースラインメソッドを55%上回っている。 ソースコードはhttps://github.com/hpcaitech/skycomputingにある。

関連論文リスト

• OmniBal: Towards Fast Instruct-tuning for Vision-Language Models via Omniverse Computation Balance [65.48009829137824]
  視覚言語インストラクションチューニングモデルにおける大規模3D並列トレーニングは、異なるデバイス間で不均衡な計算負荷をもたらす。 私たちはこの問題に対処するために、データ、モデル、メモリの観点から計算負荷を再バランスさせました。 提案手法の有効性と一般化性は,様々なモデルやデータセットでさらに実証された。
  論文  参考訳（メタデータ） (2024-07-30T12:02:58Z)
• subMFL: Compatiple subModel Generation for Federated Learning in Device Heterogenous Environment [0.2796197251957244]
  フェデレートラーニング(FL)は、分散デバイスと異種デバイスを持つシステムで一般的に用いられる。 計算能力の異なる異種デバイスをFLプロセスに参加可能なモデル圧縮手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:49:34Z)
• AdapterFL: Adaptive Heterogeneous Federated Learning for Resource-constrained Mobile Computing Systems [24.013937378054074]
  Federated Learning (FL)は、データ共有なしで大規模分散クライアントの協調学習を可能にする。 モバイルコンピューティングシステムは、協調学習のために小さな低パフォーマンスモデルしか利用できない。 我々は、大規模な異種モバイルデバイスの協調訓練を適応的に行うために、モデル再組み立て戦略を用いる。
  論文  参考訳（メタデータ） (2023-11-23T14:42:43Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Federated Split GANs [12.007429155505767]
  ユーザデバイス自体でMLモデルをトレーニングするための代替手法を提案する。 我々は、GAN(ジェネレーティブ・逆境ネットワーク)に注目し、その固有のプライバシー保護属性を活用する。 我々のシステムはデータのプライバシを保ち、短時間のトレーニング時間を保ち、制約のないデバイスで同じ精度でモデルトレーニングを行う。
  論文  参考訳（メタデータ） (2022-07-04T23:53:47Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Multi-Robot Deep Reinforcement Learning for Mobile Navigation [82.62621210336881]
  階層的統合モデル(HInt)を用いた深層強化学習アルゴリズムを提案する。 トレーニング時には、HIntは別々の知覚モデルとダイナミクスモデルを学び、テスト時には、HIntは2つのモデルを階層的な方法で統合し、統合モデルとアクションを計画する。 我々のモバイルナビゲーション実験は、HIntが従来の階層的ポリシーや単一ソースアプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2021-06-24T19:07:40Z)
• Text Classification Using Hybrid Machine Learning Algorithms on Big Data [0.0]
  本研究では,2つの教師付き機械学習アルゴリズムとテキストマイニング技術を組み合わせてハイブリッドモデルを生成する。 その結果、ハイブリッドモデルはそれぞれ61.45%と69.21%のNa"ive BayesとSVMモデルに対して96.76%の精度を示した。
  論文  参考訳（メタデータ） (2021-03-30T19:02:48Z)
• Scaling Distributed Deep Learning Workloads beyond the Memory Capacity with KARMA [58.040931661693925]
  冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。 最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。 我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
  論文  参考訳（メタデータ） (2020-08-26T07:24:34Z)
• BigNAS: Scaling Up Neural Architecture Search with Big Single-Stage Models [59.95091850331499]
  予測精度を高めるためには,重みの処理後処理が必要であるという従来の知恵に挑戦するアプローチであるBigNASを提案する。 発見されたモデルファミリーであるBigNASModelsは76.5%から80.9%の範囲でトップ1の精度を達成した。
  論文  参考訳（メタデータ） (2020-03-24T23:00:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。