論文の概要: Cloud Collectives: Towards Cloud-aware Collectives forML Workloads with Rank Reordering

• arxiv url: http://arxiv.org/abs/2105.14088v1
• Date: Fri, 28 May 2021 20:14:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-06 01:41:35.801178
• Title: Cloud Collectives: Towards Cloud-aware Collectives forML Workloads with Rank Reordering
• Title（参考訳）: Cloud Collectives: ランクリオーダを備えたMLワークロードのためのクラウド対応コレクタ
• Authors: Liang Luo, Jacob Nelson, Arvind Krishnamurthy, Luis Ceze
• Abstract要約: Cloud Collectivesは、参加するフレームワークの並べ替えによって集合を加速するプロトタイプである。 Collectivesは非侵襲的であり、コードの変更も既存のアプリケーションの再構築も必要とせず、クラウドプロバイダのサポートなしで動作します。 パブリッククラウドでのアレーダ操作に対するCloud Collectivesの予備的な応用は、複数のマイクロベンチマークで最大3.7倍、実際のワークロードで1.3倍のスピードアップをもたらす。
• 参考スコア（独自算出の注目度）: 8.81194405760133
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ML workloads are becoming increasingly popular in the cloud. Good cloud training performance is contingent on efficient parameter exchange among VMs. We find that Collectives, the widely used distributed communication algorithms, cannot perform optimally out of the box due to the hierarchical topology of datacenter networks and multi-tenancy nature of the cloudenvironment.In this paper, we present Cloud Collectives , a prototype that accelerates collectives by reordering theranks of participating VMs such that the communication pattern dictated by the selected collectives operation best exploits the locality in the network.Collectives is non-intrusive, requires no code changes nor rebuild of an existing application, and runs without support from cloud providers. Our preliminary application of Cloud Collectives on allreduce operations in public clouds results in a speedup of up to 3.7x in multiple microbenchmarks and 1.3x in real-world workloads of distributed training of deep neural networks and gradient boosted decision trees using state-of-the-art frameworks.
• Abstract（参考訳）: MLワークロードは、クラウドでますます人気が高まっている。 優れたクラウドトレーニング性能は、VM間の効率的なパラメータ交換に依存している。 We find that Collectives, the widely used distributed communication algorithms, cannot perform optimally out of the box due to the hierarchical topology of datacenter networks and multi-tenancy nature of the cloudenvironment.In this paper, we present Cloud Collectives , a prototype that accelerates collectives by reordering theranks of participating VMs such that the communication pattern dictated by the selected collectives operation best exploits the locality in the network.Collectives is non-intrusive, requires no code changes nor rebuild of an existing application, and runs without support from cloud providers. パブリッククラウドにおけるallreduce操作に対するクラウド集団の予備的適用により、複数のマイクロベンチマークで最大3.7倍、ディープニューラルネットワークの分散トレーニングで実世界のワークロードで1.3倍、最先端のフレームワークを使用して勾配強化決定木で最大3.7倍のスピードアップを実現しています。

関連論文リスト

• Cloudy with a Chance of Anomalies: Dynamic Graph Neural Network for Early Detection of Cloud Services' User Anomalies [9.035212370386846]
  本稿では,クラウドサービスグラフに基づく異常検出 (CS-GAD) のための,先駆的な時間ベースの埋め込み手法を提案する。 本手法では動的三部グラフ表現を用いて,クラウドサービス,ユーザ,それらの活動間の相互作用を時間とともにカプセル化する。 その結果,有望な方法に比べて偽陽性率(2-9%)が顕著に低下し,真陽性率(100%)が低下した。
  論文  参考訳（メタデータ） (2024-09-19T12:50:31Z)
• Point Cloud Compression with Implicit Neural Representations: A Unified Framework [54.119415852585306]
  我々は幾何学と属性の両方を扱える先駆的なクラウド圧縮フレームワークを提案する。 本フレームワークでは,2つの座標ベースニューラルネットワークを用いて,voxelized point cloudを暗黙的に表現する。 本手法は,既存の学習手法と比較して,高い普遍性を示す。
  論文  参考訳（メタデータ） (2024-05-19T09:19:40Z)
• Efficient Cloud-edge Collaborative Inference for Object Re-identification [27.952445808987036]
  我々は、ReIDシステムのためのクラウド-エッジ協調推論フレームワークを開拓した。 本稿では,クラウドサーバに所望の画像を返すために,分散対応相関モデルネットワーク(DaCM)を提案する。 DaCMは、タイムスタンプに暗黙的に含まれている空間的時間的相関関係をグラフ構造に埋め込んで、アップロードウィンドウのサイズを調整するためにクラウドに適用することができる。
  論文  参考訳（メタデータ） (2024-01-04T02:56:50Z)
• ECLM: Efficient Edge-Cloud Collaborative Learning with Continuous Environment Adaptation [47.35179593006409]
  動的エッジ環境に対する高速モデル適応のためのエッジクラウド協調学習フレームワークECLMを提案する。 その結果,ECLM はモデルの性能(例えば 18.89% の精度向上)と資源効率(例えば 7.12 倍の通信コスト削減)を,動的エッジ環境への適応において著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-11-18T14:10:09Z)
• Deep Reinforcement Learning Based Resource Allocation for Cloud Native Wireless Network [20.377823731801456]
  クラウドネイティブ技術は、5G以上の通信ネットワークと6G通信ネットワークに革命をもたらし、前例のないレベルの運用自動化、柔軟性、適応性を提供します。 クラウドネイティブなサービスとアプリケーションの広大な範囲は、動的クラウドコンピューティング環境のリソース割り当てにおいて、新たな課題をもたらしている。 深層強化学習手法を導入し,ネットワーク状態をモニタリングし,動的にアロケーションポリシーを訓練できる2つのモデルフリーアルゴリズムを導入する。 本研究は,ネットワーク効率の大幅な向上を実証し,クラウドネイティブ無線ネットワークの潜在能力を最大限に活用するための提案手法の可能性を明らかにした。
  論文  参考訳（メタデータ） (2023-05-10T15:32:22Z)
• Managing Cold-start in The Serverless Cloud with Temporal Convolutional Networks [0.0]
  サーバレスクラウドは革新的なクラウドサービスモデルであり、多くのクラウド管理業務から顧客を解放します。 サーバーレスクラウドのパフォーマンスに対する大きな脅威はコールドスタートであり、顧客の要求に応えるために必要なクラウドリソースをプロビジョニングするとき、サービスプロバイダや/または顧客に受け入れられないコストが発生する。 本稿では、サーバーレスクラウドスタックのインフラストラクチャおよびファンクションレベルにおけるコールドスタート問題に対処する、新しい低結合・高結合アンサンブルポリシーを提案する。
  論文  参考訳（メタデータ） (2023-04-01T21:54:22Z)
• An Efficient Split Fine-tuning Framework for Edge and Cloud Collaborative Learning [20.118073642453034]
  エッジおよびクラウド協調学習のための効率的な分割微調整フレームワークを設計する。 ニューラルネットワークの中間出力を圧縮し、エッジデバイスとクラウドサーバ間の通信量を削減する。 我々のフレームワークは、モデルの精度にほとんど影響を与えずに、96倍の通信トラフィックを削減できる。
  論文  参考訳（メタデータ） (2022-11-30T02:55:21Z)
• Device-Cloud Collaborative Recommendation via Meta Controller [65.97416287295152]
  オンデバイスレコメンデータとクラウドベースのレコメンデータの協調を動的に管理するメタコントローラを提案する。 対策サンプルと拡張トレーニングに基づいて,産業レコメンデーションシナリオにおける広範な実験は,メタコントローラの可能性を示唆している。
  論文  参考訳（メタデータ） (2022-07-07T03:23:04Z)
• Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
  Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。 我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
  論文  参考訳（メタデータ） (2021-12-18T02:26:38Z)
• Auto-Split: A General Framework of Collaborative Edge-Cloud AI [49.750972428032355]
  本稿では,Huawei Cloudのエッジクラウド共同プロトタイプであるAuto-Splitの技法と技術実践について述べる。 私たちの知る限りでは、Deep Neural Network(DNN)分割機能を提供する既存の産業製品はありません。
  論文  参考訳（メタデータ） (2021-08-30T08:03:29Z)
• Device-Cloud Collaborative Learning for Recommendation [50.01289274123047]
  集中型クラウドモデルにより「数千人のモデルを持つ何千人もの人」を効率的に実現する新しいMetaPatch学習手法をデバイス側で提案します。 数十億の更新されたパーソナライズされたデバイスモデルにより、集中型クラウドモデルを更新する"モデルオーバーモデル"蒸留アルゴリズム、すなわちMoMoDistillを提案する。
  論文  参考訳（メタデータ） (2021-04-14T05:06:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。