論文の概要: Scalable Smartphone Cluster for Deep Learning

• arxiv url: http://arxiv.org/abs/2110.12172v1
• Date: Sat, 23 Oct 2021 08:48:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 17:36:54.182851
• Title: Scalable Smartphone Cluster for Deep Learning
• Title（参考訳）: ディープラーニングのためのスケーラブルなスマートフォンクラスタ
• Authors: Byunggook Na, Jaehee Jang, Seongsik Park, Seijoon Kim, Joonoo Kim, Moon Sik Jeong, Kwang Choon Kim, Seon Heo, Yoonsang Kim, Sungroh Yoon
• Abstract要約: ディープニューラルネットワーク(DNN)のトレーニングには、単一のスマートフォンで実行するには計算負荷が大きすぎる。 携帯クラスタはスマートフォンと無線ネットワークを接続し、それを用いた並列計算をサポートする。 ポータビリティを取り除き,計算効率を向上させることによって,ディープラーニングのトレーニングを可能にするスケーラブルなスマートフォンクラスタを提案する。
• 参考スコア（独自算出の注目度）: 17.979269630872608
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Various deep learning applications on smartphones have been rapidly rising, but training deep neural networks (DNNs) has too large computational burden to be executed on a single smartphone. A portable cluster, which connects smartphones with a wireless network and supports parallel computation using them, can be a potential approach to resolve the issue. However, by our findings, the limitations of wireless communication restrict the cluster size to up to 30 smartphones. Such small-scale clusters have insufficient computational power to train DNNs from scratch. In this paper, we propose a scalable smartphone cluster enabling deep learning training by removing the portability to increase its computational efficiency. The cluster connects 138 Galaxy S10+ devices with a wired network using Ethernet. We implemented large-batch synchronous training of DNNs based on Caffe, a deep learning library. The smartphone cluster yielded 90% of the speed of a P100 when training ResNet-50, and approximately 43x speed-up of a V100 when training MobileNet-v1.
• Abstract（参考訳）: スマートフォン上のさまざまなディープラーニングアプリケーションは急速に増加しているが、ディープニューラルネットワーク(dnn)のトレーニングには、単一のスマートフォンで実行するには計算負荷が大きすぎる。 スマートフォンと無線ネットワークを接続し、それを用いた並列計算をサポートするポータブルクラスタは、この問題を解決するための潜在的アプローチである。 しかし, 無線通信の制限により, 最大30台までのクラスタサイズが制限された。 このような小規模クラスタはdnnをスクラッチからトレーニングする計算能力に不足している。 本稿では,ポータビリティをなくして計算効率を向上させることで,ディープラーニングトレーニングを可能にするスケーラブルなスマートフォンクラスタを提案する。 クラスタは138のgalaxy s10+デバイスをイーサネットを使った有線ネットワークに接続する。 我々は,ディープラーニングライブラリCaffeに基づくDNNの大規模バッチ同期訓練を実装した。 スマートフォンクラスタは、ResNet-50のトレーニング時にP100の90%、MobileNet-v1のトレーニング時にV100の約43倍のスピードアップを達成した。

関連論文リスト

• Distributed Convolutional Neural Network Training on Mobile and Edge Clusters [0.9421843976231371]
  機械学習タスクをエッジに完全にローカライズするための最近の取り組みが登場した。 これにより、レイテンシの低減とプライバシの向上にメリットがあるが、リソース制約のあるデバイスで作業する必要がある。 本稿では,モバイルデバイスとエッジデバイスのみを対象とした分散CNNトレーニングのアプローチについて述べる。
  論文  参考訳（メタデータ） (2024-09-11T02:44:28Z)
• MatchNAS: Optimizing Edge AI in Sparse-Label Data Contexts via Automating Deep Neural Network Porting for Mobile Deployment [54.77943671991863]
  MatchNASはDeep Neural Networksをモバイルデバイスに移植するための新しいスキームである。 ラベル付きデータと非ラベル付きデータの両方を用いて、大規模なネットワークファミリを最適化する。 そして、さまざまなハードウェアプラットフォーム用に調整されたネットワークを自動的に検索する。
  論文  参考訳（メタデータ） (2024-02-21T04:43:12Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Swan: A Neural Engine for Efficient DNN Training on Smartphone SoCs [3.050083027493915]
  ユーザエクスペリエンスを損なうことなく、スマートフォンのSOC上でのDNNトレーニングを最適化するニューラルエンジンであるSwanを紹介する。 スワンは最先端よりも1.2から23.3倍の性能を向上させることができる。
  論文  参考訳（メタデータ） (2022-06-09T05:23:07Z)
• Collaborative Learning over Wireless Networks: An Introductory Overview [84.09366153693361]
  主に、ワイヤレスデバイス間の協調トレーニングに焦点を合わせます。 過去数十年間、多くの分散最適化アルゴリズムが開発されてきた。 データ局所性 – すなわち、各参加デバイスで利用可能なデータがローカルのままである間、共同モデルを協調的にトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-12-07T20:15:39Z)
• Training Graph Neural Networks with 1000 Layers [133.84813995275988]
  我々は、GNNのメモリとパラメータ効率を向上させるために、可逆接続、グループ畳み込み、重み付け、平衡モデルについて検討する。 我々の知る限りでは、RevGNN-Deepは文学で最も深いGNNである。
  論文  参考訳（メタデータ） (2021-06-14T15:03:00Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• Towards Scalable Distributed Training of Deep Learning on Public Cloud Clusters [30.4449309904155]
  分散トレーニングのための新しいトップkスパシフィケーション通信ライブラリを提案する。 CNNやTransformerの既存の最先端システムよりも25%～40%高速であることを示す。
  論文  参考訳（メタデータ） (2020-10-20T17:16:29Z)
• Reducing Communication in Graph Neural Network Training [0.0]
  グラフニューラルネットワーク(GNN)は、データの自然な疎結合情報を使用する、強力で柔軟なニューラルネットワークである。 我々は,GNNを訓練するための並列アルゴリズムのファミリーを導入し,従来の並列GNN訓練手法と比較して通信を効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2020-05-07T07:45:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。