論文の概要: DISCO: Distributed Inference with Sparse Communications

• arxiv url: http://arxiv.org/abs/2302.11180v1
• Date: Wed, 22 Feb 2023 07:20:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-23 16:08:38.801260
• Title: DISCO: Distributed Inference with Sparse Communications
• Title（参考訳）: DISCO: スパース通信による分散推論
• Authors: Minghai Qin, Chao Sun, Jaco Hofmann, Dejan Vucinic
• Abstract要約: 分散コンピューティングは、単一ノードのメモリ消費を減らすための一般的なアプローチである。 本稿では,各レイヤの推論を複数のノードに分散する「階層モデル並列化」について検討する。 画像分類,オブジェクト検出,セマンティックセグメンテーション,画像スーパーレゾリューションなど,様々なCVタスクに対するdisCOフレームワークの利点を示す。
• 参考スコア（独自算出の注目度）: 4.463769269318892
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) have great potential to solve many real-world problems, but they usually require an extensive amount of computation and memory. It is of great difficulty to deploy a large DNN model to a single resource-limited device with small memory capacity. Distributed computing is a common approach to reduce single-node memory consumption and to accelerate the inference of DNN models. In this paper, we explore the "within-layer model parallelism", which distributes the inference of each layer into multiple nodes. In this way, the memory requirement can be distributed to many nodes, making it possible to use several edge devices to infer a large DNN model. Due to the dependency within each layer, data communications between nodes during this parallel inference can be a bottleneck when the communication bandwidth is limited. We propose a framework to train DNN models for Distributed Inference with Sparse Communications (DISCO). We convert the problem of selecting which subset of data to transmit between nodes into a model optimization problem, and derive models with both computation and communication reduction when each layer is inferred on multiple nodes. We show the benefit of the DISCO framework on a variety of CV tasks such as image classification, object detection, semantic segmentation, and image super resolution. The corresponding models include important DNN building blocks such as convolutions and transformers. For example, each layer of a ResNet-50 model can be distributively inferred across two nodes with five times less data communications, almost half overall computations and half memory requirement for a single node, and achieve comparable accuracy to the original ResNet-50 model. This also results in 4.7 times overall inference speedup.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は多くの現実世界の問題を解決する大きな可能性を持っているが、通常は大量の計算とメモリを必要とする。 メモリ容量の少ない単一のリソース制限デバイスに大規模なDNNモデルをデプロイすることは、非常に困難である。 分散コンピューティングは、単一ノードのメモリ消費を減らし、DNNモデルの推論を高速化するための一般的なアプローチである。 本稿では,各レイヤの推論を複数のノードに分散する「階層モデル並列化」について検討する。 このように、メモリ要求は多くのノードに分散することができ、複数のエッジデバイスを使用して大きなDNNモデルを推論することができる。 各層内の依存性のため、この並列推論の間のノード間のデータ通信は、通信帯域幅が制限された場合にボトルネックとなる可能性がある。 本稿では,分散推論のための DNN モデルをスパース通信 (DISCO) で学習するためのフレームワークを提案する。 ノード間で送信するデータのサブセットを選択する問題をモデル最適化問題に変換し、各レイヤが複数のノード上で推論された場合に、計算と通信の削減の両方を伴うモデルを導出する。 本稿では,画像分類,物体検出,意味セグメンテーション,画像超解像など,cvタスクにおけるdiscoフレームワークの利点を示す。 対応するモデルには、畳み込みやトランスフォーマーといった重要なDNNビルディングブロックが含まれる。 例えば、resnet-50モデルの各レイヤは、データ通信の5倍少ない2つのノードに分散的に推論され、ほぼ半分の計算と1つのノードに半分のメモリが必要となり、元のresnet-50モデルと同等の精度が得られる。 これにより、全体の推論速度が4.7倍になる。

関連論文リスト

• Tiled Bit Networks: Sub-Bit Neural Network Compression Through Reuse of Learnable Binary Vectors [4.95475852994362]
  本稿では,バイナリ重み付きニューラルネットワークのサブビット圧縮を実現するために,ビット列を持つタイル型ニューラルネットワーク層に対する新しい量子化方式を提案する。 私たちは完全に接続された層と畳み込み層の両方にアプローチを採用しています。
  論文  参考訳（メタデータ） (2024-07-16T15:55:38Z)
• DEFER: Distributed Edge Inference for Deep Neural Networks [5.672898304129217]
  分散エッジ推論のためのフレームワークであるDEFERを提案する。 ディープニューラルネットワークを複数の計算ノードに分散可能なレイヤに分割する。 ResNet50モデルでは、8ノードのDEFERの推論スループットは53%高く、ノード当たりのエネルギー消費量は1デバイス当たりの推測よりも63%低いことがわかった。
  論文  参考訳（メタデータ） (2022-01-18T06:50:45Z)
• JMSNAS: Joint Model Split and Neural Architecture Search for Learning over Mobile Edge Networks [23.230079759174902]
  モバイルエッジネットワーク上でのDNNモデルの自動生成とデプロイのために,ジョイントモデル分割とニューラルアーキテクチャサーチ(JMSNAS)フレームワークを提案する。 計算資源制約と通信資源制約の両方を考慮すると、計算グラフ探索問題を定式化する。 実験により,最先端の分割機械学習設計手法よりも提案手法が優れていることを確認した。
  論文  参考訳（メタデータ） (2021-11-16T03:10:23Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)
• Position-based Hash Embeddings For Scaling Graph Neural Networks [8.87527266373087]
  グラフニューラルネットワーク(GNN)は、ノードのエゴネットワークのトポロジとエゴネットワークのノードの特徴を考慮したノード表現を演算する。 ノードが高品質な機能を持っていない場合、GNNはノードの埋め込みを計算するために埋め込み層を学び、それらを入力機能として使用する。 この埋め込みレイヤに関連するメモリを削減するため、NLPやレコメンダシステムのようなアプリケーションで一般的に使用されるハッシュベースのアプローチが利用可能である。 本稿では,グラフ内のノードの位置を利用して,必要なメモリを大幅に削減する手法を提案する。
  論文  参考訳（メタデータ） (2021-08-31T22:42:25Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Towards Lossless Binary Convolutional Neural Networks Using Piecewise Approximation [4.023728681102073]
  CNNは算術演算の数とメモリストレージのサイズを大幅に減らすことができる。 しかし、単一のバイナリCNNと複数のバイナリCNNの精度劣化は、現代のアーキテクチャでは受け入れられない。 完全精度の重みとアクティベーションを近似することにより、精度の低下を低減できる複数のバイナリCNNに対するPiecewise Approximationスキームを提案する。
  論文  参考訳（メタデータ） (2020-08-08T13:32:33Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)
• Towards Deeper Graph Neural Networks with Differentiable Group Normalization [61.20639338417576]
  グラフニューラルネットワーク(GNN)は、隣接するノードを集約することでノードの表現を学習する。 オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスが制限される重要な問題のひとつです。 2つのオーバースムースなメトリクスと新しいテクニック、すなわち微分可能群正規化(DGN)を導入する。
  論文  参考訳（メタデータ） (2020-06-12T07:18:02Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。