論文の概要: SC2: Supervised Compression for Split Computing
- arxiv url: http://arxiv.org/abs/2203.08875v1
- Date: Wed, 16 Mar 2022 18:43:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-18 14:10:38.038884
- Title: SC2: Supervised Compression for Split Computing
- Title（参考訳）: SC2: スプリットコンピューティングのための最適化圧縮
- Authors: Yoshitomo Matsubara, Ruihan Yang, Marco Levorato, Stephan Mandt
- Abstract要約: 分割コンピューティングは、モバイルデバイスと強力なエッジサーバ間でニューラルネットワークの実行を分散する。
ネットワークを分割する簡単な方法の1つは、完全なデータを圧縮して送信しながら、監督されたタスクをエッジサーバ上で純粋に実行することである。
本稿では,モバイル端末からエッジサーバへ効率よく送信する中間機能アクティベーションの離散化とエントロピー符号化のための新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 21.7175821221294
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Split computing distributes the execution of a neural network (e.g., for a
classification task) between a mobile device and a more powerful edge server. A
simple alternative to splitting the network is to carry out the supervised task
purely on the edge server while compressing and transmitting the full data, and
most approaches have barely outperformed this baseline. This paper proposes a
new approach for discretizing and entropy-coding intermediate feature
activations to efficiently transmit them from the mobile device to the edge
server. We show that a efficient splittable network architecture results from a
three-way tradeoff between (a) minimizing the computation on the mobile device,
(b) minimizing the size of the data to be transmitted, and (c) maximizing the
model's prediction performance. We propose an architecture based on this
tradeoff and train the splittable network and entropy model in a knowledge
distillation framework. In an extensive set of experiments involving three
vision tasks, three datasets, nine baselines, and more than 180 trained models,
we show that our approach improves supervised rate-distortion tradeoffs while
maintaining a considerably smaller encoder size. We also release sc2bench, an
installable Python package, to encourage and facilitate future studies on
supervised compression for split computing (SC2).
- Abstract（参考訳）: スプリットコンピューティングは、モバイルデバイスとより強力なエッジサーバの間でニューラルネットワーク(例えば分類タスク)の実行を分散する。
ネットワークを分割する簡単な代替手段は、完全なデータを圧縮して送信しながら、監督されたタスクをエッジサーバ上で純粋に実行することである。
本稿では,モバイル端末からエッジサーバへ効率よく送信する中間機能アクティベーションの離散化とエントロピー符号化のための新しい手法を提案する。
効率的な分割可能なネットワークアーキテクチャは、3方向のトレードオフの結果であることを示す。
(a)モバイルデバイス上の計算を最小化すること。
(b)送信するデータのサイズを最小化すること。
(c)モデルの予測性能を最大化する。
本稿では,このトレードオフに基づくアーキテクチャを提案し,知識蒸留フレームワークにおいて分割可能ネットワークとエントロピーモデルを訓練する。
3つのビジョンタスク、3つのデータセット、9つのベースライン、180以上のトレーニングモデルを含む広範な実験において、我々は、かなり小さなエンコーダサイズを維持しながら、教師付きレート歪みトレードオフを改善した。
また、インストール可能なPythonパッケージである sc2bench をリリースし、スプリットコンピューティング(SC2)のための教師付き圧縮に関する将来の研究を奨励し、促進します。
関連論文リスト
- Accelerating Communication in Deep Learning Recommendation Model Training with Dual-Level Adaptive Lossy Compression [10.233937665979694]
DLRMは最先端のレコメンデーションシステムモデルであり、様々な業界アプリケーションで広く採用されている。
このプロセスの重大なボトルネックは、すべてのデバイスから埋め込みデータを集めるのに必要な全通信に時間を要することだ。
本稿では,通信データサイズを削減し,DLRMトレーニングを高速化するために,エラーバウンドの損失圧縮を利用する手法を提案する。
論文 参考訳（メタデータ） (2024-07-05T05:55:18Z) - Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。
グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。
実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
論文 参考訳（メタデータ） (2024-01-15T15:54:54Z) - Dataset Quantization [72.61936019738076]
大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。
DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
論文 参考訳（メタデータ） (2023-08-21T07:24:29Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - Neural Architecture Search for Improving Latency-Accuracy Trade-off in
Split Computing [5.516431145236317]
スプリットコンピューティングは、IoTシステムにディープラーニングをデプロイする際のプライバシとレイテンシの問題に対処する、新たな機械学習推論技術である。
スプリットコンピューティングでは、ニューラルネットワークモデルは、エッジサーバとIoTデバイスをネットワークを介して分離し、協調的に処理される。
本稿ではスプリットコンピューティングのためのニューラルアーキテクチャサーチ(NAS)手法を提案する。
論文 参考訳（メタデータ） (2022-08-30T03:15:43Z) - Large-Margin Representation Learning for Texture Classification [67.94823375350433]
本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。
テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
論文 参考訳（メタデータ） (2022-06-17T04:07:45Z) - Feature Compression for Rate Constrained Object Detection on the Edge [20.18227104333772]
この問題を解決するための新たなアプローチは、ニューラルネットワークの計算をエッジサーバのコンピューティングリソースにオフロードすることだ。
本研究では、YOLOオブジェクト検出モデルの計算の一部をオフロードする「分割計算」システムについて検討する。
我々は、速度制約下でのオブジェクト検出精度を最適化するために、YOLOモデルとともに特徴圧縮および非圧縮モジュールを訓練する。
論文 参考訳（メタデータ） (2022-04-15T03:39:30Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - Supervised Compression for Resource-constrained Edge Computing Systems [26.676557573171618]
フルスケールのディープニューラルネットワークは、エネルギーとストレージの面でリソース集約的すぎることが多い。
本稿では、知識蒸留とニューラルイメージ圧縮のアイデアを採用し、中間特徴表現をより効率的に圧縮する。
教師付きレート歪み性能を向上するとともに、エンドツーエンドのレイテンシも小さくする。
論文 参考訳（メタデータ） (2021-08-21T11:10:29Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳（メタデータ） (2020-08-04T09:14:52Z) - Split Computing for Complex Object Detectors: Challenges and Preliminary
Results [8.291242737118482]
大規模データセット(COCO 2017)でトレーニングされた強力なR-CNNオブジェクト検出器のための分割計算手法開発における課題について論じる。
単純な分割計算法では推論時間を短縮できないことを示す。
これは、そのような物体検出器に小さなボトルネックを注入し、スプリットコンピューティングアプローチの可能性を明らかにする最初の研究である。
論文 参考訳（メタデータ） (2020-07-27T05:03:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。