論文の概要: Prune-Deprune: Adaptive Compression-Aware Split Learning and Inference
for Enhanced Network Efficiency
- arxiv url: http://arxiv.org/abs/2311.05739v2
- Date: Wed, 27 Dec 2023 17:25:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 21:45:08.535913
- Title: Prune-Deprune: Adaptive Compression-Aware Split Learning and Inference
for Enhanced Network Efficiency
- Title（参考訳）: Prune-Deprune:適応圧縮型スプリット学習とネットワーク効率向上のための推論
- Authors: Akrit Mudvari, Antero Vainio, Iason Ofeidis, Sasu Tarkoma, Leandros
Tassiulas
- Abstract要約: 本研究では,適応型圧縮対応分割学習法(deprune)を開発し,深層学習モデルの改良と訓練を行う。
分割学習手法と比較してネットワーク利用率を4倍に削減できることを示す。
また,「プルー」法は,精度に影響を与えることなく,特定のモデルのトレーニング時間を最大6倍に短縮できることを示す。
- 参考スコア（独自算出の注目度）: 8.863196307297692
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The growing number of AI-driven applications in mobile devices has led to
solutions that integrate deep learning models with the available edge-cloud
resources. Due to multiple benefits such as reduction in on-device energy
consumption, improved latency, improved network usage, and certain privacy
improvements, split learning, where deep learning models are split away from
the mobile device and computed in a distributed manner, has become an
extensively explored topic. Incorporating compression-aware methods (where
learning adapts to compression level of the communicated data) has made split
learning even more advantageous. This method could even offer a viable
alternative to traditional methods, such as federated learning techniques. In
this work, we develop an adaptive compression-aware split learning method
('deprune') to improve and train deep learning models so that they are much
more network-efficient, which would make them ideal to deploy in weaker devices
with the help of edge-cloud resources. This method is also extended ('prune')
to very quickly train deep learning models through a transfer learning
approach, which trades off little accuracy for much more network-efficient
inference abilities. We show that the 'deprune' method can reduce network usage
by 4x when compared with a split-learning approach (that does not use our
method) without loss of accuracy, while also improving accuracy over
compression-aware split-learning by 4 percent. Lastly, we show that the 'prune'
method can reduce the training time for certain models by up to 6x without
affecting the accuracy when compared against a compression-aware split-learning
approach.
- Abstract（参考訳）: モバイルデバイスにおけるAI駆動アプリケーションの増加により、ディープラーニングモデルと利用可能なエッジクラウドリソースを統合するソリューションが生まれました。
デバイス上のエネルギー消費量の削減、レイテンシの改善、ネットワーク利用の改善、プライバシの改善など、複数のメリットがあるため、ディープラーニングモデルをモバイルデバイスから分割して分散的に計算する、分割学習は、広く検討されているトピックとなっている。
圧縮認識手法(学習が通信データの圧縮レベルに適応する)の導入により、スプリット学習はさらに有利になった。
この手法は、フェデレーション学習のような従来の方法の代替手段を提供することもできる。
本研究では,よりネットワーク効率のよい深層学習モデルを改良し,訓練するための適応型圧縮対応分割学習法('deprune')を開発し,エッジクラウドリソースの助けを借りて,より弱いデバイスに展開することが理想である。
この方法は、転送学習アプローチによって、よりネットワーク効率のよい推論能力のために、ほとんど精度を落とさずに、非常に迅速にディープラーニングモデルを訓練するために拡張('prune')される。
提案手法は, 精度を損なうことなく, 分割学習手法と比較してネットワーク使用率を4倍に削減できると同時に, 圧縮認識分割学習よりも精度を4%向上できることを示す。
最後に,'prune'法は,圧縮認識による分割学習手法と比較して,精度に影響を与えずに,特定のモデルのトレーニング時間を最大6倍削減できることを示す。
関連論文リスト
- Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning [88.78080749909665]
現在のオンデバイストレーニング手法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点をあてている。
本稿では,単純だが効果的なエッジフレンドリーなインクリメンタル学習フレームワークを提案する。
本手法は,メモリの削減と近似計算により,平均精度38.08%の高速化を実現する。
論文 参考訳（メタデータ） (2024-06-13T05:49:29Z) - Efficient and Effective Augmentation Strategy for Adversarial Training [48.735220353660324]
ディープニューラルネットワークの敵対的トレーニングは、標準トレーニングよりもはるかにデータ処理が難しいことが知られている。
本稿では,DAJAT(Diverse Augmentation-based Joint Adversarial Training)を提案する。
論文 参考訳（メタデータ） (2022-10-27T10:59:55Z) - ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。
ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。
以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
論文 参考訳（メタデータ） (2021-10-11T14:45:00Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳（メタデータ） (2021-10-08T17:03:34Z) - Efficient and Private Federated Learning with Partially Trainable
Networks [8.813191488656527]
我々は、トレーニングプロセス全体において、モデルパラメータの一部を凍結する部分トレーニング可能なニューラルネットワークを活用することを提案する。
FedPT(Partially Trainable Neural Network)のフェデレート学習が,通信精度のトレードオフに優れた結果をもたらすことを実証的に示す。
このアプローチでは、より高速なトレーニング、メモリフットプリントの削減、強力な差分プライバシー保証のためのユーティリティも実現しています。
論文 参考訳（メタデータ） (2021-10-06T04:28:33Z) - Toward Communication Efficient Adaptive Gradient Method [29.02154169980269]
近年、分散最適化は、ディープニューラルネットワークのような大規模機械学習モデルのトレーニングを加速するための効果的なアプローチであることが証明されている。
モバイルデバイス上で機械学習モデルをトレーニングする上で,フェデレートラーニングと呼ばれる新たな分散トレーニングパラダイムが人気を博している。
本稿では,連合学習における収束とコミュニケーション効率の両立を保証できる適応的勾配法を提案する。
論文 参考訳（メタデータ） (2021-09-10T21:14:36Z) - Dynamic Sparse Training for Deep Reinforcement Learning [36.66889208433228]
我々は,ニューラルネットワークをスクラッチから切り離した深層強化学習エージェントを動的に訓練する試みを初めて提案する。
私たちのアプローチは、既存の深層強化学習アルゴリズムに簡単に統合できます。
我々は,オープンAI体育連続制御タスクに対するアプローチを評価した。
論文 参考訳（メタデータ） (2021-06-08T09:57:20Z) - Efficient Distributed Auto-Differentiation [22.192220404846267]
大規模ディープニューラルネットワーク(DNN)をトレーニングするための勾配ベースのアルゴリズムは通信量が多い。
グラデーションよりもコミュニケーションにやさしい分散型DNNをトレーニングするための驚くほど単純な統計を紹介します。
このプロセスは、バックプロパゲーション中のグラデーション平均の柔軟性を提供し、新しい柔軟なトレーニングスキーマを可能にします。
論文 参考訳（メタデータ） (2021-02-18T21:46:27Z) - Sparsity in Deep Learning: Pruning and growth for efficient inference
and training in neural networks [78.47459801017959]
Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。
ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
論文 参考訳（メタデータ） (2021-01-31T22:48:50Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳（メタデータ） (2020-08-04T09:14:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。