論文の概要: Deep Learning Architecture for Network-Efficiency at the Edge
- arxiv url: http://arxiv.org/abs/2311.05739v3
- Date: Mon, 15 Jan 2024 22:29:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 00:45:45.645082
- Title: Deep Learning Architecture for Network-Efficiency at the Edge
- Title（参考訳）: エッジにおけるネットワーク効率のためのディープラーニングアーキテクチャ
- Authors: Akrit Mudvari, Antero Vainio, Iason Ofeidis, Sasu Tarkoma, Leandros
Tassiulas
- Abstract要約: 本研究では,適応型圧縮認識型分割学習法を開発し,深層学習モデルの改良と訓練を行う。
分割学習手法と比較してネットワーク利用率を4倍に削減できることを示す。
また,「プルー」法は,精度に影響を与えることなく,特定のモデルのトレーニング時間を最大6倍に短縮できることを示す。
- 参考スコア（独自算出の注目度）: 8.863196307297692
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The growing number of AI-driven applications in the mobile devices has led to
solutions that integrate deep learning models with the available edge-cloud
resources; due to multiple benefits such as reduction in on-device energy
consumption, improved latency, improved network usage, and certain privacy
improvements, split learning, where deep learning models are split away from
the mobile device and computed in a distributed manner, has become an
extensively explored topic. Combined with compression-aware methods where
learning adapts to compression of communicated data, the benefits of this
approach have further improved and could serve as an alternative to established
approaches like federated learning methods. In this work, we develop an
adaptive compression-aware split learning method ('deprune') to improve and
train deep learning models so that they are much more network-efficient (use
less network resources and are faster), which would make them ideal to deploy
in weaker devices with the help of edge-cloud resources. This method is also
extended ('prune') to very quickly train deep learning models, through a
transfer learning approach, that trades off little accuracy for much more
network-efficient inference abilities. We show that the 'deprune' method can
reduce network usage by 4x when compared with a split-learning approach (that
does not use our method) without loss of accuracy, while also improving
accuracy over compression-aware split-learning by 4 percent. Lastly, we show
that the 'prune' method can reduce the training time for certain models by up
to 6x without affecting the accuracy when compared against a compression-aware
split-learning approach.
- Abstract（参考訳）: モバイルデバイスでのai駆動アプリケーションの増加は、ディープラーニングモデルを利用可能なエッジクラウドリソースと統合するソリューションにつながった。デバイス上のエネルギー消費量の削減、レイテンシの改善、ネットワーク使用の改善、プライバシの改善など、複数のメリットがあるため、ディープラーニングモデルをモバイルデバイスから分割して分散計算する、スプリットラーニングが広く検討されている。
学習が通信データの圧縮に適応する圧縮認識手法と組み合わせることで、このアプローチの利点はさらに改善され、フェデレーション学習法のような確立されたアプローチの代替となる可能性がある。
本研究では,ネットワーク効率(ネットワークリソースの削減と高速化)が向上し,エッジクラウドリソースの活用により,より弱いデバイスへのデプロイが理想的になるように,ディープラーニングモデルの改善とトレーニングを行うための適応型圧縮認識分割学習手法(deprune)を開発した。
この手法は('prune')、トランスファー学習アプローチを通じて、よりネットワーク効率のよい推論能力とはほとんど精度を切り替えることなく、非常に迅速にディープラーニングモデルをトレーニングするためにも拡張されます。
提案手法は, 精度を損なうことなく, 分割学習手法と比較してネットワーク使用率を4倍に削減できると同時に, 圧縮認識分割学習よりも精度を4%向上できることを示す。
最後に,'prune'法は,圧縮認識による分割学習手法と比較して,精度に影響を与えずに,特定のモデルのトレーニング時間を最大6倍削減できることを示す。
関連論文リスト
- Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning [88.78080749909665]
現在のオンデバイストレーニング手法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点をあてている。
本稿では,単純だが効果的なエッジフレンドリーなインクリメンタル学習フレームワークを提案する。
本手法は,メモリの削減と近似計算により,平均精度38.08%の高速化を実現する。
論文 参考訳（メタデータ） (2024-06-13T05:49:29Z) - Efficient and Effective Augmentation Strategy for Adversarial Training [48.735220353660324]
ディープニューラルネットワークの敵対的トレーニングは、標準トレーニングよりもはるかにデータ処理が難しいことが知られている。
本稿では,DAJAT(Diverse Augmentation-based Joint Adversarial Training)を提案する。
論文 参考訳（メタデータ） (2022-10-27T10:59:55Z) - ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。
ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。
以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
論文 参考訳（メタデータ） (2021-10-11T14:45:00Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳（メタデータ） (2021-10-08T17:03:34Z) - Efficient and Private Federated Learning with Partially Trainable
Networks [8.813191488656527]
我々は、トレーニングプロセス全体において、モデルパラメータの一部を凍結する部分トレーニング可能なニューラルネットワークを活用することを提案する。
FedPT(Partially Trainable Neural Network)のフェデレート学習が,通信精度のトレードオフに優れた結果をもたらすことを実証的に示す。
このアプローチでは、より高速なトレーニング、メモリフットプリントの削減、強力な差分プライバシー保証のためのユーティリティも実現しています。
論文 参考訳（メタデータ） (2021-10-06T04:28:33Z) - Toward Communication Efficient Adaptive Gradient Method [29.02154169980269]
近年、分散最適化は、ディープニューラルネットワークのような大規模機械学習モデルのトレーニングを加速するための効果的なアプローチであることが証明されている。
モバイルデバイス上で機械学習モデルをトレーニングする上で,フェデレートラーニングと呼ばれる新たな分散トレーニングパラダイムが人気を博している。
本稿では,連合学習における収束とコミュニケーション効率の両立を保証できる適応的勾配法を提案する。
論文 参考訳（メタデータ） (2021-09-10T21:14:36Z) - Dynamic Sparse Training for Deep Reinforcement Learning [36.66889208433228]
我々は,ニューラルネットワークをスクラッチから切り離した深層強化学習エージェントを動的に訓練する試みを初めて提案する。
私たちのアプローチは、既存の深層強化学習アルゴリズムに簡単に統合できます。
我々は,オープンAI体育連続制御タスクに対するアプローチを評価した。
論文 参考訳（メタデータ） (2021-06-08T09:57:20Z) - Efficient Distributed Auto-Differentiation [22.192220404846267]
大規模ディープニューラルネットワーク(DNN)をトレーニングするための勾配ベースのアルゴリズムは通信量が多い。
グラデーションよりもコミュニケーションにやさしい分散型DNNをトレーニングするための驚くほど単純な統計を紹介します。
このプロセスは、バックプロパゲーション中のグラデーション平均の柔軟性を提供し、新しい柔軟なトレーニングスキーマを可能にします。
論文 参考訳（メタデータ） (2021-02-18T21:46:27Z) - Sparsity in Deep Learning: Pruning and growth for efficient inference
and training in neural networks [78.47459801017959]
Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。
ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
論文 参考訳（メタデータ） (2021-01-31T22:48:50Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳（メタデータ） (2020-08-04T09:14:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。