論文の概要: Group Knowledge Transfer: Federated Learning of Large CNNs at the Edge
- arxiv url: http://arxiv.org/abs/2007.14513v4
- Date: Thu, 5 Nov 2020 07:24:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-06 01:54:47.220091
- Title: Group Knowledge Transfer: Federated Learning of Large CNNs at the Edge
- Title（参考訳）: グループ知識伝達: エッジにおける大規模CNNのフェデレーション学習
- Authors: Chaoyang He, Murali Annavaram, Salman Avestimehr
- Abstract要約: 畳み込みニューラルネットワーク(CNN)サイズは、リソース制約されたエッジデバイスのトレーニングを妨げる。
我々は、FedGKTと呼ばれるグループ知識伝達訓練アルゴリズムとして、連邦学習(FL)を再構成する。
FedGKTは、エッジノード上で小さなCNNを訓練し、知識蒸留による知識を大規模なサーバサイドCNNに定期的に移行するための交互アプローチの変種を設計する。
- 参考スコア（独自算出の注目度）: 15.714385295889944
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scaling up the convolutional neural network (CNN) size (e.g., width, depth,
etc.) is known to effectively improve model accuracy. However, the large model
size impedes training on resource-constrained edge devices. For instance,
federated learning (FL) may place undue burden on the compute capability of
edge nodes, even though there is a strong practical need for FL due to its
privacy and confidentiality properties. To address the resource-constrained
reality of edge devices, we reformulate FL as a group knowledge transfer
training algorithm, called FedGKT. FedGKT designs a variant of the alternating
minimization approach to train small CNNs on edge nodes and periodically
transfer their knowledge by knowledge distillation to a large server-side CNN.
FedGKT consolidates several advantages into a single framework: reduced demand
for edge computation, lower communication bandwidth for large CNNs, and
asynchronous training, all while maintaining model accuracy comparable to
FedAvg. We train CNNs designed based on ResNet-56 and ResNet-110 using three
distinct datasets (CIFAR-10, CIFAR-100, and CINIC-10) and their non-I.I.D.
variants. Our results show that FedGKT can obtain comparable or even slightly
higher accuracy than FedAvg. More importantly, FedGKT makes edge training
affordable. Compared to the edge training using FedAvg, FedGKT demands 9 to 17
times less computational power (FLOPs) on edge devices and requires 54 to 105
times fewer parameters in the edge CNN. Our source code is released at FedML
(https://fedml.ai).
- Abstract（参考訳）: 畳み込みニューラルネットワーク(cnn)のサイズ(幅、深さなど)のスケールアップは、モデルの精度を効果的に向上することが知られている。
しかし、大きなモデルサイズはリソース制約のあるエッジデバイスでのトレーニングを妨げる。
例えば、フェデレーション学習(fl)は、プライバシと機密性のためにflの実用的必要性が強いにもかかわらず、エッジノードの計算能力に過度な負担を課す可能性がある。
エッジデバイスの資源制約に対処するため,FedGKTと呼ばれるグループ知識伝達学習アルゴリズムとしてFLを再構成した。
FedGKTは、エッジノード上で小さなCNNを訓練し、知識蒸留による知識を大規模なサーバサイドCNNに定期的に伝達する、交代最小化アプローチの変種を設計する。
FedGKTは、エッジ計算の需要の削減、大規模なCNNの通信帯域の削減、非同期トレーニングなど、モデルの精度をFedAvgに匹敵するいくつかの利点を単一のフレームワークに統合する。
我々は、CIFAR-10、CIFAR-100、CINIC-10の3つの異なるデータセットと非I.I.D.の変種を用いて、ResNet-56とResNet-110に基づいて設計されたCNNを訓練する。
以上の結果から,FedGKTはFedAvgと同等あるいはわずかに高い精度が得られることがわかった。
さらに重要なのは、FedGKTがエッジトレーニングを安くすることだ。
FedAvgを使ったエッジトレーニングと比較して、FedGKTはエッジデバイスでは9～17倍の計算パワー(FLOP)を必要とし、エッジCNNでは54～105倍のパラメータを必要とする。
ソースコードはFedML (https://fedml.ai)でリリースされています。
関連論文リスト
- OA-CNNs: Omni-Adaptive Sparse CNNs for 3D Semantic Segmentation [70.17681136234202]
設計上の違いを再検討し、スパースCNNが達成できることの限界をテストする。
本稿では,このギャップを埋めるために,適応受容場(親和性)と適応関係という2つの重要な要素を提案する。
この調査により、軽量モジュールを統合するネットワークのファミリーであるOmni-Adaptive 3D CNN(OA-CNN)が開発された。
論文 参考訳（メタデータ） (2024-03-21T14:06:38Z) - Federated Hyperdimensional Computing [14.844383542052169]
フェデレートラーニング(FL)は、参加するクライアントの緩やかなセットが、中央サーバによる調整を通じて、グローバルモデルを協調的に学習することを可能にする。
既存のFLアプローチは、ディープニューラルネットワーク(DNN)のような巨大なモデルを持つ複雑なアルゴリズムに依存している。
我々はまず,超次元コンピューティング(HDC)に基づくフェデレーション学習フレームワークであるFedHDCを提案する。
論文 参考訳（メタデータ） (2023-12-26T09:24:19Z) - Robust Mixture-of-Expert Training for Convolutional Neural Networks [141.3531209949845]
スパースゲート型Mixture of Expert (MoE) は高精度で超効率的なモデル推論を実現するための大きな可能性を実証している。
本稿では、AdvMoEと呼ばれるMoEのための新しいルータ-エキスパート交互学習フレームワークを提案する。
その結果,AdvMoEは従来の高密度CNNに比べて1%の対向ロバスト性向上を実現し,親和性に富むMoEの有効性を享受できることがわかった。
論文 参考訳（メタデータ） (2023-08-19T20:58:21Z) - An Efficient Evolutionary Deep Learning Framework Based on Multi-source
Transfer Learning to Evolve Deep Convolutional Neural Networks [8.40112153818812]
畳み込みニューラルネットワーク(CNN)は、より複雑なトポロジを導入し、より深くより広いCNNへのキャパシティを拡大することで、長年にわたって、より優れたパフォーマンスを実現してきた。
計算コストは依然としてCNNを自動設計するボトルネックである。
本稿では, CNNを効率的に進化させるために, トランスファーラーニングにヒントを得て, 新たな進化的計算ベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2022-12-07T20:22:58Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳（メタデータ） (2022-10-10T10:05:00Z) - Towards Enabling Dynamic Convolution Neural Network Inference for Edge
Intelligence [0.0]
エッジインテリジェンスの最近の進歩は、スループットを高め、レイテンシを低減するために、エッジネットワーク上のCNN推論を必要とする。
柔軟性を得るためには、さまざまなモバイルデバイスに対する動的パラメータ割り当ては、事前に定義されたか、オンザフライで定義されたCNNアーキテクチャを実装する必要がある。
本稿では,スケーラブルで動的に分散したCNN推論を高速に設計するためのライブラリベースのアプローチを提案する。
論文 参考訳（メタデータ） (2022-02-18T22:33:42Z) - Federated Dynamic Sparse Training: Computing Less, Communicating Less,
Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。
我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。
FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文 参考訳（メタデータ） (2021-12-18T02:26:38Z) - A Joint Energy and Latency Framework for Transfer Learning over 5G
Industrial Edge Networks [53.26338041079138]
5G産業エッジネットワークのための転送学習対応エッジCNNフレームワークを提案する。
特に、エッジサーバは、既存の画像データセットを使用してcnnを事前トレーニングすることができる。
TLの助けを借りて、トレーニングに参加していないデバイスは、訓練されたエッジCNNモデルをスクラッチからトレーニングせずに微調整するだけです。
論文 参考訳（メタデータ） (2021-04-19T15:13:16Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。