論文の概要: ECAvg: An Edge-Cloud Collaborative Learning Approach using Averaged Weights

• arxiv url: http://arxiv.org/abs/2310.03823v1
• Date: Thu, 5 Oct 2023 18:17:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 18:58:35.877475
• Title: ECAvg: An Edge-Cloud Collaborative Learning Approach using Averaged Weights
• Title（参考訳）: ECAvg: 平均ウェイトを用いたエッジクラウド協調学習アプローチ
• Authors: Atah Nuh Mih, Hung Cao, Asfia Kawnine, Monica Wachowicz
• Abstract要約: リソース制約のあるエッジデバイスは、計算集約的なタスクをサーバにオフロードすることで、サーバが提供する豊富なコンピューティングパワーの恩恵を受けることができる。 一方、エッジデバイスは、データソースに近づき、より計算集約的なタスクをデータ上で実行することができる。 エッジデバイスがそれぞれのデータセット上のローカルモデルを事前訓練し、細調整のためにモデルをサーバに転送する、ECAvgと呼ばれるコラボレーティブなエッジクラウドパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 1.338174941551702
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The use of edge devices together with cloud provides a collaborative relationship between both classes of devices where one complements the shortcomings of the other. Resource-constraint edge devices can benefit from the abundant computing power provided by servers by offloading computationally intensive tasks to the server. Meanwhile, edge devices can leverage their close proximity to the data source to perform less computationally intensive tasks on the data. In this paper, we propose a collaborative edge-cloud paradigm called ECAvg in which edge devices pre-train local models on their respective datasets and transfer the models to the server for fine-tuning. The server averages the pre-trained weights into a global model, which is fine-tuned on the combined data from the various edge devices. The local (edge) models are then updated with the weights of the global (server) model. We implement a CIFAR-10 classification task using MobileNetV2, a CIFAR-100 classification task using ResNet50, and an MNIST classification using a neural network with a single hidden layer. We observed performance improvement in the CIFAR-10 and CIFAR-100 classification tasks using our approach, where performance improved on the server model with averaged weights and the edge models had a better performance after model update. On the MNIST classification, averaging weights resulted in a drop in performance on both the server and edge models due to negative transfer learning. From the experiment results, we conclude that our approach is successful when implemented on deep neural networks such as MobileNetV2 and ResNet50 instead of simple neural networks.
• Abstract（参考訳）: エッジデバイスをクラウドと併用することで、両クラスのデバイス間での協調的な関係が、他方の欠点を補完する。 リソースに制約のあるエッジデバイスは、計算集約的なタスクをサーバにオフロードすることで、サーバが提供する豊富なコンピューティングパワーを享受することができる。 一方、エッジデバイスはデータソースに近接してデータに対する計算集約性の低いタスクを実行することができる。 本稿では,エッジデバイスがそれぞれのデータセット上でローカルモデルを事前訓練し,それをサーバに転送して微調整を行う,ECAvgと呼ばれる協調エッジクラウドパラダイムを提案する。 サーバは、トレーニング済みの重みをグローバルモデルに平均化し、様々なエッジデバイスの組み合わせデータに基づいて微調整する。 ローカル(エッジ)モデルは、グローバル(サーバ)モデルの重みで更新される。 我々は,MobileNetV2 を用いた CIFAR-10 分類タスク,ResNet50 を用いた CIFAR-100 分類タスク,ニューラルネットワークによる MNIST 分類を実装した。 我々は,CIFAR-10とCIFAR-100の分類タスクにおいて,平均重み付きサーバモデルの性能向上と,モデル更新後のエッジモデルの性能向上を観察した。 MNIST分類では、平均重み付けにより、負の転送学習によるサーバモデルとエッジモデルの両方のパフォーマンスが低下した。 実験結果から,単純なニューラルネットワークではなく,MobileNetV2やResNet50のようなディープニューラルネットワークに実装した場合に,我々のアプローチが成功すると結論した。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Toward efficient resource utilization at edge nodes in federated learning [0.6990493129893112]
  フェデレートされた学習により、エッジノードは、データを共有することなく、グローバルモデルの構築に協力的に貢献することができる。 計算リソースの制約とネットワーク通信は、ディープラーニングアプリケーションに典型的なより大きなモデルサイズにとって、深刻なボトルネックになる可能性がある。 デバイス上での資源利用を減らすため,転送学習にインスパイアされたFL戦略を提案し,評価する。
  論文  参考訳（メタデータ） (2023-09-19T07:04:50Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
  入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。 パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2022-06-21T17:59:56Z)
• Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized Floating Aggregation Point [51.47520726446029]
  協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。 CE-FLの過程をモデル化し,分析訓練を行った。 実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-03-26T00:41:57Z)
• EffCNet: An Efficient CondenseNet for Image Classification on NXP BlueBox [0.0]
  エッジデバイスは、安価なハードウェアと限られた冷却と計算資源のために、限られた処理能力を提供する。 我々はエッジデバイスのためのEffCNetと呼ばれる新しいディープ畳み込みニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-11-28T21:32:31Z)
• ESAI: Efficient Split Artificial Intelligence via Early Exiting Using Neural Architecture Search [6.316693022958222]
  ディープニューラルネットワークは、多くのコンピュータビジョン関連タスクにおいて、従来の機械学習アルゴリズムよりも優れています。 大部分のデバイスは、優れたディープラーニングモデルがサーバー上のデータを解析する責任を負う、クラウドコンピューティングの方法論を活用しています。 本稿では、クラウドとオンデバイスモデルの両方を活用可能な、IoTデバイスにデプロイするための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T04:47:53Z)
• Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers [54.47911829539919]
  我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。 本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。 提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
  論文  参考訳（メタデータ） (2021-02-09T08:19:49Z)
• An On-Device Federated Learning Approach for Cooperative Model Update between Edge Devices [2.99321624683618]
  エッジデバイスが実行時に入力データをトレーニングしてモデルを更新するように、オンデバイス学習に基づくニューラルネットワークアプローチが最近提案されている。 本稿では,OS-ELMに着目して,最近のサンプルに基づいてモデルを逐次訓練し,異常検出のためのオートエンコーダと組み合わせる。 デバイス上でのフェデレーション学習のために拡張し、エッジデバイスがトレーニングされた結果を交換し、他のエッジデバイスから収集したデータを使用してモデルを更新できるようにします。
  論文  参考訳（メタデータ） (2020-02-27T18:15:38Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。