論文の概要: An Efficient Split Fine-tuning Framework for Edge and Cloud Collaborative Learning

• arxiv url: http://arxiv.org/abs/2211.16703v1
• Date: Wed, 30 Nov 2022 02:55:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 17:42:26.250890
• Title: An Efficient Split Fine-tuning Framework for Edge and Cloud Collaborative Learning
• Title（参考訳）: エッジとクラウド協調学習のための効率的な分割微調整フレームワーク
• Authors: Shaohuai Shi, Qing Yang, Yang Xiang, Shuhan Qi, Xuan Wang
• Abstract要約: エッジおよびクラウド協調学習のための効率的な分割微調整フレームワークを設計する。 ニューラルネットワークの中間出力を圧縮し、エッジデバイスとクラウドサーバ間の通信量を削減する。 我々のフレームワークは、モデルの精度にほとんど影響を与えずに、96倍の通信トラフィックを削減できる。
• 参考スコア（独自算出の注目度）: 20.118073642453034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To enable the pre-trained models to be fine-tuned with local data on edge devices without sharing data with the cloud, we design an efficient split fine-tuning (SFT) framework for edge and cloud collaborative learning. We propose three novel techniques in this framework. First, we propose a matrix decomposition-based method to compress the intermediate output of a neural network to reduce the communication volume between the edge device and the cloud server. Second, we eliminate particular links in the model without affecting the convergence performance in fine-tuning. Third, we implement our system atop PyTorch to allow users to easily extend their existing training scripts to enjoy the efficient edge and cloud collaborative learning. Experiments results on 9 NLP datasets show that our framework can reduce the communication traffic by 96 times with little impact on the model accuracy.
• Abstract（参考訳）: クラウドとデータを共有することなく、事前学習したモデルをエッジデバイス上のローカルデータで微調整できるように、エッジおよびクラウド協調学習のための効率的な分割微調整(SFT)フレームワークを設計する。 本稿では,3つの新しい手法を提案する。 まず,ニューラルネットワークの中間出力を圧縮し,エッジデバイスとクラウドサーバ間の通信量を削減するマトリックス分解に基づく手法を提案する。 第二に、微調整における収束性能に影響を与えることなく、モデル内の特定のリンクを除去する。 第3に,既存のトレーニングスクリプトを簡単に拡張して,効率的なエッジとクラウド協調学習を楽しめるように,PyTorch上にシステムを実装する。 9つのNLPデータセットによる実験結果から,我々のフレームワークは,モデル精度にほとんど影響を与えず,96倍の通信トラフィックを削減できることがわかった。

関連論文リスト

• P2P-Bridge: Diffusion Bridges for 3D Point Cloud Denoising [81.92854168911704]
  私たちは、Diffusion Schr"odingerブリッジをポイントクラウドに適応させる新しいフレームワークを通じて、ポイントクラウドを飾るタスクに取り組みます。 オブジェクトデータセットの実験では、P2P-Bridgeは既存のメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-08-29T08:00:07Z)
• ECLM: Efficient Edge-Cloud Collaborative Learning with Continuous Environment Adaptation [47.35179593006409]
  動的エッジ環境に対する高速モデル適応のためのエッジクラウド協調学習フレームワークECLMを提案する。 その結果,ECLM はモデルの性能(例えば 18.89% の精度向上)と資源効率(例えば 7.12 倍の通信コスト削減)を,動的エッジ環境への適応において著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-11-18T14:10:09Z)
• Shoggoth: Towards Efficient Edge-Cloud Collaborative Real-Time Video Inference via Adaptive Online Learning [33.16911236522438]
  Shoggothは、シーン変更のリアルタイムビデオにおける推論パフォーマンスを高めるための、効率的なエッジクラウドコラボレーションアーキテクチャである。 オンライン知識蒸留は、データドリフトに苦しむモデルの精度を改善し、ラベリングプロセスをクラウドにオフロードする。 エッジでは、限られた計算能力でモデルを適応させるために、小さなバッチを用いて適応的なトレーニングを設計する。
  論文  参考訳（メタデータ） (2023-06-27T09:39:42Z)
• Data Augmentation-free Unsupervised Learning for 3D Point Cloud Understanding [61.30276576646909]
  ソフトクラスタリング(SoftClu)と呼ばれる,移動可能な点レベルの特徴を学習するための,ポイントクラウドに対する拡張不要な教師なしアプローチを提案する。 我々は,クラスタに対するポイントのアフィリエイトをプロキシとして利用し,擬似ラベル予測タスクを通じて自己学習を可能にする。
  論文  参考訳（メタデータ） (2022-10-06T10:18:16Z)
• Receptive Field-based Segmentation for Distributed CNN Inference Acceleration in Collaborative Edge Computing [93.67044879636093]
  協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。 我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
  論文  参考訳（メタデータ） (2022-07-22T18:38:11Z)
• Semi-Decentralized Federated Edge Learning with Data and Device Heterogeneity [6.341508488542275]
  フェデレーションエッジ学習(FEEL)は、ディープラーニングモデルをトレーニングするために、ネットワークエッジに分散データを効果的に組み込むための、プライバシ保護パラダイムとして多くの注目を集めている。 本稿では,複数のエッジサーバを用いて多数のクライアントノードを協調的に調整する,半分散型フェデレーションエッジ学習(SD-FEEL)という,FEELの新しいフレームワークについて検討する。 効率的なモデル共有のためにエッジサーバ間の低レイテンシ通信を利用することで、SD-FEELは従来のフェデレート学習に比べてはるかにレイテンシの低い訓練データを取り込みながら、より多くのトレーニングデータを組み込むことができる。
  論文  参考訳（メタデータ） (2021-12-20T03:06:08Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)
• Complexity-aware Adaptive Training and Inference for Edge-Cloud Distributed AI Systems [9.273593723275544]
  IoTおよび機械学習アプリケーションは、リアルタイム処理を必要とする大量のデータを生成する。 我々は、エッジとクラウドの両方を利用してトレーニングと推論を行う分散AIシステムを提案する。
  論文  参考訳（メタデータ） (2021-09-14T05:03:54Z)
• Hierarchical Quantized Federated Learning: Convergence Analysis and System Design [7.481427303081613]
  フェデレーション学習は、クライアントのプライベートデータなしでディープニューラルネットワークをトレーニングするコラボレーティブマシンである。 以前の作業は、クラウドまたはエッジで1つの中央パラメータを仮定します。 本稿では,両クラウドサーバの利点を活用し,階層型量子化フェデレート学習システムについて考察する。
  論文  参考訳（メタデータ） (2021-03-26T05:48:36Z)
• Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
  機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。 本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
  論文  参考訳（メタデータ） (2020-03-10T05:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。