論文の概要: ECLM: Efficient Edge-Cloud Collaborative Learning with Continuous
Environment Adaptation
- arxiv url: http://arxiv.org/abs/2311.11083v1
- Date: Sat, 18 Nov 2023 14:10:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 12:31:55.841477
- Title: ECLM: Efficient Edge-Cloud Collaborative Learning with Continuous
Environment Adaptation
- Title(参考訳): ECLM: 継続的環境適応による効率的なエッジクラウド協調学習
- Authors: Yan Zhuang, Zhenzhe Zheng, Yunfeng Shao, Bingshuai Li, Fan Wu, Guihai
Chen
- Abstract要約: 動的エッジ環境に対する高速モデル適応のためのエッジクラウド協調学習フレームワークECLMを提案する。
その結果,ECLM はモデルの性能(例えば 18.89% の精度向上)と資源効率(例えば 7.12 倍の通信コスト削減)を,動的エッジ環境への適応において著しく向上させることを示した。
- 参考スコア(独自算出の注目度): 47.35179593006409
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pervasive mobile AI applications primarily employ one of the two learning
paradigms: cloud-based learning (with powerful large models) or on-device
learning (with lightweight small models). Despite their own advantages, neither
paradigm can effectively handle dynamic edge environments with frequent data
distribution shifts and on-device resource fluctuations, inevitably suffering
from performance degradation. In this paper, we propose ECLM, an edge-cloud
collaborative learning framework for rapid model adaptation for dynamic edge
environments. We first propose a novel block-level model decomposition design
to decompose the original large cloud model into multiple combinable modules.
By flexibly combining a subset of the modules, this design enables the
derivation of compact, task-specific sub-models for heterogeneous edge devices
from the large cloud model, and the seamless integration of new knowledge
learned on these devices into the cloud model periodically. As such, ECLM
ensures that the cloud model always provides up-to-date sub-models for edge
devices. We further propose an end-to-end learning framework that incorporates
the modular model design into an efficient model adaptation pipeline including
an offline on-cloud model prototyping and training stage, and an online
edge-cloud collaborative adaptation stage. Extensive experiments over various
datasets demonstrate that ECLM significantly improves model performance (e.g.,
18.89% accuracy increase) and resource efficiency (e.g., 7.12x communication
cost reduction) in adapting models to dynamic edge environments by efficiently
collaborating the edge and the cloud models.
- Abstract(参考訳): 広汎なモバイルAIアプリケーションは、主にクラウドベースの学習(強力な大規模モデルを持つ)とデバイス上での学習(軽量の小型モデルを持つ)の2つの学習パラダイムの1つである。
それぞれの利点にもかかわらず、どちらのパラダイムも、頻繁にデータ分散シフトやオンデバイスリソースの変動を伴う動的エッジ環境を効果的に扱うことができず、必然的にパフォーマンスの劣化に悩まされる。
本稿では,動的エッジ環境に対する迅速なモデル適応のためのエッジクラウド協調学習フレームワークeclmを提案する。
まず,オリジナルの大規模クラウドモデルを複数の可燃モジュールに分解する新しいブロックレベルのモデル分解設計を提案する。
モジュールのサブセットを柔軟に組み合わせることで、大きなクラウドモデルから異種エッジデバイスのためのコンパクトでタスク固有のサブモデルの導出と、これらのデバイスで学んだ新しい知識を定期的にクラウドモデルにシームレスに統合することができる。
そのため、ECLMはクラウドモデルが常にエッジデバイスに最新のサブモデルを提供することを保証する。
さらに、モジュールモデル設計をオフラインのオンクラウドモデルプロトタイピングおよびトレーニングステージを含む効率的なモデル適応パイプラインに組み込んだエンドツーエンド学習フレームワークと、オンラインエッジクラウド協調適応ステージを提案する。
様々なデータセットに対する大規模な実験により、ECLMはモデルの性能(例えば18.89%の精度向上)とリソース効率(例えば7.12倍の通信コスト削減)を、エッジとクラウドモデルを効率的に協調して動的エッジ環境に適応することを示した。
関連論文リスト
- Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via
Selective Entropy Distillation [60.17626806243389]
Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。
CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
論文 参考訳(メタデータ) (2024-02-27T08:47:19Z) - Cloud-Device Collaborative Learning for Multimodal Large Language Models [24.65882336700547]
本稿では,クラウド・デバイス協調型継続的適応フレームワークを導入し,デバイス分割型MLLMの性能向上を図る。
当社のフレームワークは,効率的なデータ伝送のためのデバイス間アップリンク,クラウドベースの知識適応,モデルデプロイメントのための最適化されたクラウド間ダウンリンクという,3つの重要なコンポーネントで構成されています。
論文 参考訳(メタデータ) (2023-12-26T18:46:14Z) - Instance-aware Dynamic Prompt Tuning for Pre-trained Point Cloud Models [64.49254199311137]
本稿では,事前学習点クラウドモデルのための新しいインスタンス対応動的プロンプトチューニング(IDPT)戦略を提案する。
IDPTの本質は、各ポイントクラウドインスタンスのセマンティックな事前特徴を知覚する動的プロンプト生成モジュールを開発することである。
実験では、IDPTはトレーニング可能なパラメータのわずか7%で、ほとんどのタスクにおいて完全な微調整よりも優れています。
論文 参考訳(メタデータ) (2023-04-14T16:03:09Z) - DC-CCL: Device-Cloud Collaborative Controlled Learning for Large Vision
Models [43.41875046295657]
我々は,DC-CCLと呼ばれるデバイスクラウド協調制御学習フレームワークを提案する。
DC-CCLは、ベースモデルを2つのサブモデルに分割する。ひとつはクラウド側サンプルから学習するための大きなサブモデル、もうひとつはデバイス側サンプルから学習し、デバイス-クラウド知識融合を実行するための小さなサブモデルである。
論文 参考訳(メタデータ) (2023-03-18T08:35:12Z) - Cloud-Device Collaborative Adaptation to Continual Changing Environments
in the Real-world [20.547119604004774]
本稿では,クラウドとデバイス間の協調を促進するクラウドデバイス協調型継続的適応の新たな学習パラダイムを提案する。
また、クラウド上の大規模モデルの一般化能力をデバイスモデルに転送するための教師学生モデルとして、不確実性に基づくVisual Prompt Adapted (U-VPA)を提案する。
提案するU-VPA教師学生フレームワークは,従来の最先端テスト時間適応とデバイスクラウド協調手法より優れていた。
論文 参考訳(メタデータ) (2022-12-02T05:02:36Z) - MetaNetwork: A Task-agnostic Network Parameters Generation Framework for
Improving Device Model Generalization [65.02542875281233]
そこで本研究では,デバイス上でのトレーニングを伴わずに,クラウドから適応的なデバイスモデルパラメータを生成するための,MetaNetworkという新しいタスク非依存フレームワークを提案する。
MetaGeneratorは、サンプルからモデルパラメータへのマッピング関数を学習するために設計されており、デバイスからクラウドにアップロードされたサンプルに基づいて、適応パラメータをデバイスに生成および配信することができる。
MetaStabilizerは、MetaGeneratorの振動を減らし、収束を加速し、トレーニングと推論の両方でモデルパフォーマンスを改善することを目的としている。
論文 参考訳(メタデータ) (2022-09-12T13:26:26Z) - Device-Cloud Collaborative Learning for Recommendation [50.01289274123047]
集中型クラウドモデルにより「数千人のモデルを持つ何千人もの人」を効率的に実現する新しいMetaPatch学習手法をデバイス側で提案します。
数十億の更新されたパーソナライズされたデバイスモデルにより、集中型クラウドモデルを更新する"モデルオーバーモデル"蒸留アルゴリズム、すなわちMoMoDistillを提案する。
論文 参考訳(メタデータ) (2021-04-14T05:06:59Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳(メタデータ) (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。