論文の概要: Cloud-Device Collaborative Adaptation to Continual Changing Environments in the Real-world

• arxiv url: http://arxiv.org/abs/2212.00972v1
• Date: Fri, 2 Dec 2022 05:02:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 16:49:37.258902
• Title: Cloud-Device Collaborative Adaptation to Continual Changing Environments in the Real-world
• Title（参考訳）: 実世界の継続的な環境変化に対するクラウド・デバイス協調型適応
• Authors: Yulu Gan, Mingjie Pan, Rongyu Zhang, Zijian Ling, Lingran Zhao, Jiaming Liu, Shanghang Zhang
• Abstract要約: 本稿では,クラウドとデバイス間の協調を促進するクラウドデバイス協調型継続的適応の新たな学習パラダイムを提案する。 また、クラウド上の大規模モデルの一般化能力をデバイスモデルに転送するための教師学生モデルとして、不確実性に基づくVisual Prompt Adapted (U-VPA)を提案する。 提案するU-VPA教師学生フレームワークは,従来の最先端テスト時間適応とデバイスクラウド協調手法より優れていた。
• 参考スコア（独自算出の注目度）: 20.547119604004774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When facing changing environments in the real world, the lightweight model on client devices suffers from severe performance drops under distribution shifts. The main limitations of the existing device model lie in (1) unable to update due to the computation limit of the device, (2) the limited generalization ability of the lightweight model. Meanwhile, recent large models have shown strong generalization capability on the cloud while they can not be deployed on client devices due to poor computation constraints. To enable the device model to deal with changing environments, we propose a new learning paradigm of Cloud-Device Collaborative Continual Adaptation, which encourages collaboration between cloud and device and improves the generalization of the device model. Based on this paradigm, we further propose an Uncertainty-based Visual Prompt Adapted (U-VPA) teacher-student model to transfer the generalization capability of the large model on the cloud to the device model. Specifically, we first design the Uncertainty Guided Sampling (UGS) to screen out challenging data continuously and transmit the most out-of-distribution samples from the device to the cloud. Then we propose a Visual Prompt Learning Strategy with Uncertainty guided updating (VPLU) to specifically deal with the selected samples with more distribution shifts. We transmit the visual prompts to the device and concatenate them with the incoming data to pull the device testing distribution closer to the cloud training distribution. We conduct extensive experiments on two object detection datasets with continually changing environments. Our proposed U-VPA teacher-student framework outperforms previous state-of-the-art test time adaptation and device-cloud collaboration methods. The code and datasets will be released.
• Abstract（参考訳）: 実世界の環境の変化に直面すると、クライアントデバイス上の軽量モデルは、分散シフト下での深刻なパフォーマンス低下に苦しむ。 既存のデバイスモデルの主な制限は、(1)デバイスの計算限界によって更新できないこと、(2)軽量モデルの限定的な一般化能力である。 一方、最近の大規模モデルでは、計算の制約が低かったためクライアントデバイスにデプロイできないが、クラウド上で強力な一般化能力を示している。 デバイスモデルが環境の変化に対応するために,クラウドとデバイス間の協調を奨励し,デバイスモデルの一般化を改善する,クラウドデバイス協調型継続的適応の新しい学習パラダイムを提案する。 このパラダイムに基づいて、クラウド上の大規模モデルの一般化能力をデバイスモデルに転送する、不確実性に基づく教師学生モデル(U-VPA)を提案する。 具体的には、まず不確実性誘導サンプリング(ugs)を設計して、挑戦的なデータを連続的に表示し、最も分散的なサンプルをデバイスからクラウドに送信する。 そこで本研究では,選択したサンプルをより分散シフトで処理するために,不確実性誘導更新(vplu)を用いた視覚的プロンプト学習戦略を提案する。 我々は、デバイスに視覚的プロンプトを送信し、それらを入力データと結合させ、デバイステスト分布をクラウドトレーニング分布に近づける。 連続的な環境変化を伴う2つのオブジェクト検出データセットについて広範な実験を行う。 提案するU-VPA教師学生フレームワークは,従来の最先端テスト時間適応とデバイスクラウド協調手法より優れていた。 コードとデータセットがリリースされる。

関連論文リスト

• Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
  Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。 CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
  論文  参考訳（メタデータ） (2024-02-27T08:47:19Z)
• Cloud-Device Collaborative Learning for Multimodal Large Language Models [24.65882336700547]
  本稿では,クラウド・デバイス協調型継続的適応フレームワークを導入し,デバイス分割型MLLMの性能向上を図る。 当社のフレームワークは,効率的なデータ伝送のためのデバイス間アップリンク,クラウドベースの知識適応,モデルデプロイメントのための最適化されたクラウド間ダウンリンクという,3つの重要なコンポーネントで構成されています。
  論文  参考訳（メタデータ） (2023-12-26T18:46:14Z)
• ECLM: Efficient Edge-Cloud Collaborative Learning with Continuous Environment Adaptation [47.35179593006409]
  動的エッジ環境に対する高速モデル適応のためのエッジクラウド協調学習フレームワークECLMを提案する。 その結果,ECLM はモデルの性能(例えば 18.89% の精度向上)と資源効率(例えば 7.12 倍の通信コスト削減)を,動的エッジ環境への適応において著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-11-18T14:10:09Z)
• MetaNetwork: A Task-agnostic Network Parameters Generation Framework for Improving Device Model Generalization [65.02542875281233]
  そこで本研究では,デバイス上でのトレーニングを伴わずに,クラウドから適応的なデバイスモデルパラメータを生成するための,MetaNetworkという新しいタスク非依存フレームワークを提案する。 MetaGeneratorは、サンプルからモデルパラメータへのマッピング関数を学習するために設計されており、デバイスからクラウドにアップロードされたサンプルに基づいて、適応パラメータをデバイスに生成および配信することができる。 MetaStabilizerは、MetaGeneratorの振動を減らし、収束を加速し、トレーニングと推論の両方でモデルパフォーマンスを改善することを目的としている。
  論文  参考訳（メタデータ） (2022-09-12T13:26:26Z)
• Device-Cloud Collaborative Recommendation via Meta Controller [65.97416287295152]
  オンデバイスレコメンデータとクラウドベースのレコメンデータの協調を動的に管理するメタコントローラを提案する。 対策サンプルと拡張トレーニングに基づいて,産業レコメンデーションシナリオにおける広範な実験は,メタコントローラの可能性を示唆している。
  論文  参考訳（メタデータ） (2022-07-07T03:23:04Z)
• On-Device Learning with Cloud-Coordinated Data Augmentation for Extreme Model Personalization in Recommender Systems [39.41506296601779]
  我々は、純粋にクラウドベースの学習とデバイス上での学習のジレンマを解消するために、CoDAと呼ばれる新しいデバイス-クラウド協調学習フレームワークを提案する。 CoDAはクラウドのグローバルプールから同様のサンプルを取得し、各ユーザのローカルデータセットを拡張してレコメンデーションモデルをトレーニングする。 オンラインA/Bテストの結果は、モデルパーソナライゼーションなしのクラウドベースの学習と、データ拡張なしのデバイス上でのトレーニングの両方に対して、CoDAの顕著なパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2022-01-24T04:59:04Z)
• Device-Cloud Collaborative Learning for Recommendation [50.01289274123047]
  集中型クラウドモデルにより「数千人のモデルを持つ何千人もの人」を効率的に実現する新しいMetaPatch学習手法をデバイス側で提案します。 数十億の更新されたパーソナライズされたデバイスモデルにより、集中型クラウドモデルを更新する"モデルオーバーモデル"蒸留アルゴリズム、すなわちMoMoDistillを提案する。
  論文  参考訳（メタデータ） (2021-04-14T05:06:59Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。