論文の概要: DC-CCL: Device-Cloud Collaborative Controlled Learning for Large Vision Models

• arxiv url: http://arxiv.org/abs/2303.10361v1
• Date: Sat, 18 Mar 2023 08:35:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 19:56:18.831995
• Title: DC-CCL: Device-Cloud Collaborative Controlled Learning for Large Vision Models
• Title（参考訳）: DC-CCL:大型ビジョンモデルのためのデバイスクラウド協調学習
• Authors: Yucheng Ding, Chaoyue Niu, Fan Wu, Shaojie Tang, Chengfei Lyu, Guihai Chen
• Abstract要約: 我々は,DC-CCLと呼ばれるデバイスクラウド協調制御学習フレームワークを提案する。 DC-CCLは、ベースモデルを2つのサブモデルに分割する。ひとつはクラウド側サンプルから学習するための大きなサブモデル、もうひとつはデバイス側サンプルから学習し、デバイス-クラウド知識融合を実行するための小さなサブモデルである。
• 参考スコア（独自算出の注目度）: 43.41875046295657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many large vision models have been deployed on the cloud for real-time services. Meanwhile, fresh samples are continuously generated on the served mobile device. How to leverage the device-side samples to improve the cloud-side large model becomes a practical requirement, but falls into the dilemma of no raw sample up-link and no large model down-link. Specifically, the user may opt out of sharing raw samples with the cloud due to the concern of privacy or communication overhead, while the size of some large vision models far exceeds the mobile device's runtime capacity. In this work, we propose a device-cloud collaborative controlled learning framework, called DC-CCL, enabling a cloud-side large vision model that cannot be directly deployed on the mobile device to still benefit from the device-side local samples. In particular, DC-CCL vertically splits the base model into two submodels, one large submodel for learning from the cloud-side samples and the other small submodel for learning from the device-side samples and performing device-cloud knowledge fusion. Nevertheless, on-device training of the small submodel requires the output of the cloud-side large submodel to compute the desired gradients. DC-CCL thus introduces a light-weight model to mimic the large cloud-side submodel with knowledge distillation, which can be offloaded to the mobile device to control its small submodel's optimization direction. Given the decoupling nature of two submodels in collaborative learning, DC-CCL also allows the cloud to take a pre-trained model and the mobile device to take another model with a different backbone architecture.
• Abstract（参考訳）: 多くの大規模ビジョンモデルが、リアルタイムサービスのためにクラウドにデプロイされている。 一方、提供されたモバイルデバイス上で、新鮮なサンプルを連続的に生成する。 デバイス側サンプルの活用によるクラウド側大規模モデルの改善は,現実的な要件となっているが,サンプルのアップリンクが無く,大規模なモデルダウンリンクが存在しないというジレンマに陥る。 具体的には、プライバシや通信のオーバーヘッドの懸念から、ユーザは生のサンプルをクラウドと共有しないことを選択できるが、一部の大きなビジョンモデルのサイズはモバイルデバイスのランタイム容量をはるかに上回っている。 本研究では,デバイス側ローカルサンプルの恩恵を受けるために,モバイルデバイスに直接デプロイできないクラウド側の大規模ビジョンモデルを実現する,DC-CCLと呼ばれるデバイスクラウド協調型学習フレームワークを提案する。 特に、DC-CCLは、ベースモデルを垂直に2つのサブモデルに分割する。1つはクラウド側サンプルから学習するための大きなサブモデルであり、もう1つはデバイス側サンプルから学習し、デバイス-クラウド知識融合を実行するための小さなサブモデルである。 それでも、小さなサブモデルのオンデバイストレーニングでは、所望の勾配を計算するためにクラウド側の大きなサブモデルの出力が必要である。 このため、DC-CCLは、知識蒸留による大規模なクラウドサイドサブモデルを模倣する軽量モデルを導入し、小型サブモデルの最適化方向を制御するためにモバイルデバイスにオフロードすることができる。 協調学習における2つのサブモデルの分離の性質を考えると、DC-CCLはクラウドが事前訓練されたモデルとモバイルデバイスが異なるバックボーンアーキテクチャを持つ別のモデルを取ることを可能にする。

関連論文リスト

• Dual-Model Distillation for Efficient Action Classification with Hybrid Edge-Cloud Solution [1.8029479474051309]
  我々は、より大規模で正確なクラウドベースモデルに必要に応じて遅延しながら、より小さなモデルのローカル処理効率を活用するハイブリッドエッジクラウドソリューションを設計する。 具体的には、エッジモデルの出力が不確かである場合に予測可能な軽量スイッチャーモデルをトレーニングするための、新しい教師なしデータ生成手法であるDual-Model Distillation(DMD)を提案する。 動作分類タスクの実験結果から,我々のフレームワークは計算オーバーヘッドを少なくするだけでなく,大規模モデルのみを使用する場合と比較して精度も向上することが示された。
  論文  参考訳（メタデータ） (2024-10-16T02:06:27Z)
• Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
  Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。 CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
  論文  参考訳（メタデータ） (2024-02-27T08:47:19Z)
• Cloud-Device Collaborative Learning for Multimodal Large Language Models [24.65882336700547]
  本稿では,クラウド・デバイス協調型継続的適応フレームワークを導入し,デバイス分割型MLLMの性能向上を図る。 当社のフレームワークは,効率的なデータ伝送のためのデバイス間アップリンク,クラウドベースの知識適応,モデルデプロイメントのための最適化されたクラウド間ダウンリンクという,3つの重要なコンポーネントで構成されています。
  論文  参考訳（メタデータ） (2023-12-26T18:46:14Z)
• ECLM: Efficient Edge-Cloud Collaborative Learning with Continuous Environment Adaptation [47.35179593006409]
  動的エッジ環境に対する高速モデル適応のためのエッジクラウド協調学習フレームワークECLMを提案する。 その結果,ECLM はモデルの性能(例えば 18.89% の精度向上)と資源効率(例えば 7.12 倍の通信コスト削減)を,動的エッジ環境への適応において著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-11-18T14:10:09Z)
• Cloud-Device Collaborative Adaptation to Continual Changing Environments in the Real-world [20.547119604004774]
  本稿では,クラウドとデバイス間の協調を促進するクラウドデバイス協調型継続的適応の新たな学習パラダイムを提案する。 また、クラウド上の大規模モデルの一般化能力をデバイスモデルに転送するための教師学生モデルとして、不確実性に基づくVisual Prompt Adapted (U-VPA)を提案する。 提案するU-VPA教師学生フレームワークは,従来の最先端テスト時間適応とデバイスクラウド協調手法より優れていた。
  論文  参考訳（メタデータ） (2022-12-02T05:02:36Z)
• MetaNetwork: A Task-agnostic Network Parameters Generation Framework for Improving Device Model Generalization [65.02542875281233]
  そこで本研究では,デバイス上でのトレーニングを伴わずに,クラウドから適応的なデバイスモデルパラメータを生成するための,MetaNetworkという新しいタスク非依存フレームワークを提案する。 MetaGeneratorは、サンプルからモデルパラメータへのマッピング関数を学習するために設計されており、デバイスからクラウドにアップロードされたサンプルに基づいて、適応パラメータをデバイスに生成および配信することができる。 MetaStabilizerは、MetaGeneratorの振動を減らし、収束を加速し、トレーニングと推論の両方でモデルパフォーマンスを改善することを目的としている。
  論文  参考訳（メタデータ） (2022-09-12T13:26:26Z)
• DualCF: Efficient Model Extraction Attack from Counterfactual Explanations [57.46134660974256]
  クラウドサービスプロバイダがMachine-Learning-as-a-Serviceプラットフォームをローンチした。 このような余分な情報は、必然的にクラウドモデルが、抽出攻撃に対してより脆弱になる。 本稿では,分類モデルを盗むためのクエリ効率を大幅に向上させる,新しい単純で効率的なクエリ手法を提案する。
  論文  参考訳（メタデータ） (2022-05-13T08:24:43Z)
• Device-Cloud Collaborative Learning for Recommendation [50.01289274123047]
  集中型クラウドモデルにより「数千人のモデルを持つ何千人もの人」を効率的に実現する新しいMetaPatch学習手法をデバイス側で提案します。 数十億の更新されたパーソナライズされたデバイスモデルにより、集中型クラウドモデルを更新する"モデルオーバーモデル"蒸留アルゴリズム、すなわちMoMoDistillを提案する。
  論文  参考訳（メタデータ） (2021-04-14T05:06:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。