論文の概要: Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation

• arxiv url: http://arxiv.org/abs/2402.17316v3
• Date: Thu, 6 Jun 2024 04:08:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 21:12:20.159379
• Title: Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation
• Title（参考訳）: 選択エントロピー蒸留によるロバストかつ効率的なクラウド-エッジ弾性モデル適応に向けて
• Authors: Yaofo Chen, Shuaicheng Niu, Yaowei Wang, Shoukai Xu, Hengjie Song, Mingkui Tan,
• Abstract要約: Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。 CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
• 参考スコア（独自算出の注目度）: 56.79064699832383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The conventional deep learning paradigm often involves training a deep model on a server and then deploying the model or its distilled ones to resource-limited edge devices. Usually, the models shall remain fixed once deployed (at least for some period) due to the potential high cost of model adaptation for both the server and edge sides. However, in many real-world scenarios, the test environments may change dynamically (known as distribution shifts), which often results in degraded performance. Thus, one has to adapt the edge models promptly to attain promising performance. Moreover, with the increasing data collected at the edge, this paradigm also fails to further adapt the cloud model for better performance. To address these, we encounter two primary challenges: 1) the edge model has limited computation power and may only support forward propagation; 2) the data transmission budget between cloud and edge devices is limited in latency-sensitive scenarios. In this paper, we establish a Cloud-Edge Elastic Model Adaptation (CEMA) paradigm in which the edge models only need to perform forward propagation and the edge models can be adapted online. In our CEMA, to reduce the communication burden, we devise two criteria to exclude unnecessary samples from uploading to the cloud, i.e., dynamic unreliable and low-informative sample exclusion. Based on the uploaded samples, we update and distribute the affine parameters of normalization layers by distilling from the stronger foundation model to the edge model with a sample replay strategy. Extensive experimental results on ImageNet-C and ImageNet-R verify the effectiveness of our CEMA.
• Abstract（参考訳）: 従来のディープラーニングパラダイムでは、しばしば、サーバー上でディープモデルをトレーニングし、モデルまたは蒸留したモデルをリソース制限エッジデバイスにデプロイする。 通常、モデルは通常、サーバ側とエッジ側の両方のモデル適応の潜在的高コストのために、一度デプロイされた後(少なくとも一定期間)に修正されなければならない。 しかし、多くの実世界のシナリオでは、テスト環境は動的に変化し(分散シフトと呼ばれる)、しばしば性能が低下する。 したがって、エッジモデルに迅速に適応して、有望なパフォーマンスを達成する必要がある。 さらに、エッジで収集されるデータの増加に伴い、このパラダイムは、パフォーマンス向上のためにクラウドモデルをさらに適応することができない。 これらの問題に対処するために、私たちは2つの大きな課題に直面します。 1)エッジモデルは計算能力が限られており,前方伝播のみをサポートすることができる。 2) クラウドとエッジデバイス間のデータ転送予算は遅延に敏感なシナリオで制限される。 本稿では,クラウド-エッジ弾性モデル適応(CEMA)パラダイムを構築し,エッジモデルが前方伝播のみを実行し,エッジモデルをオンラインで適用可能にする。 CEMAでは、通信負担を軽減するため、不要なサンプルをクラウドにアップロードすること、すなわち動的で信頼性の低いサンプルを除外することの2つの基準を考案した。 アップロードしたサンプルに基づいて,より強力な基礎モデルから試料再生戦略を用いてエッジモデルに蒸留することにより,正規化層のアフィンパラメータを更新,分散する。 ImageNet-C と ImageNet-R の大規模な実験結果により,CEMA の有効性が検証された。

関連論文リスト

• CloudFixer: Test-Time Adaptation for 3D Point Clouds via Diffusion-Guided Geometric Transformation [33.07886526437753]
  実世界のセンサーから捉えた3Dポイントの雲は、様々な障害物のためにしばしばノイズの多い点を包含する。 これらの課題は、クリーンポイントクラウドでトレーニングされたトレーニング済みのポイントクラウド認識モデルのデプロイを妨げる。 本研究では,3次元点雲に適したテスト時間入力適応法であるCloudFixerを提案する。
  論文  参考訳（メタデータ） (2024-07-23T05:35:04Z)
• Low-rank Adaptation for Spatio-Temporal Forecasting [13.595533573828734]
  本稿では,既存の時空間予測モデルSTLo-RAのためのオフザシェルフプラグインとして,新しい低ランク適応フレームワークを提案する。 我々のアプローチは、元のモデルのパラメータとトレーニング時間を4%以下に増やし、一貫性と持続的なパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2024-04-11T17:04:55Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• ECLM: Efficient Edge-Cloud Collaborative Learning with Continuous Environment Adaptation [47.35179593006409]
  動的エッジ環境に対する高速モデル適応のためのエッジクラウド協調学習フレームワークECLMを提案する。 その結果,ECLM はモデルの性能(例えば 18.89% の精度向上)と資源効率(例えば 7.12 倍の通信コスト削減)を,動的エッジ環境への適応において著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-11-18T14:10:09Z)
• Instance-aware Dynamic Prompt Tuning for Pre-trained Point Cloud Models [64.49254199311137]
  本稿では,事前学習点クラウドモデルのための新しいインスタンス対応動的プロンプトチューニング(IDPT)戦略を提案する。 IDPTの本質は、各ポイントクラウドインスタンスのセマンティックな事前特徴を知覚する動的プロンプト生成モジュールを開発することである。 実験では、IDPTはトレーニング可能なパラメータのわずか7%で、ほとんどのタスクにおいて完全な微調整よりも優れています。
  論文  参考訳（メタデータ） (2023-04-14T16:03:09Z)
• DualCF: Efficient Model Extraction Attack from Counterfactual Explanations [57.46134660974256]
  クラウドサービスプロバイダがMachine-Learning-as-a-Serviceプラットフォームをローンチした。 このような余分な情報は、必然的にクラウドモデルが、抽出攻撃に対してより脆弱になる。 本稿では,分類モデルを盗むためのクエリ効率を大幅に向上させる,新しい単純で効率的なクエリ手法を提案する。
  論文  参考訳（メタデータ） (2022-05-13T08:24:43Z)
• Optimal Model Placement and Online Model Splitting for Device-Edge Co-Inference [22.785214118527872]
  デバイスのエッジコ推論は、リソース制約のある無線デバイスがディープニューラルネットワーク(DNN)ベースのアプリケーションを実行する新たな可能性を開く。 デバイスエッジ共振器のエネルギー・時間コストを最小限に抑えるため,モデル配置とオンラインモデル分割決定の協調最適化について検討した。
  論文  参考訳（メタデータ） (2021-05-28T06:55:04Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。