論文の概要: DUET: A Tuning-Free Device-Cloud Collaborative Parameters Generation Framework for Efficient Device Model Generalization

• arxiv url: http://arxiv.org/abs/2209.05227v5
• Date: Sun, 01 Dec 2024 16:50:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:56:45.874722
• Title: DUET: A Tuning-Free Device-Cloud Collaborative Parameters Generation Framework for Efficient Device Model Generalization
• Title（参考訳）: DUET: 効率的なデバイスモデル一般化のためのチューニング不要なデバイスクラウド協調パラメータ生成フレームワーク
• Authors: Zheqi Lv, Wenqiao Zhang, Shengyu Zhang, Kun Kuang, Feng Wang, Yongwei Wang, Zhengyu Chen, Tao Shen, Hongxia Yang, Beng Chin Ooi, Fei Wu,
• Abstract要約: デバイスモデル一般化(Device Model Generalization, DMG)は、デバイス上での機械学習アプリケーションにおいて、実用的ながら実証されていない研究トピックである。 本稿では,Device-cloUdコラボレーティブパラメトリクスフレームワークDUETを提案する。
• 参考スコア（独自算出の注目度）: 66.27399823422665
• License:
• Abstract: Device Model Generalization (DMG) is a practical yet under-investigated research topic for on-device machine learning applications. It aims to improve the generalization ability of pre-trained models when deployed on resource-constrained devices, such as improving the performance of pre-trained cloud models on smart mobiles. While quite a lot of works have investigated the data distribution shift across clouds and devices, most of them focus on model fine-tuning on personalized data for individual devices to facilitate DMG. Despite their promising, these approaches require on-device re-training, which is practically infeasible due to the overfitting problem and high time delay when performing gradient calculation on real-time data. In this paper, we argue that the computational cost brought by fine-tuning can be rather unnecessary. We consequently present a novel perspective to improving DMG without increasing computational cost, i.e., device-specific parameter generation which directly maps data distribution to parameters. Specifically, we propose an efficient Device-cloUd collaborative parametErs generaTion framework DUET. DUET is deployed on a powerful cloud server that only requires the low cost of forwarding propagation and low time delay of data transmission between the device and the cloud. By doing so, DUET can rehearse the device-specific model weight realizations conditioned on the personalized real-time data for an individual device. Importantly, our DUET elegantly connects the cloud and device as a 'duet' collaboration, frees the DMG from fine-tuning, and enables a faster and more accurate DMG paradigm. We conduct an extensive experimental study of DUET on three public datasets, and the experimental results confirm our framework's effectiveness and generalisability for different DMG tasks.
• Abstract（参考訳）: デバイスモデル一般化(Device Model Generalization, DMG)は、デバイス上での機械学習アプリケーションにおいて、実用的ながら実証されていない研究トピックである。 リソース制約のあるデバイスにデプロイされた場合、スマートモバイル上での事前トレーニングされたクラウドモデルのパフォーマンス向上など、事前トレーニングされたモデルの一般化能力を向上することを目的としている。 クラウドやデバイス間のデータ分散のシフトについて、多くの研究がなされているが、そのほとんどはDMGを促進するために、個別のデバイスのためのパーソナライズされたデータに基づく微調整をモデル化することに焦点を当てている。 これらのアプローチは期待されているにもかかわらず、デバイス上でのトレーニングが必要であり、リアルタイムデータ上で勾配計算を行う場合、オーバーフィッティング問題と高速遅延のために事実上実現不可能である。 本稿では, 微調整による計算コストは, かなり不必要である,と論じる。 その結果、計算コストを増大させることなくDMGを改善する新しい視点、すなわち、データ分布を直接パラメータにマッピングするデバイス固有のパラメータ生成を提示する。 具体的には、効率的なDevice-cloUdコラボレーティブパラメトリクス(ParametErs generaTion framework DUET)を提案する。 DUETは強力なクラウドサーバ上にデプロイされ、転送の転送コストが低く、デバイスとクラウド間のデータ転送の遅延が低くなるだけである。 これにより、DUETは、個別のデバイスに対してパーソナライズされたリアルタイムデータに基づいて、デバイス固有のモデルウェイト実現をリハーサルすることができる。 重要なことは、私たちのDUETはクラウドとデバイスを「デュエット」のコラボレーションとしてエレガントに接続し、DMGを微調整から解放し、より高速で正確なDMGパラダイムを可能にします。 3つの公開データセット上でDUETの広範な実験を行い、実験結果により、異なるDMGタスクに対する我々のフレームワークの有効性と一般化性を確認した。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Dual-Model Distillation for Efficient Action Classification with Hybrid Edge-Cloud Solution [1.8029479474051309]
  我々は、より大規模で正確なクラウドベースモデルに必要に応じて遅延しながら、より小さなモデルのローカル処理効率を活用するハイブリッドエッジクラウドソリューションを設計する。 具体的には、エッジモデルの出力が不確かである場合に予測可能な軽量スイッチャーモデルをトレーニングするための、新しい教師なしデータ生成手法であるDual-Model Distillation(DMD)を提案する。 動作分類タスクの実験結果から,我々のフレームワークは計算オーバーヘッドを少なくするだけでなく,大規模モデルのみを使用する場合と比較して精度も向上することが示された。
  論文  参考訳（メタデータ） (2024-10-16T02:06:27Z)
• Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
  Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。 CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
  論文  参考訳（メタデータ） (2024-02-27T08:47:19Z)
• ECLM: Efficient Edge-Cloud Collaborative Learning with Continuous Environment Adaptation [47.35179593006409]
  動的エッジ環境に対する高速モデル適応のためのエッジクラウド協調学習フレームワークECLMを提案する。 その結果,ECLM はモデルの性能(例えば 18.89% の精度向上)と資源効率(例えば 7.12 倍の通信コスト削減)を,動的エッジ環境への適応において著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-11-18T14:10:09Z)
• FLuID: Mitigating Stragglers in Federated Learning using Invariant Dropout [1.8262547855491458]
  Federated Learningは、機械学習モデルが個々のモバイルデバイス上でローカルにトレーニングし、共有サーバを介してモデルの更新を同期することを可能にする。 結果として、性能の低いストラグラーデバイスは、FLにおける全体的なトレーニング時間を規定することが多い。 Invariant Dropoutは,重み更新しきい値に基づいてサブモデルを抽出する手法である。 Invariant Dropout を用いた適応学習フレームワークであるFederated Learning を開発した。
  論文  参考訳（メタデータ） (2023-07-05T19:53:38Z)
• Cloud-Device Collaborative Adaptation to Continual Changing Environments in the Real-world [20.547119604004774]
  本稿では,クラウドとデバイス間の協調を促進するクラウドデバイス協調型継続的適応の新たな学習パラダイムを提案する。 また、クラウド上の大規模モデルの一般化能力をデバイスモデルに転送するための教師学生モデルとして、不確実性に基づくVisual Prompt Adapted (U-VPA)を提案する。 提案するU-VPA教師学生フレームワークは,従来の最先端テスト時間適応とデバイスクラウド協調手法より優れていた。
  論文  参考訳（メタデータ） (2022-12-02T05:02:36Z)
• p-Meta: Towards On-device Deep Model Adaptation [30.27192953408665]
  p-Metaは、構造的に部分的なパラメータの更新を強制する新しいメタ学習手法である。 p-Metaは、最先端のショットアダプティブ法と比較して平均2.5倍のピークダイナミックメモリを著しく減少させることを示した。
  論文  参考訳（メタデータ） (2022-06-25T18:36:59Z)
• SensiX++: Bringing MLOPs and Multi-tenant Model Serving to Sensory Edge Devices [69.1412199244903]
  エッジデバイス上でMLOpsを統合した,適応モデル実行のためのマルチテナントランタイムを提案する。 S SensiX++は、高度にモジュール化されたコンポーネント化と、明確な抽象化によるデータ操作の外部化と、システム全体のオーケストレーションのためのドキュメント中心の宣言という、2つの基本原則で運用されている。 SensiX++のさまざまな自動化コンポーネントの全体的なスループットと定量化メリットについて報告し、運用の複雑さを著しく低減し、エッジデバイスへの組み込みモデルのデプロイ、アップグレード、再構成、提供の労力を削減する効果を実証する。
  論文  参考訳（メタデータ） (2021-09-08T22:06:16Z)
• Device-Cloud Collaborative Learning for Recommendation [50.01289274123047]
  集中型クラウドモデルにより「数千人のモデルを持つ何千人もの人」を効率的に実現する新しいMetaPatch学習手法をデバイス側で提案します。 数十億の更新されたパーソナライズされたデバイスモデルにより、集中型クラウドモデルを更新する"モデルオーバーモデル"蒸留アルゴリズム、すなわちMoMoDistillを提案する。
  論文  参考訳（メタデータ） (2021-04-14T05:06:59Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。