論文の概要: Device-Cloud Collaborative Learning for Recommendation

• arxiv url: http://arxiv.org/abs/2104.06624v1
• Date: Wed, 14 Apr 2021 05:06:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 13:34:26.924597
• Title: Device-Cloud Collaborative Learning for Recommendation
• Title（参考訳）: デバイス・クラウド協調学習のレコメンデーション
• Authors: Jiangchao Yao and Feng Wang and KunYang Jia and Bo Han and Jingren Zhou and Hongxia Yang
• Abstract要約: 集中型クラウドモデルにより「数千人のモデルを持つ何千人もの人」を効率的に実現する新しいMetaPatch学習手法をデバイス側で提案します。 数十億の更新されたパーソナライズされたデバイスモデルにより、集中型クラウドモデルを更新する"モデルオーバーモデル"蒸留アルゴリズム、すなわちMoMoDistillを提案する。
• 参考スコア（独自算出の注目度）: 50.01289274123047
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: With the rapid development of storage and computing power on mobile devices, it becomes critical and popular to deploy models on devices to save onerous communication latencies and to capture real-time features. While quite a lot of works have explored to facilitate on-device learning and inference, most of them focus on dealing with response delay or privacy protection. Little has been done to model the collaboration between the device and the cloud modeling and benefit both sides jointly. To bridge this gap, we are among the first attempts to study the Device-Cloud Collaborative Learning (DCCL) framework. Specifically, we propose a novel MetaPatch learning approach on the device side to efficiently achieve "thousands of people with thousands of models" given a centralized cloud model. Then, with billions of updated personalized device models, we propose a "model-over-models" distillation algorithm, namely MoMoDistill, to update the centralized cloud model. Our extensive experiments over a range of datasets with different settings demonstrate the effectiveness of such collaboration on both cloud and device sides, especially its superiority in modeling long-tailed users.
• Abstract（参考訳）: モバイルデバイス上でのストレージとコンピューティングパワーの急速な発展により、デバイスにモデルをデプロイすることで、煩雑な通信遅延を省き、リアルタイム機能をキャプチャすることが重要かつポピュラーになる。 デバイス上での学習と推論を促進するために、多くの作業が進められているが、その多くは応答遅延やプライバシ保護に重点を置いている。 デバイスとクラウドモデリングのコラボレーションをモデル化し、双方が共同で利益を得る方法はほとんどない。 このギャップを埋めるために、私たちはDevice-Cloud Collaborative Learning (DCCL)フレームワークを研究する最初の試みの1つです。 具体的には,集中型クラウドモデルによって「何千ものモデルを持つ人々」を効率的に達成するために,デバイス側で新しいメタパッチ学習手法を提案する。 次に、数十億の更新パーソナライズされたデバイスモデルを用いて、集中型クラウドモデルを更新するための「モデルオーバーモデル」蒸留アルゴリズム、すなわちMoMoDistillを提案する。 さまざまな設定のデータセットに関する広範な実験では、クラウドとデバイスの両方で、特にロングテールユーザをモデリングする上で、このようなコラボレーションの有効性が示されています。

関連論文リスト

• ECLM: Efficient Edge-Cloud Collaborative Learning with Continuous Environment Adaptation [47.35179593006409]
  動的エッジ環境に対する高速モデル適応のためのエッジクラウド協調学習フレームワークECLMを提案する。 その結果,ECLM はモデルの性能(例えば 18.89% の精度向上)と資源効率(例えば 7.12 倍の通信コスト削減)を,動的エッジ環境への適応において著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-11-18T14:10:09Z)
• Structured Cooperative Learning with Graphical Model Priors [98.53322192624594]
  ローカルデータに制限のある分散デバイス上で、さまざまなタスクに対してパーソナライズされたモデルをトレーニングする方法を研究する。 本稿では,デバイス間の協調グラフをグラフィカルモデルにより生成する「構造化協調学習(SCooL)」を提案する。 SCooLを評価し,既存の分散学習手法と比較した。
  論文  参考訳（メタデータ） (2023-06-16T02:41:31Z)
• DC-CCL: Device-Cloud Collaborative Controlled Learning for Large Vision Models [43.41875046295657]
  我々は,DC-CCLと呼ばれるデバイスクラウド協調制御学習フレームワークを提案する。 DC-CCLは、ベースモデルを2つのサブモデルに分割する。ひとつはクラウド側サンプルから学習するための大きなサブモデル、もうひとつはデバイス側サンプルから学習し、デバイス-クラウド知識融合を実行するための小さなサブモデルである。
  論文  参考訳（メタデータ） (2023-03-18T08:35:12Z)
• Device Tuning for Multi-Task Large Model [0.0]
  本稿では,クラウドとデバイスをまたいだマルチタスクフレームワークである,効率的なマルチタスクモデルのためのデバイスチューニングを提案する。 具体的には、クラウドモデリングとデバイスモデリングの両方の恩恵を受けるマルチタスクモデルのデバイスチューニングアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2023-02-21T16:55:48Z)
• Cloud-Device Collaborative Adaptation to Continual Changing Environments in the Real-world [20.547119604004774]
  本稿では,クラウドとデバイス間の協調を促進するクラウドデバイス協調型継続的適応の新たな学習パラダイムを提案する。 また、クラウド上の大規模モデルの一般化能力をデバイスモデルに転送するための教師学生モデルとして、不確実性に基づくVisual Prompt Adapted (U-VPA)を提案する。 提案するU-VPA教師学生フレームワークは,従来の最先端テスト時間適応とデバイスクラウド協調手法より優れていた。
  論文  参考訳（メタデータ） (2022-12-02T05:02:36Z)
• MetaNetwork: A Task-agnostic Network Parameters Generation Framework for Improving Device Model Generalization [65.02542875281233]
  そこで本研究では,デバイス上でのトレーニングを伴わずに,クラウドから適応的なデバイスモデルパラメータを生成するための,MetaNetworkという新しいタスク非依存フレームワークを提案する。 MetaGeneratorは、サンプルからモデルパラメータへのマッピング関数を学習するために設計されており、デバイスからクラウドにアップロードされたサンプルに基づいて、適応パラメータをデバイスに生成および配信することができる。 MetaStabilizerは、MetaGeneratorの振動を減らし、収束を加速し、トレーニングと推論の両方でモデルパフォーマンスを改善することを目的としている。
  論文  参考訳（メタデータ） (2022-09-12T13:26:26Z)
• Device-Cloud Collaborative Recommendation via Meta Controller [65.97416287295152]
  オンデバイスレコメンデータとクラウドベースのレコメンデータの協調を動的に管理するメタコントローラを提案する。 対策サンプルと拡張トレーニングに基づいて,産業レコメンデーションシナリオにおける広範な実験は,メタコントローラの可能性を示唆している。
  論文  参考訳（メタデータ） (2022-07-07T03:23:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。