論文の概要: On-Device Learning with Cloud-Coordinated Data Augmentation for Extreme Model Personalization in Recommender Systems

• arxiv url: http://arxiv.org/abs/2201.10382v1
• Date: Mon, 24 Jan 2022 04:59:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-26 14:28:51.241756
• Title: On-Device Learning with Cloud-Coordinated Data Augmentation for Extreme Model Personalization in Recommender Systems
• Title（参考訳）: クラウドコーディネートデータによるオンデバイス学習によるレコメンダシステムにおける極端モデルパーソナライゼーション
• Authors: Renjie Gu, Chaoyue Niu, Yikai Yan, Fan Wu, Shaojie Tang, Rongfeng Jia, Chengfei Lyu, Guihai Chen
• Abstract要約: 我々は、純粋にクラウドベースの学習とデバイス上での学習のジレンマを解消するために、CoDAと呼ばれる新しいデバイス-クラウド協調学習フレームワークを提案する。 CoDAはクラウドのグローバルプールから同様のサンプルを取得し、各ユーザのローカルデータセットを拡張してレコメンデーションモデルをトレーニングする。 オンラインA/Bテストの結果は、モデルパーソナライゼーションなしのクラウドベースの学習と、データ拡張なしのデバイス上でのトレーニングの両方に対して、CoDAの顕著なパフォーマンス向上を示している。
• 参考スコア（独自算出の注目度）: 39.41506296601779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data heterogeneity is an intrinsic property of recommender systems, making models trained over the global data on the cloud, which is the mainstream in industry, non-optimal to each individual user's local data distribution. To deal with data heterogeneity, model personalization with on-device learning is a potential solution. However, on-device training using a user's small size of local samples will incur severe overfitting and undermine the model's generalization ability. In this work, we propose a new device-cloud collaborative learning framework, called CoDA, to break the dilemmas of purely cloud-based learning and on-device learning. The key principle of CoDA is to retrieve similar samples from the cloud's global pool to augment each user's local dataset to train the recommendation model. Specifically, after a coarse-grained sample matching on the cloud, a personalized sample classifier is further trained on each device for a fine-grained sample filtering, which can learn the boundary between the local data distribution and the outside data distribution. We also build an end-to-end pipeline to support the flows of data, model, computation, and control between the cloud and each device. We have deployed CoDA in a recommendation scenario of Mobile Taobao. Online A/B testing results show the remarkable performance improvement of CoDA over both cloud-based learning without model personalization and on-device training without data augmentation. Overhead testing on a real device demonstrates the computation, storage, and communication efficiency of the on-device tasks in CoDA.
• Abstract（参考訳）: データの不均一性(data heterogeneity)は、レコメンダシステムの本質的な特性であり、クラウド上のグローバルデータ上でトレーニングされたモデルを、個々のユーザのローカルなデータ分散に対して非最適にすることを可能にする。 データの不均一性に対処するためには、デバイス上での学習によるモデルパーソナライズが考えられる。 しかし、ユーザの小さなローカルサンプルを使用したデバイス上でのトレーニングは、過度なオーバーフィッティングを引き起こし、モデルの一般化能力を損なう。 本研究では、純粋にクラウドベースの学習とオンデバイス学習のジレンマを解消する、CoDAと呼ばれる新しいデバイスクラウド協調学習フレームワークを提案する。 CoDAの重要な原則は、クラウドのグローバルプールから同様のサンプルを取得して、各ユーザのローカルデータセットを拡張してレコメンデーションモデルをトレーニングすることだ。 具体的には、クラウド上の粗粒サンプルマッチングの後、各デバイスにパーソナライズされたサンプル分類器を訓練して、細粒度サンプルフィルタリングを行い、ローカルデータ分布と外部データ分布の境界を学習する。 また、データの流れ、モデル、計算、およびクラウドと各デバイス間の制御をサポートするエンドツーエンドのパイプラインを構築します。 我々はMobile TaobaoのレコメンデーションシナリオにCoDAをデプロイした。 オンラインa/bテストの結果、モデルパーソナライズなしのクラウドベースの学習と、データ拡張なしのオンデバイストレーニングの両方でcodaのパフォーマンスが著しく向上した。 実際のデバイス上でのオーバーヘッドテストは、CoDAのオンデバイスタスクの計算、ストレージ、通信効率を示す。

関連論文リスト

• Enhancing Federated Learning Convergence with Dynamic Data Queue and Data Entropy-driven Participant Selection [13.825031686864559]
  Federated Learning(FL)は、エッジデバイス上でのコラボレーティブモデルトレーニングのための分散アプローチである。 本稿では,サーバ上のデータのグローバルサブセットを作成し,デバイス間で動的に分散することにより,FLの収束を改善する手法を提案する。 提案手法により,MNISTデータセットでは約5%,CIFAR-10では約18%,CIFAR-100では約20%の精度向上を実現した。
  論文  参考訳（メタデータ） (2024-10-23T11:47:04Z)
• Efficient Data Distribution Estimation for Accelerated Federated Learning [5.085889377571319]
  Federated Learning(FL)は、多数の分散エッジデバイスでグローバルモデルをその場でトレーニングする、プライバシ保護機械学習パラダイムである。 デバイスはシステムリソースとトレーニングデータの両方において非常に異質である。 様々なクライアント選択アルゴリズムが開発され、モデルカバレッジと精度の点で有望な性能向上を示している。
  論文  参考訳（メタデータ） (2024-06-03T20:33:17Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Cloud-Device Collaborative Adaptation to Continual Changing Environments in the Real-world [20.547119604004774]
  本稿では,クラウドとデバイス間の協調を促進するクラウドデバイス協調型継続的適応の新たな学習パラダイムを提案する。 また、クラウド上の大規模モデルの一般化能力をデバイスモデルに転送するための教師学生モデルとして、不確実性に基づくVisual Prompt Adapted (U-VPA)を提案する。 提案するU-VPA教師学生フレームワークは,従来の最先端テスト時間適応とデバイスクラウド協調手法より優れていた。
  論文  参考訳（メタデータ） (2022-12-02T05:02:36Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
  分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。 本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。 PENSは強力なベースラインに比べて高い精度を達成することができる。
  論文  参考訳（メタデータ） (2021-07-18T19:05:44Z)
• Federated Learning with Downlink Device Selection [92.14944020945846]
  我々は,無線ネットワークのエッジにおいて,プライバシーに敏感なデータを用いてグローバルモデルを協調訓練するフェデレーションエッジ学習について検討した。 パラメータサーバ(PS)は、グローバルモデルを追跡し、無線エッジデバイスと共有して、プライベートローカルデータを使用したトレーニングを行う。 デバイス選択は、PSがデバイスとグローバルモデルを共有するダウンリンクチャネルに基づいて検討する。
  論文  参考訳（メタデータ） (2021-07-07T22:42:39Z)
• Federated Visual Classification with Real-World Data Distribution [9.564468846277366]
  我々は,FedAvg(Federated Averaging)アルゴリズムのベンチマークを用いて,実世界のデータ分布が分散学習に与える影響を特徴付ける。 種別とランドマーク分類のための2つの新しい大規模データセットを導入し,ユーザ毎のデータ分割を現実的に行う。 また、2つの新しいアルゴリズム(FedVC、FedIR)も開発しています。
  論文  参考訳（メタデータ） (2020-03-18T07:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。