論文の概要: On-Device Model Fine-Tuning with Label Correction in Recommender Systems

• arxiv url: http://arxiv.org/abs/2211.01163v1
• Date: Fri, 21 Oct 2022 14:40:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-06 15:06:08.183079
• Title: On-Device Model Fine-Tuning with Label Correction in Recommender Systems
• Title（参考訳）: レコメンダシステムにおけるラベル補正を用いたオンデバイスモデルファインチューニング
• Authors: Yucheng Ding, Chaoyue Niu, Fan Wu, Shaojie Tang, Chengfei Lyu, Guihai Chen
• Abstract要約: 本研究は、推薦システムにおける基本的なクリックスルー率(CTR)予測タスクに焦点を当てる。 デバイス上での微調整に先立って,各ユーザがローカルサンプルのラベルを変更するだけでよい新しいラベル補正手法を提案する。
• 参考スコア（独自算出の注目度）: 43.41875046295657
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To meet the practical requirements of low latency, low cost, and good privacy in online intelligent services, more and more deep learning models are offloaded from the cloud to mobile devices. To further deal with cross-device data heterogeneity, the offloaded models normally need to be fine-tuned with each individual user's local samples before being put into real-time inference. In this work, we focus on the fundamental click-through rate (CTR) prediction task in recommender systems and study how to effectively and efficiently perform on-device fine-tuning. We first identify the bottleneck issue that each individual user's local CTR (i.e., the ratio of positive samples in the local dataset for fine-tuning) tends to deviate from the global CTR (i.e., the ratio of positive samples in all the users' mixed datasets on the cloud for training out the initial model). We further demonstrate that such a CTR drift problem makes on-device fine-tuning even harmful to item ranking. We thus propose a novel label correction method, which requires each user only to change the labels of the local samples ahead of on-device fine-tuning and can well align the locally prior CTR with the global CTR. The offline evaluation results over three datasets and five CTR prediction models as well as the online A/B testing results in Mobile Taobao demonstrate the necessity of label correction in on-device fine-tuning and also reveal the improvement over cloud-based learning without fine-tuning.
• Abstract（参考訳）: オンラインインテリジェントサービスにおける低レイテンシ、低コスト、優れたプライバシの現実的な要件を満たすため、より多くのディープラーニングモデルがクラウドからモバイルデバイスにオフロードされる。 デバイス間のデータ不均一性に対処するためには、オフロードされたモデルは、リアルタイムの推論に入る前に、個々のユーザのローカルサンプルに微調整する必要がある。 本研究では,レコメンダシステムにおける基本クリックスルー率(ctr)予測タスクに着目し,デバイス上での微調整を効果的かつ効率的に行う方法について検討する。 まず、各ユーザのローカルCTR(例えば、微調整のためのローカルデータセットにおける正のサンプルの割合)がグローバルCTRから逸脱する傾向にあるボトルネック問題(すなわち、初期モデルをトレーニングするためにクラウド上のすべてのユーザの混合データセットにおける正のサンプルの割合)を特定する。 さらに、このようなCTRドリフト問題により、デバイス上での微調整がアイテムランキングに有害であることを示す。 そこで本研究では,各ユーザに対して,オンデバイスでの微調整に先立って,ローカルサンプルのラベルの変更のみを要求できる新しいラベル補正法を提案する。 3つのデータセットと5つのCTR予測モデルに対するオフライン評価結果と、Mobile TaobaoのオンラインA/Bテスト結果は、デバイス上の微調整においてラベル補正の必要性を示し、微調整なしでクラウドベースの学習の改善を明らかにする。

関連論文リスト

• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Adaptive Self-Distillation for Minimizing Client Drift in Heterogeneous Federated Learning [9.975023463908496]
  Federated Learning(FL)は、クライアントがローカルトレーニングデータを共有せずに、局所的にトレーニングされたモデルを集約することで、グローバルモデルの共同トレーニングを可能にする機械学習パラダイムである。 本稿では,適応自己蒸留(ASD)に基づく新たな正規化手法を提案する。 我々の正規化方式は,グローバルモデルエントロピーとクライアントのラベル分布に基づいて,クライアントのトレーニングデータに適応的に適応的に適応する。
  論文  参考訳（メタデータ） (2023-05-31T07:00:42Z)
• Always Strengthen Your Strengths: A Drift-Aware Incremental Learning Framework for CTR Prediction [4.909628097144909]
  クリックスルー率(CTR)予測はレコメンデーションシステムやオンライン広告プラットフォームにおいて非常に重要である。 ストリーミングデータには、基礎となる分布が時間とともにドリフトし、再帰する可能性があるという特徴がある。 我々は、CTR予測における破滅的な忘れに対処するために、アンサンブル学習に基づく新しいドリフト対応インクリメンタルラーニングフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-04-17T05:45:18Z)
• When to Trust Aggregated Gradients: Addressing Negative Client Sampling in Federated Learning [41.51682329500003]
  本稿では,各ラウンドにおける集約勾配に対するサーバ学習率を調整するための新しい学習率適応機構を提案する。 我々は、最適なサーバ学習率に肯定的な有意義で堅牢な指標を見つけるために、理論的な推論を行う。
  論文  参考訳（メタデータ） (2023-01-25T03:52:45Z)
• Knockoffs-SPR: Clean Sample Selection in Learning with Noisy Labels [56.81761908354718]
  雑音ラベルを用いた学習のための,理論的に保証されたクリーンサンプル選択フレームワークを提案する。 Knockoffs-SPRは、標準的な教師付きトレーニングパイプラインのサンプル選択モジュールと見なすことができる。 さらに、ラベルなしデータとしてノイズデータのサポートを利用する半教師付きアルゴリズムと組み合わせる。
  論文  参考訳（メタデータ） (2023-01-02T07:13:28Z)
• Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models [107.05966685291067]
  テスト時間プロンプトチューニング (TPT) を提案し, 適応的なプロンプトを1つのテストサンプルで学習する。 TPTはCLIPのゼロショットトップ1の精度を平均3.6%改善する。 クロスデータセットの一般化を目に見えないカテゴリで評価する際、PTは追加のトレーニングデータを使用する最先端のアプローチと同等に機能する。
  論文  参考訳（メタデータ） (2022-09-15T17:55:11Z)
• Rethinking Position Bias Modeling with Knowledge Distillation for CTR Prediction [8.414183573280779]
  本研究では,位置バイアスの影響を緩和し,位置情報を活用してCTR予測を改善する知識蒸留フレームワークを提案する。 提案手法は現実世界のオンライン広告システムに展開され、世界最大の電子商取引プラットフォームの1つで主要なトラフィックを提供する。
  論文  参考訳（メタデータ） (2022-04-01T07:58:38Z)
• Federated Self-Supervised Learning for Acoustic Event Classification [23.27204234096171]
  Federated Learning(FL)は、データの収集とモデルのトレーニングを分離して顧客のプライバシを高めるフレームワークである。 自己教師型学習をFLフレームワークに適応させることにより,表現のデバイス上での連続学習を実現する。 ベースラインw/o FLと比較して,提案手法はリコールを維持しながら,20.3%の精度向上を実現している。
  論文  参考訳（メタデータ） (2022-03-22T18:49:52Z)
• Higher Performance Visual Tracking with Dual-Modal Localization [106.91097443275035]
  Visual Object Tracking (VOT)は、堅牢性と正確性の両方に同期性を必要とする。 ONRによるロバストなローカリゼーション抑制器とOFCによるターゲットセンターへの正確なローカリゼーションにより、ターゲットローカリゼーションのためのデュアルモーダルフレームワークを提案します。
  論文  参考訳（メタデータ） (2021-03-18T08:47:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。