論文の概要: FedCL: Federated Contrastive Learning for Privacy-Preserving
Recommendation
- arxiv url: http://arxiv.org/abs/2204.09850v1
- Date: Thu, 21 Apr 2022 02:37:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-23 02:22:09.672633
- Title: FedCL: Federated Contrastive Learning for Privacy-Preserving
Recommendation
- Title(参考訳): FedCL: プライバシ保護レコメンデーションのためのFederated Contrastive Learning
- Authors: Chuhan Wu, Fangzhao Wu, Tao Qi, Yongfeng Huang, Xing Xie
- Abstract要約: FedCLは、プライバシーを十分に保護した効果的なモデルトレーニングのために、高品質な負のサンプルを利用することができる。
まず、各クライアントのローカルモデルを介してローカルユーザデータからユーザ埋め込みを推測し、その後、ローカルディファレンシャルプライバシ(LDP)で摂動する。
個々のユーザ埋め込みにはLDPによる重騒音が伴うため,ノイズの影響を軽減するため,サーバ上にユーザ埋め込みをクラスタ化することを提案する。
- 参考スコア(独自算出の注目度): 98.5705258907774
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrastive learning is widely used for recommendation model learning, where
selecting representative and informative negative samples is critical. Existing
methods usually focus on centralized data, where abundant and high-quality
negative samples are easy to obtain. However, centralized user data storage and
exploitation may lead to privacy risks and concerns, while decentralized user
data on a single client can be too sparse and biased for accurate contrastive
learning. In this paper, we propose a federated contrastive learning method
named FedCL for privacy-preserving recommendation, which can exploit
high-quality negative samples for effective model training with privacy well
protected. We first infer user embeddings from local user data through the
local model on each client, and then perturb them with local differential
privacy (LDP) before sending them to a central server for hard negative
sampling. Since individual user embedding contains heavy noise due to LDP, we
propose to cluster user embeddings on the server to mitigate the influence of
noise, and the cluster centroids are used to retrieve hard negative samples
from the item pool. These hard negative samples are delivered to user clients
and mixed with the observed negative samples from local data as well as
in-batch negatives constructed from positive samples for federated model
training. Extensive experiments on four benchmark datasets show FedCL can
empower various recommendation methods in a privacy-preserving way.
- Abstract(参考訳): 対照的な学習はレコメンデーションモデル学習に広く使われており、代表的および有意義な否定的なサンプルを選択することが重要である。
既存の手法は通常、豊富で高品質な負のサンプルが入手しやすい集中型データに焦点を当てている。
しかし、集中型ユーザデータストレージとエクスプロイトによって、プライバシのリスクと懸念が高まる一方で、単一クライアント上の分散化されたユーザデータは、正確なコントラスト学習には偏りがちである。
本稿では,プライバシーを十分に保護した効果的なモデルトレーニングのために,高品質な否定的サンプルを活用できる,プライバシー保護推奨のためのfederated contrastive learning法であるfederated contrastive learning methodを提案する。
まず、各クライアントのローカルモデルを介してローカルユーザデータからユーザ埋め込みを推測し、その後、ローカルディファレンシャルプライバシ(LDP)で摂動した後、ハードネガティブサンプリングのために中央サーバに送信する。
個人ユーザ埋め込みは, LDPによる重騒音を含むため, ノイズの影響を軽減するためにサーバ上にユーザ埋め込みをクラスタ化することを提案し, クラスタセントロイドを用いてアイテムプールからハードネガティブなサンプルを検索する。
これらの強い負のサンプルは、ユーザクライアントに配信され、ローカルデータから観測された負のサンプルと混合される。
4つのベンチマークデータセットに対する大規模な実験は、FedCLがさまざまなレコメンデーションメソッドをプライバシ保護方法で強化できることを示している。
関連論文リスト
- FedDiv: Collaborative Noise Filtering for Federated Learning with Noisy
Labels [99.70895640578816]
雑音ラベル付きフェデレーション学習(F-LNL)は,協調型分散学習を通じて最適なサーバモデルを求めることを目的としている。
我々はF-LNLの課題に取り組むためにFedDivを提案し、特にフェデレートノイズフィルタと呼ばれるグローバルノイズフィルタを提案する。
論文 参考訳(メタデータ) (2023-12-19T15:46:47Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳(メタデータ) (2023-06-25T13:38:51Z) - When to Trust Aggregated Gradients: Addressing Negative Client Sampling
in Federated Learning [41.51682329500003]
本稿では,各ラウンドにおける集約勾配に対するサーバ学習率を調整するための新しい学習率適応機構を提案する。
我々は、最適なサーバ学習率に肯定的な有意義で堅牢な指標を見つけるために、理論的な推論を行う。
論文 参考訳(メタデータ) (2023-01-25T03:52:45Z) - FedSPLIT: One-Shot Federated Recommendation System Based on Non-negative
Joint Matrix Factorization and Knowledge Distillation [7.621960305708476]
我々はNMF結合因子化に基づく最初の教師なしワンショットフェデレーションCF実装であるFedSPLITを提案する。
FedSPLITは、コミュニケーションの数を大幅に減らすことで、技術の現状と類似した結果を得ることができる(特定の状況では、それよりも優れている)。
論文 参考訳(メタデータ) (2022-05-04T23:42:14Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳(メタデータ) (2021-08-12T09:14:44Z) - Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。
トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
論文 参考訳(メタデータ) (2021-05-27T08:38:29Z) - Doubly Contrastive Deep Clustering [135.7001508427597]
本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。
具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。
クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。
このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
論文 参考訳(メタデータ) (2021-03-09T15:15:32Z) - Auto-weighted Robust Federated Learning with Corrupted Data Sources [7.475348174281237]
フェデレーション学習はコミュニケーション効率とプライバシ保護のトレーニングプロセスを提供する。
平均損失関数をナイーブに最小化する標準的なフェデレーション学習技術は、データの破損に弱い。
破損したデータソースに対して堅牢性を提供するために、自動重み付けロバストフェデレーテッドラーニング(arfl)を提案します。
論文 参考訳(メタデータ) (2021-01-14T21:54:55Z) - Sampler Design for Implicit Feedback Data by Noisy-label Robust Learning [32.76804332450971]
暗黙的なフィードバックデータに対する雑音ラベルの頑健な学習に基づく適応型サンプリング器を設計する。
モデルを用いてユーザの好みを予測し、観測されたデータラベルの可能性を最大化して学習する。
次に、これらのノイズラベルのリスクを検討し、ノイズラベルのRobust BPOを提案する。
論文 参考訳(メタデータ) (2020-06-28T05:31:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。