論文の概要: FedSPLIT: One-Shot Federated Recommendation System Based on Non-negative
Joint Matrix Factorization and Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2205.02359v1
- Date: Wed, 4 May 2022 23:42:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-06 15:32:53.723817
- Title: FedSPLIT: One-Shot Federated Recommendation System Based on Non-negative
Joint Matrix Factorization and Knowledge Distillation
- Title(参考訳): FedSPLIT:非負の関節マトリックス因子化と知識蒸留に基づくワンショットフェデレーション勧告システム
- Authors: Maksim E. Eren, Luke E. Richards, Manish Bhattarai, Roberto Yus,
Charles Nicholas, Boian S. Alexandrov
- Abstract要約: 我々はNMF結合因子化に基づく最初の教師なしワンショットフェデレーションCF実装であるFedSPLITを提案する。
FedSPLITは、コミュニケーションの数を大幅に減らすことで、技術の現状と類似した結果を得ることができる(特定の状況では、それよりも優れている)。
- 参考スコア(独自算出の注目度): 7.621960305708476
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-negative matrix factorization (NMF) with missing-value completion is a
well-known effective Collaborative Filtering (CF) method used to provide
personalized user recommendations. However, traditional CF relies on the
privacy-invasive collection of users' explicit and implicit feedback to build a
central recommender model. One-shot federated learning has recently emerged as
a method to mitigate the privacy problem while addressing the traditional
communication bottleneck of federated learning. In this paper, we present the
first unsupervised one-shot federated CF implementation, named FedSPLIT, based
on NMF joint factorization. In our solution, the clients first apply local CF
in-parallel to build distinct client-specific recommenders. Then, the
privacy-preserving local item patterns and biases from each client are shared
with the processor to perform joint factorization in order to extract the
global item patterns. Extracted patterns are then aggregated to each client to
build the local models via knowledge distillation. In our experiments, we
demonstrate the feasibility of our approach with standard recommendation
datasets. FedSPLIT can obtain similar results than the state of the art (and
even outperform it in certain situations) with a substantial decrease in the
number of communications.
- Abstract(参考訳): 非負行列分解(非負行列分解、NMF)は、パーソナライズされたユーザレコメンデーションを提供するために使われる、よく知られた効果的な協調フィルタリング(CF)手法である。
しかしながら、従来のcfは、ユーザの明示的かつ暗黙的なフィードバックのプライバシー侵害的な収集に頼って、中央のレコメンデーションモデルを構築している。
フェデレーション学習の従来のコミュニケーションボトルネックに対処する一方で,プライバシ問題を軽減する手段として,ワンショットフェデレーション学習が最近登場した。
本稿では,NMF結合因子化に基づくFedSPLITという,最初の教師なし単発フェデレーションCF実装を提案する。
私たちのソリューションでは、クライアントはまず、異なるクライアント固有のレコメンデータを構築するために、ローカルCFを並列で適用します。
そして、各クライアントからのプライバシー保護されたローカルアイテムパターンとバイアスをプロセッサと共有し、グローバルアイテムパターンを抽出するために共同ファクタリングを行う。
抽出されたパターンは各クライアントに集約され、知識蒸留を通じてローカルモデルを構築する。
実験では,標準レコメンデーションデータセットを用いたアプローチの実現可能性を示す。
FedSPLITは、コミュニケーションの数を大幅に減らすことで、技術の現状と類似した結果を得ることができる(特定の状況では、それよりも優れている)。
関連論文リスト
- FedJETs: Efficient Just-In-Time Personalization with Federated Mixture
of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。
我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。
我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文 参考訳(メタデータ) (2023-06-14T15:47:52Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - User-Centric Federated Learning: Trading off Wireless Resources for
Personalization [18.38078866145659]
フェデレートラーニング(FL)システムでは、統計的不均一性はアルゴリズム収束時間を増やし、一般化性能を低下させる。
FLが課すプライバシー制約に違反することなく、上記の問題に対処するためには、パーソナライズされたFLメソッドは、データに直接アクセスすることなく、統計的に類似したクライアントを結合する必要がある。
本研究では,容易に利用できる勾配情報に基づいて,FLクライアント毎にパーソナライズされたモデルを生成可能なユーザ中心集約ルールを設計する。
提案アルゴリズムは,平均精度,ノード性能,通信オーバヘッドの訓練において,パーソナライズされたFLベースラインを上回っている。
論文 参考訳(メタデータ) (2023-04-25T15:45:37Z) - PGFed: Personalize Each Client's Global Objective for Federated Learning [7.810284483002312]
本稿では,各クライアントが自身のグローバルな目的をパーソナライズ可能な,パーソナライズされたFLフレームワークを提案する。
大規模な(O(N2))通信オーバーヘッドと潜在的なプライバシリークを回避するため、各クライアントのリスクは、他のクライアントの適応的リスクアグリゲーションの1次近似によって推定される。
異なるフェデレーション条件下での4つのデータセットに対する実験により,従来の最先端手法よりも一貫したPGFの改良が示された。
論文 参考訳(メタデータ) (2022-12-02T21:16:39Z) - User-Specific Bicluster-based Collaborative Filtering: Handling
Preference Locality, Sparsity and Subjectivity [1.0398909602421018]
協調フィルタリング(CF)はRecommender Systemsを構築するための最も一般的なアプローチである。
我々は、強く一貫性があり統計的に有意な評価パターンからユーザ固有のモデルを生成する、BiclusteringベースのCFアプローチであるUSBFCを提案する。
USBFCは最先端のCF手法に対する競合予測精度を実現する。
論文 参考訳(メタデータ) (2022-11-15T18:10:52Z) - Anomaly Detection through Unsupervised Federated Learning [0.0]
フェデレートラーニングは、分散リソースを活用する上で最も有望なパラダイムの1つであることが証明されています。
本稿では,前処理フェーズを通じて,クライアントをコミュニティにグループ化する手法を提案する。
結果の異常検出モデルは共有され、同じコミュニティのクライアント内の異常を検出するために使用される。
論文 参考訳(メタデータ) (2022-09-09T08:45:47Z) - FedCL: Federated Contrastive Learning for Privacy-Preserving
Recommendation [98.5705258907774]
FedCLは、プライバシーを十分に保護した効果的なモデルトレーニングのために、高品質な負のサンプルを利用することができる。
まず、各クライアントのローカルモデルを介してローカルユーザデータからユーザ埋め込みを推測し、その後、ローカルディファレンシャルプライバシ(LDP)で摂動する。
個々のユーザ埋め込みにはLDPによる重騒音が伴うため,ノイズの影響を軽減するため,サーバ上にユーザ埋め込みをクラスタ化することを提案する。
論文 参考訳(メタデータ) (2022-04-21T02:37:10Z) - On the Convergence of Clustered Federated Learning [57.934295064030636]
統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。
本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-13T02:39:19Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳(メタデータ) (2020-12-20T14:34:36Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳(メタデータ) (2020-12-15T19:30:29Z) - Federating Recommendations Using Differentially Private Prototypes [16.29544153550663]
生データを収集せずにグローバルおよびローカルなプライベートモデルを学習するための新しいフェデレーションアプローチを提案する。
通信を2ラウンドだけ必要とすることで、通信コストを削減し、過剰なプライバシー損失を回避することができます。
本稿では,グローバルモデルの局所的適応により,集中行列分解に基づくレコメンデータシステムモデルよりも優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2020-03-01T22:21:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。