論文の概要: FedPDD: A Privacy-preserving Double Distillation Framework for
Cross-silo Federated Recommendation
- arxiv url: http://arxiv.org/abs/2305.06272v2
- Date: Tue, 30 Jan 2024 16:32:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 19:41:57.938980
- Title: FedPDD: A Privacy-preserving Double Distillation Framework for
Cross-silo Federated Recommendation
- Title(参考訳): FedPDD: クロスサイロフェデレーション勧告のためのプライバシー保護二重蒸留フレームワーク
- Authors: Sheng Wan, Dashan Gao, Hanlin Gu, Daning Hu
- Abstract要約: クロスプラットフォームレコメンデーションは、さまざまなプラットフォームから異種機能を集めることで、レコメンデーションの精度を向上させることを目的としている。
このようなプラットフォーム間のクロスサイロなコラボレーションは、ますます厳しいプライバシー保護規制によって制限される。
クロスサイロ・フェデレーション・レコメンデーションのための新しいプライバシー保護型二重蒸留フレームワークであるFedPDDを提案する。
- 参考スコア(独自算出の注目度): 4.467445574103374
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Cross-platform recommendation aims to improve recommendation accuracy by
gathering heterogeneous features from different platforms. However, such
cross-silo collaborations between platforms are restricted by increasingly
stringent privacy protection regulations, thus data cannot be aggregated for
training. Federated learning (FL) is a practical solution to deal with the data
silo problem in recommendation scenarios. Existing cross-silo FL methods
transmit model information to collaboratively build a global model by
leveraging the data of overlapped users. However, in reality, the number of
overlapped users is often very small, thus largely limiting the performance of
such approaches. Moreover, transmitting model information during training
requires high communication costs and may cause serious privacy leakage. In
this paper, we propose a novel privacy-preserving double distillation framework
named FedPDD for cross-silo federated recommendation, which efficiently
transfers knowledge when overlapped users are limited. Specifically, our double
distillation strategy enables local models to learn not only explicit knowledge
from the other party but also implicit knowledge from its past predictions.
Moreover, to ensure privacy and high efficiency, we employ an offline training
scheme to reduce communication needs and privacy leakage risk. In addition, we
adopt differential privacy to further protect the transmitted information. The
experiments on two real-world recommendation datasets, HetRec-MovieLens and
Criteo, demonstrate the effectiveness of FedPDD compared to the
state-of-the-art approaches.
- Abstract(参考訳): クロスプラットフォームレコメンデーションは、さまざまなプラットフォームから異種機能を集めることで、レコメンデーションの精度を向上させることを目的としている。
しかし、このようなプラットフォーム間のクロスサイロなコラボレーションは、ますます厳しいプライバシー保護規制によって制限されるため、トレーニングのためにデータを集約することはできない。
フェデレーション学習(fl)は、レコメンデーションシナリオにおけるデータサイロ問題に対処するための実用的なソリューションである。
既存のクロスサイロfl手法では,重複するユーザのデータを活用することで,モデル情報を伝達してグローバルモデルを構築する。
しかし実際には、重複するユーザ数はしばしば非常に少なく、そのようなアプローチのパフォーマンスをほとんど制限している。
さらに、トレーニング中にモデル情報を伝達するには通信コストが高く、重大なプライバシー漏洩を引き起こす可能性がある。
本稿では,重複するユーザの知識を効率的に伝達するクロスサイロフェデレーションのための,プライバシー保全型二重蒸留フレームワークfeedpddを提案する。
具体的には,二回蒸留戦略により,局所モデルが相手からの明示的な知識だけでなく,その過去の予測から暗黙的な知識を学習できる。
さらに,プライバシと高効率性を確保するため,通信ニーズとプライバシー漏洩リスクを低減するため,オフライントレーニング方式を採用している。
さらに,送信情報を保護するために,ディファレンシャルプライバシを採用する。
実世界の2つのレコメンデーションデータセットであるHetRec-MovieLensとCriteoの実験は、最先端のアプローチと比較してFedPDDの有効性を実証している。
関連論文リスト
- Defending Against Data Reconstruction Attacks in Federated Learning: An
Information Theory Approach [21.03960608358235]
フェデレートラーニング(FL)は、直接データ共有の代わりにパラメータを交換することで、異なるクライアント間でブラックボックスと高次元のモデルを訓練する。
FLは依然として、メンバーシップ推論攻撃 (MIA) やデータ再構成攻撃 (DRA) に悩まされている。
論文 参考訳(メタデータ) (2024-03-02T17:12:32Z) - PS-FedGAN: An Efficient Federated Learning Framework Based on Partially
Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。
本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。
PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
論文 参考訳(メタデータ) (2023-05-19T05:39:40Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-02-24T08:41:19Z) - Privacy-Preserving Joint Edge Association and Power Optimization for the
Internet of Vehicles via Federated Multi-Agent Reinforcement Learning [74.53077322713548]
プライバシ保護型共同エッジアソシエーションと電力配分問題について検討する。
提案されたソリューションは、最先端のソリューションよりも高いプライバシレベルを維持しながら、魅力的なトレードオフにぶつかる。
論文 参考訳(メタデータ) (2023-01-26T10:09:23Z) - Federated Learning with Privacy-Preserving Ensemble Attention
Distillation [63.39442596910485]
Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。
本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。
我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
論文 参考訳(メタデータ) (2022-10-16T06:44:46Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳(メタデータ) (2022-02-14T18:33:12Z) - Federated Learning in Adversarial Settings [0.8701566919381224]
フェデレートされた学習スキームは、堅牢性、プライバシ、帯域幅効率、モデルの精度の異なるトレードオフを提供します。
この拡張は、厳格なプライバシー要件があっても、プライベートではないがロバストなスキームと同じくらい効率的に機能することを示す。
これは差別化プライバシとロバストネスの基本的なトレードオフの可能性を示している。
論文 参考訳(メタデータ) (2020-10-15T14:57:02Z) - Federated Learning with Sparsification-Amplified Privacy and Adaptive
Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。
スパーシフィケーションを増幅した新しいFLフレームワークを提案する。
提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文 参考訳(メタデータ) (2020-08-01T20:22:57Z) - SPEED: Secure, PrivatE, and Efficient Deep learning [2.283665431721732]
私たちは、強力なプライバシー制約に対処できるディープラーニングフレームワークを導入します。
協調学習、差分プライバシー、同型暗号化に基づいて、提案手法は最先端技術に進化する。
論文 参考訳(メタデータ) (2020-06-16T19:31:52Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳(メタデータ) (2020-05-01T04:28:38Z) - Federating Recommendations Using Differentially Private Prototypes [16.29544153550663]
生データを収集せずにグローバルおよびローカルなプライベートモデルを学習するための新しいフェデレーションアプローチを提案する。
通信を2ラウンドだけ必要とすることで、通信コストを削減し、過剰なプライバシー損失を回避することができます。
本稿では,グローバルモデルの局所的適応により,集中行列分解に基づくレコメンデータシステムモデルよりも優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2020-03-01T22:21:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。