論文の概要: P4: Towards private, personalized, and Peer-to-Peer learning

• arxiv url: http://arxiv.org/abs/2405.17697v1
• Date: Mon, 27 May 2024 23:04:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 23:01:26.812642
• Title: P4: Towards private, personalized, and Peer-to-Peer learning
• Title（参考訳）: P4:プライベート、パーソナライズ、ピアツーピアラーニングを目指す
• Authors: Mohammad Mahdi Maheri, Sandra Siby, Ali Shahin Shamsabadi, Sina Abdollahi, Anastasia Borovykh, Hamed Haddadi,
• Abstract要約: パーソナライズの主な課題は、クライアントクラスタリングとデータのプライバシである。 P4(Personalized Private Peer-to-Peer)は、各クライアントがパーソナライズされたモデルを受け取ることを保証する手法である。 P4は微分プライベートP2Pの最先端性能を最大40%向上させる。
• 参考スコア（独自算出の注目度）: 12.588599853056603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalized learning is a proposed approach to address the problem of data heterogeneity in collaborative machine learning. In a decentralized setting, the two main challenges of personalization are client clustering and data privacy. In this paper, we address these challenges by developing P4 (Personalized Private Peer-to-Peer) a method that ensures that each client receives a personalized model while maintaining differential privacy guarantee of each client's local dataset during and after the training. Our approach includes the design of a lightweight algorithm to identify similar clients and group them in a private, peer-to-peer (P2P) manner. Once grouped, we develop differentially-private knowledge distillation for clients to co-train with minimal impact on accuracy. We evaluate our proposed method on three benchmark datasets (FEMNIST or Federated EMNIST, CIFAR-10 and CIFAR-100) and two different neural network architectures (Linear and CNN-based networks) across a range of privacy parameters. The results demonstrate the potential of P4, as it outperforms the state-of-the-art of differential private P2P by up to 40 percent in terms of accuracy. We also show the practicality of P4 by implementing it on resource constrained devices, and validating that it has minimal overhead, e.g., about 7 seconds to run collaborative training between two clients.
• Abstract（参考訳）: パーソナライズド・ラーニング(Personalized learning)は、協調機械学習におけるデータ不均一性の問題に対処する手法である。 分散環境では、パーソナライズの主な課題は、クライアントクラスタリングとデータのプライバシである。 本稿では,P4(Personalized Private Peer-to-Peer)を開発し,各クライアントがトレーニング中の各クライアントのローカルデータセットの差分プライバシ保証を維持しながらパーソナライズされたモデルを受け取ることを保証する手法を提案する。 我々のアプローチは、類似したクライアントを識別し、P2P方式でグループ化する軽量なアルゴリズムの設計を含む。 一度グループ化すると、クライアントが精度に最小限の影響を伴ってコトレーニングを行うための、差分プライベートな知識蒸留を開発する。 提案手法は,3つのベンチマークデータセット(FEMNIST,Federated EMNIST,CIFAR-10,CIFAR-100)と2つの異なるニューラルネットワークアーキテクチャ(LinearとCNNベースのネットワーク)に対して,さまざまなプライバシパラメータを用いた評価を行った。 その結果、P4の可能性が示され、精度で微分プライベートP2Pの最先端を最大40%上回った。 また、リソース制約のあるデバイスに実装することでP4の実用性を示すとともに、2つのクライアント間の協調トレーニングの実行に約7秒を要したオーバーヘッドを最小限に抑えることを検証する。

関連論文リスト

• Federated Face Forgery Detection Learning with Personalized Representation [63.90408023506508]
  ディープジェネレータ技術は、区別がつかない高品質のフェイクビデオを制作し、深刻な社会的脅威をもたらす可能性がある。 従来の偽造検出手法は、データを直接集中的に訓練する。 本稿では,個人化表現を用いた新しいフェデレーション顔偽造検出学習を提案する。
  論文  参考訳（メタデータ） (2024-06-17T02:20:30Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• Personalized Federated Learning of Probabilistic Models: A PAC-Bayesian Approach [42.59649764999974]
  フェデレートラーニングは、複数のクライアントがローカルに格納するプライベートおよび分散データから、共有モデルを推論することを目的としている。 PAC-Bayesian フレームワーク内で確率モデルを学習するための PFL アルゴリズム PAC-PFL を提案する。 提案アルゴリズムは,共有されたハイパーポインターを協調的に学習し,各クライアントの後部推論をステップパーソナライズとみなす。
  論文  参考訳（メタデータ） (2024-01-16T13:30:37Z)
• Learn What You Need in Personalized Federated Learning [53.83081622573734]
  $textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。 我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-16T12:45:15Z)
• P4L: Privacy Preserving Peer-to-Peer Learning for Infrastructureless Setups [5.601217969637838]
  P4Lは、ユーザが非同期で協調的な学習スキームに参加するための、プライバシ保護のためのピアツーピア学習システムである。 私たちの設計では、共有勾配の秘密性と実用性の両方を維持するために、強力な暗号プリミティブを使用します。
  論文  参考訳（メタデータ） (2023-02-26T23:30:18Z)
• FedHP: Heterogeneous Federated Learning with Privacy-preserving [0.0]
  フェデレーション学習は分散機械学習環境であり、パラメータを交換するだけで、クライアントがプライベートデータを共有せずにコラボレーティブなトレーニングを完了できるようにする。 本稿では,事前学習されたモデルをバックボーンとして,完全に接続されたレイヤをヘッドとして構成する,新しいフェデレーション学習手法を提案する。 勾配空間に基づくパラメータではなく、クラスの埋め込みベクトルを共有することで、クライアントはプライベートデータにより適応でき、サーバとクライアント間の通信においてより効率的になります。
  論文  参考訳（メタデータ） (2023-01-27T13:32:17Z)
• Group privacy for personalized federated learning [4.30484058393522]
  フェデレーション・ラーニング(Federated Learning)は、コラボレーティブ・機械学習の一種で、参加するクライアントがデータをローカルに処理し、コラボレーティブ・モデルの更新のみを共有する。 我々は、$d$-privacyのキープロパティを利用するグループプライバシ保証を提供する方法を提案する。
  論文  参考訳（メタデータ） (2022-06-07T15:43:45Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
  局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。 合成および実世界のデータセットに関する実験により理論的結果について述べる。
  論文  参考訳（メタデータ） (2022-02-10T20:44:44Z)
• Renyi Differential Privacy of the Subsampled Shuffle Model in Distributed Learning [7.197592390105457]
  クライアントは、プライバシを必要とするサーバとのインタラクションを通じて、学習モデルを反復的に構築する分散学習フレームワークで、プライバシを研究する。 最適化とフェデレートラーニング(FL)パラダイムによって動機付けられ、各ラウンドで少数のデータサンプルがランダムにサブサンプリングされた場合に焦点を当てる。 より強力なローカルプライバシ保証を得るために,各クライアントがローカルディファレンシャル・プライベート(LDP)機構を用いて応答をランダム化するシャッフルプライバシ・モデルを用いてこれを検証した。
  論文  参考訳（メタデータ） (2021-07-19T11:43:24Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。