論文の概要: Privacy and Accuracy Implications of Model Complexity and Integration in Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2311.17750v3
• Date: Mon, 10 Mar 2025 11:10:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:40:55.158787
• Title: Privacy and Accuracy Implications of Model Complexity and Integration in Heterogeneous Federated Learning
• Title（参考訳）: 不均一フェデレーション学習におけるモデル複雑度と統合のプライバシと精度
• Authors: Gergely Dániel Németh, Miguel Ángel Lozano, Novi Quadrianto, Nuria Oliver,
• Abstract要約: 分散機械学習のプライバシ保護ソリューションとしてフェデレートラーニング(FL)が提案されている。 近年の研究では、クライアントデータのプライバシを損なうことができるMIA攻撃の影響が指摘されている。
• 参考スコア（独自算出の注目度）: 8.842172558292027
• License:
• Abstract: Federated Learning (FL) has been proposed as a privacy-preserving solution for distributed machine learning, particularly in heterogeneous FL settings where clients have varying computational capabilities and thus train models with different complexities compared to the server's model. However, FL is not without vulnerabilities: recent studies have shown that it is susceptible to membership inference attacks (MIA), which can compromise the privacy of client data. In this paper, we examine the intersection of these two aspects, heterogeneous FL and its privacy vulnerabilities, by focusing on the role of client model integration, the process through which the server integrates parameters from clients' smaller models into its larger model. To better understand this process, we first propose a taxonomy that categorizes existing heterogeneous FL methods and enables the design of seven novel heterogeneous FL model integration strategies. Using CIFAR-10, CIFAR-100, and FEMNIST vision datasets, we evaluate the privacy and accuracy trade-offs of these approaches under three types of MIAs. Our findings reveal significant differences in privacy leakage and performance depending on the integration method. Notably, introducing randomness in the model integration process enhances client privacy while maintaining competitive accuracy for both the clients and the server. This work provides quantitative light on the privacy-accuracy implications client model integration in heterogeneous FL settings, paving the way towards more secure and efficient FL systems.
• Abstract（参考訳）: フェデレートラーニング(FL)は分散機械学習のプライバシ保護ソリューションとして提案されている。特に不均一なFL設定では、クライアントは計算能力が異なるため、サーバのモデルと異なる複雑さを持つモデルを訓練する。 しかし、FLには脆弱性がないわけではない。最近の研究では、クライアントデータのプライバシを損なう可能性のある、メンバシップ推論攻撃(MIA)の影響を受けやすいことが示されている。 本稿では、クライアントモデル統合の役割、サーバがクライアントの小さなモデルからのパラメータをより大きなモデルに統合するプロセスに焦点を当て、これらの2つの側面、異種FLとそのプライバシー上の脆弱性の交点について検討する。 このプロセスをよりよく理解するために、我々はまず既存の異種FL手法を分類し、7つの新しい異種FLモデル統合戦略の設計を可能にする分類法を提案する。 CIFAR-10, CIFAR-100, FEMNISTビジョンデータセットを用いて、これらのアプローチのプライバシと精度のトレードオフを3種類のMIAで評価する。 本研究は, 統合手法によるプライバシー漏洩と性能に有意な差が認められた。 特に、モデル統合プロセスにランダム性を導入することで、クライアントとサーバの両方の競合精度を維持しながら、クライアントのプライバシが向上する。 この研究は、不均一なFL設定におけるクライアントモデル統合のプライバシーと正確性に関する定量的な光を提供し、よりセキュアで効率的なFLシステムへの道を開く。

関連論文リスト

• Optimal Strategies for Federated Learning Maintaining Client Privacy [8.518748080337838]
  本稿では,フェデレートラーニングシステムのモデル性能とコミュニケーションのトレードオフについて検討する。 グローバルなトレーニングラウンド当たりの1つのローカルエポックのトレーニングは、同じプライバシ予算を維持しながら、最適なパフォーマンスを提供することを示す。
  論文  参考訳（メタデータ） (2025-01-24T12:34:38Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Federated Behavioural Planes: Explaining the Evolution of Client Behaviour in Federated Learning [6.64590374742412]
  FLシステムの力学を解析・可視化・説明するための新しい手法であるFBP(Federated Behavioural Planes)を紹介する。 我々の実験は、FBPがクライアントの進化状態を記述した情報トラジェクトリを提供することを示した。 我々は、悪意のあるクライアントモデルやノイズの多いクライアントモデルを検出するために、Federated Behavioural Shieldsという名前のロバストアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T15:17:51Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Contrastive encoder pre-training-based clustered federated learning for heterogeneous data [17.580390632874046]
  フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。 本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
  論文  参考訳（メタデータ） (2023-11-28T05:44:26Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• Blockchain-based Optimized Client Selection and Privacy Preserved Framework for Federated Learning [2.4201849657206496]
  フェデレートラーニング(Federated Learning)は、大規模ニューラルネットワークモデルをトレーニングする分散メカニズムで、複数のクライアントが参加する。 この機能により、フェデレーション学習はデータのプライバシー問題に対するセキュアなソリューションとみなされる。 ブロックチェーンベースの最適化クライアント選択とプライバシ保護フレームワークを提案しました。
  論文  参考訳（メタデータ） (2023-07-25T01:35:51Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• Closing the Gap between Client and Global Model Performance in Heterogeneous Federated Learning [2.1044900734651626]
  カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。 KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
  論文  参考訳（メタデータ） (2022-11-07T11:12:57Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。