論文の概要: Privacy and Accuracy Implications of Model Complexity and Integration in Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2311.17750v3
• Date: Mon, 10 Mar 2025 11:10:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 20:09:43.551998
• Title: Privacy and Accuracy Implications of Model Complexity and Integration in Heterogeneous Federated Learning
• Title（参考訳）: 不均一フェデレーション学習におけるモデル複雑度と統合のプライバシと精度
• Authors: Gergely Dániel Németh, Miguel Ángel Lozano, Novi Quadrianto, Nuria Oliver,
• Abstract要約: 分散機械学習のプライバシ保護ソリューションとしてフェデレートラーニング(FL)が提案されている。 近年の研究では、クライアントデータのプライバシを損なうことができるMIA攻撃の影響が指摘されている。
• 参考スコア（独自算出の注目度）: 8.842172558292027
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) has been proposed as a privacy-preserving solution for distributed machine learning, particularly in heterogeneous FL settings where clients have varying computational capabilities and thus train models with different complexities compared to the server's model. However, FL is not without vulnerabilities: recent studies have shown that it is susceptible to membership inference attacks (MIA), which can compromise the privacy of client data. In this paper, we examine the intersection of these two aspects, heterogeneous FL and its privacy vulnerabilities, by focusing on the role of client model integration, the process through which the server integrates parameters from clients' smaller models into its larger model. To better understand this process, we first propose a taxonomy that categorizes existing heterogeneous FL methods and enables the design of seven novel heterogeneous FL model integration strategies. Using CIFAR-10, CIFAR-100, and FEMNIST vision datasets, we evaluate the privacy and accuracy trade-offs of these approaches under three types of MIAs. Our findings reveal significant differences in privacy leakage and performance depending on the integration method. Notably, introducing randomness in the model integration process enhances client privacy while maintaining competitive accuracy for both the clients and the server. This work provides quantitative light on the privacy-accuracy implications client model integration in heterogeneous FL settings, paving the way towards more secure and efficient FL systems.
• Abstract（参考訳）: フェデレートラーニング(FL)は分散機械学習のプライバシ保護ソリューションとして提案されている。特に不均一なFL設定では、クライアントは計算能力が異なるため、サーバのモデルと異なる複雑さを持つモデルを訓練する。 しかし、FLには脆弱性がないわけではない。最近の研究では、クライアントデータのプライバシを損なう可能性のある、メンバシップ推論攻撃(MIA)の影響を受けやすいことが示されている。 本稿では、クライアントモデル統合の役割、サーバがクライアントの小さなモデルからのパラメータをより大きなモデルに統合するプロセスに焦点を当て、これらの2つの側面、異種FLとそのプライバシー上の脆弱性の交点について検討する。 このプロセスをよりよく理解するために、我々はまず既存の異種FL手法を分類し、7つの新しい異種FLモデル統合戦略の設計を可能にする分類法を提案する。 CIFAR-10, CIFAR-100, FEMNISTビジョンデータセットを用いて、これらのアプローチのプライバシと精度のトレードオフを3種類のMIAで評価する。 本研究は, 統合手法によるプライバシー漏洩と性能に有意な差が認められた。 特に、モデル統合プロセスにランダム性を導入することで、クライアントとサーバの両方の競合精度を維持しながら、クライアントのプライバシが向上する。 この研究は、不均一なFL設定におけるクライアントモデル統合のプライバシーと正確性に関する定量的な光を提供し、よりセキュアで効率的なFLシステムへの道を開く。

関連論文リスト

• Secure Generalization through Stochastic Bidirectional Parameter Updates Using Dual-Gradient Mechanism [6.03163048890944]
  フェデレーテッド・ラーニング(FL)は、分散クライアントにおけるプライバシー保護による協調トレーニングによって注目を集めている。 近年の研究では、FLフレームワーク内であっても、個人データを敵に公開するリスクが指摘されている。 モデルパラメータをきめ細かいレベルで体系的に摂動することで,各クライアントに対して多様なモデルを生成する。
  論文  参考訳（メタデータ） (2025-04-03T02:06:57Z)
• FedConv: A Learning-on-Model Paradigm for Heterogeneous Federated Clients [25.847042398060616]
  フェデレートラーニング(FL)は、クライアントのプライベートデータを公開せずに、共有グローバルモデルの協調トレーニングを容易にする。 我々は、リソース制約のあるクライアントの計算とメモリ負荷を最小限に抑えるクライアントフレンドリーなFLフレームワークであるFedConvを提案する。 モデル精度,計算量,通信オーバヘッドの観点から,FedConvは最先端のFLシステムより優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-28T01:39:53Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Robust Federated Learning in the Face of Covariate Shift: A Magnitude Pruning with Hybrid Regularization Framework for Enhanced Model Aggregation [1.519321208145928]
  Federated Learning(FL)は、共有モデルの共同開発を目指す個人に対して、有望なフレームワークを提供する。 クライアント間のデータの分散の変化は、主に集約プロセスの不安定性によって、FL方法論に大きく影響します。 本稿では,個々のパラメータのプルーニングと正規化技術を組み合わせて,個々のクライアントモデルのロバスト性を向上する新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-19T16:22:37Z)
• Immersion and Invariance-based Coding for Privacy-Preserving Federated Learning [1.4226399196408985]
  協調分散学習におけるプライバシ保護手法として,フェデレートラーニング(FL)が登場している。 制御理論から差分プライバシーとシステム浸漬ツールを組み合わせたプライバシー保護FLフレームワークを提案する。 提案手法は,局所モデルパラメータとグローバルモデルパラメータの両方に対して,任意のレベルの差分プライバシを提供するように調整可能であることを実証する。
  論文  参考訳（メタデータ） (2024-09-25T15:04:42Z)
• Federated Behavioural Planes: Explaining the Evolution of Client Behaviour in Federated Learning [6.64590374742412]
  FLシステムの力学を解析・可視化・説明するための新しい手法であるFBP(Federated Behavioural Planes)を紹介する。 我々の実験は、FBPがクライアントの進化状態を記述した情報トラジェクトリを提供することを示した。 我々は、悪意のあるクライアントモデルやノイズの多いクライアントモデルを検出するために、Federated Behavioural Shieldsという名前のロバストアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T15:17:51Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Contrastive encoder pre-training-based clustered federated learning for heterogeneous data [17.580390632874046]
  フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。 本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
  論文  参考訳（メタデータ） (2023-11-28T05:44:26Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Blockchain-based Optimized Client Selection and Privacy Preserved Framework for Federated Learning [2.4201849657206496]
  フェデレートラーニング(Federated Learning)は、大規模ニューラルネットワークモデルをトレーニングする分散メカニズムで、複数のクライアントが参加する。 この機能により、フェデレーション学習はデータのプライバシー問題に対するセキュアなソリューションとみなされる。 ブロックチェーンベースの最適化クライアント選択とプライバシ保護フレームワークを提案しました。
  論文  参考訳（メタデータ） (2023-07-25T01:35:51Z)
• Confidence-aware Personalized Federated Learning via Variational Expectation Maximization [34.354154518009956]
  パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。 PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。 階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T20:12:27Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• Closing the Gap between Client and Global Model Performance in Heterogeneous Federated Learning [2.1044900734651626]
  カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。 KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
  論文  参考訳（メタデータ） (2022-11-07T11:12:57Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。