論文の概要: Data-Free Black-Box Federated Learning via Zeroth-Order Gradient Estimation

• arxiv url: http://arxiv.org/abs/2503.06028v1
• Date: Sat, 08 Mar 2025 03:00:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:47:00.837955
• Title: Data-Free Black-Box Federated Learning via Zeroth-Order Gradient Estimation
• Title（参考訳）: ゼロ階勾配推定によるデータ自由ブラックボックスフェデレーション学習
• Authors: Xinge Ma, Jin Wang, Xuejie Zhang,
• Abstract要約: フェデレートラーニング(FL)は、分散クライアントが中央サーバのオーケストレーションの下でグローバルモデルを協調的にトレーニングすることを可能にする。 ゼロ階勾配推定(FedZGE)によるデータフリーでブラックボックスなFLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.342190657553561
• License:
• Abstract: Federated learning (FL) enables decentralized clients to collaboratively train a global model under the orchestration of a central server without exposing their individual data. However, the iterative exchange of model parameters between the server and clients imposes heavy communication burdens, risks potential privacy leakage, and even precludes collaboration among heterogeneous clients. Distillation-based FL tackles these challenges by exchanging low-dimensional model outputs rather than model parameters, yet it highly relies on a task-relevant auxiliary dataset that is often not available in practice. Data-free FL attempts to overcome this limitation by training a server-side generator to directly synthesize task-specific data samples for knowledge transfer. However, the update rule of the generator requires clients to share on-device models for white-box access, which greatly compromises the advantages of distillation-based FL. This motivates us to explore a data-free and black-box FL framework via Zeroth-order Gradient Estimation (FedZGE), which estimates the gradients after flowing through on-device models in a black-box optimization manner to complete the training of the generator in terms of fidelity, transferability, diversity, and equilibrium, without involving any auxiliary data or sharing any model parameters, thus combining the advantages of both distillation-based FL and data-free FL. Experiments on large-scale image classification datasets and network architectures demonstrate the superiority of FedZGE in terms of data heterogeneity, model heterogeneity, communication efficiency, and privacy protection.
• Abstract（参考訳）: フェデレートラーニング(FL)は、分散クライアントが個々のデータを公開することなく、中央サーバのオーケストレーションの下でグローバルモデルを協調的にトレーニングすることを可能にする。 しかし、サーバとクライアント間のモデルパラメータの反復的な交換は、大きな通信負担、潜在的なプライバシー漏洩のリスク、さらには異種クライアント間のコラボレーションを妨げている。 蒸留に基づくFLは、モデルパラメータではなく低次元のモデル出力を交換することでこれらの課題に対処するが、実際には利用できないタスク関連補助データセットに強く依存する。 データフリーFLは、サーバサイドジェネレータを訓練して、知識伝達のためのタスク固有のデータサンプルを直接合成することで、この制限を克服しようとする。 しかし、生成装置の更新ルールでは、クライアントがホワイトボックスアクセスのためのデバイスモデルを共有する必要があるため、蒸留ベースのFLの利点を著しく損なうことになる。 これにより、ゼロ階勾配推定(FedZGE)を通してデータフリーでブラックボックスのFLフレームワークを探索し、ブラックボックス最適化方式でデバイスモデルに流した後に勾配を推定し、補助データやモデルパラメータの共有を伴わずに生成者のトレーニングを完了し、蒸留ベースFLとデータフリーFLの両方の利点を組み合わせることができる。 大規模画像分類データセットとネットワークアーキテクチャの実験は、データ不均一性、モデル不均一性、通信効率、プライバシー保護の観点からFedZGEの優位性を実証している。

関連論文リスト

• Lightweight Industrial Cohorted Federated Learning for Heterogeneous Assets [0.0]
  フェデレーテッド・ラーニング(FL)は、分散機械学習(ML)モデルをトレーニングするための最も広く採用されているコラボレーティブ・ラーニング・アプローチである。 しかし、すべてのFLタスクにおいて、大きなデータ類似性や均質性は認められているため、FLは産業環境では特に設計されていない。 本稿では,コホーティングにモデルパラメータを用いる軽量産業用コホーテッドFL (licFL) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-25T12:48:56Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FLIGAN: Enhancing Federated Learning with Incomplete Data using GAN [1.5749416770494706]
  Federated Learning (FL)は、ネットワークデバイス上での機械学習モデルの分散トレーニングのためのプライバシ保護メカニズムを提供する。 本稿では,FLにおけるデータ不完全性問題に対処する新しいアプローチであるFLIGANを提案する。 本手法はFLのプライバシ要件に則り,プロセス内の実際のデータを共有せずに合成データをフェデレートした方法で生成する。
  論文  参考訳（メタデータ） (2024-03-25T16:49:38Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Tackling Intertwined Data and Device Heterogeneities in Federated Learning with Unlimited Staleness [4.9851737525099225]
  フェデレートラーニングは、クライアントの異なるローカルデータ分散と、モデルの更新をアップロードする際のレイテンシに起因する、データとデバイスの不均一性によって影響を受ける可能性がある。 本稿では,この変換の精度と計算効率を保証する新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-24T03:19:40Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Personalized Retrogress-Resilient Framework for Real-World Medical Federated Learning [8.240098954377794]
  本稿では,各クライアントに対して優れたパーソナライズモデルを生成するために,パーソナライズされた回帰耐性フレームワークを提案する。 実世界の皮膚内視鏡的FLデータセットに関する実験により、我々のパーソナライズされた回帰抵抗性フレームワークが最先端のFL手法より優れていることが証明された。
  論文  参考訳（メタデータ） (2021-10-01T13:24:29Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。