論文の概要: FedFeat+: A Robust Federated Learning Framework Through Federated Aggregation and Differentially Private Feature-Based Classifier Retraining
- arxiv url: http://arxiv.org/abs/2504.06004v1
- Date: Tue, 08 Apr 2025 13:12:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-16 22:10:54.417696
- Title: FedFeat+: A Robust Federated Learning Framework Through Federated Aggregation and Differentially Private Feature-Based Classifier Retraining
- Title(参考訳): FedFeat+: フェデレーションによるロバストなフェデレーション学習フレームワーク
- Authors: Mrityunjoy Gain, Kitae Kim, Avi Deb Raha, Apurba Adhikary, Eui-Nam Huh, Zhu Han, Choong Seon Hong,
- Abstract要約: 本稿では,特徴抽出と分類を区別するFedFeat+フレームワークを提案する。
差分プライバシー機構を実装することにより,モデルの精度向上と個人のプライバシー保護のバランスを確立する。
CIFAR-10, CIFAR-100, MNIST, FMNISTなど, ベンチマークデータセット上で行った経験的評価により, 本手法の有効性を検証した。
- 参考スコア(独自算出の注目度): 26.546920912051522
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we propose the FedFeat+ framework, which distinctively separates feature extraction from classification. We develop a two-tiered model training process: following local training, clients transmit their weights and some features extracted from the feature extractor from the final local epochs to the server. The server aggregates these models using the FedAvg method and subsequently retrains the global classifier utilizing the shared features. The classifier retraining process enhances the model's understanding of the holistic view of the data distribution, ensuring better generalization across diverse datasets. This improved generalization enables the classifier to adaptively influence the feature extractor during subsequent local training epochs. We establish a balance between enhancing model accuracy and safeguarding individual privacy through the implementation of differential privacy mechanisms. By incorporating noise into the feature vectors shared with the server, we ensure that sensitive data remains confidential. We present a comprehensive convergence analysis, along with theoretical reasoning regarding performance enhancement and privacy preservation. We validate our approach through empirical evaluations conducted on benchmark datasets, including CIFAR-10, CIFAR-100, MNIST, and FMNIST, achieving high accuracy while adhering to stringent privacy guarantees. The experimental results demonstrate that the FedFeat+ framework, despite using only a lightweight two-layer CNN classifier, outperforms the FedAvg method in both IID and non-IID scenarios, achieving accuracy improvements ranging from 3.92 % to 12.34 % across CIFAR-10, CIFAR-100, and Fashion-MNIST datasets.
- Abstract(参考訳): 本稿では,特徴抽出と分類を区別するFedFeat+フレームワークを提案する。
ローカルトレーニングの後、クライアントはその重みを送信し、最後のローカルエポックから特徴抽出器からサーバに抽出した特徴を抽出する。
サーバはこれらのモデルをFedAvgメソッドで集約し、その後、共有機能を使ってグローバル分類器を再訓練する。
分類器の再訓練プロセスは、データ分布の全体像に対するモデルの理解を高め、多様なデータセットをまたいだより良い一般化を保証する。
この改良された一般化により、分類器は、その後の局所的な訓練エポックの間、特徴抽出器に適応的に影響を及ぼすことができる。
差分プライバシー機構を実装することにより,モデルの精度向上と個人のプライバシー保護のバランスを確立する。
サーバと共有する特徴ベクトルにノイズを組み込むことで、機密データが機密であることを保証する。
本稿では,性能向上とプライバシ保護に関する理論的推論とともに,総合的な収束分析を提案する。
我々は, CIFAR-10, CIFAR-100, MNIST, FMNISTなどのベンチマークデータセットを用いて, 厳密なプライバシ保証に固執しながら高い精度を達成し, 評価を行った。
実験の結果、FedFeat+フレームワークは軽量な2層CNN分類器のみを使用しており、IDDと非IIDの両方のシナリオでFedAvgメソッドより優れており、CIFAR-10、CIFAR-100、Fashion-MNISTデータセットで3.92 %から12.34 %の精度向上を実現している。
関連論文リスト
- HFedCKD: Toward Robust Heterogeneous Federated Learning via Data-free Knowledge Distillation and Two-way Contrast [10.652998357266934]
データフリーな知識蒸留と双方向コントラスト(HFedCKD)に基づくヘテロジニアスフェデレーション方式を提案する。
HFedCKDは、データフリーな知識蒸留における低い参加率による知識オフセットを効果的に軽減し、モデルの性能と安定性を向上させる。
我々は画像とIoTデータセットに関する広範な実験を行い、提案したHFedCKDフレームワークの一般化と堅牢性を包括的に評価し、検証する。
論文 参考訳(メタデータ) (2025-03-09T08:32:57Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳(メタデータ) (2024-04-29T05:55:23Z) - Navigating Data Heterogeneity in Federated Learning A Semi-Supervised
Federated Object Detection [3.7398615061365206]
フェデレートラーニング(FL)は、分散データソース間でモデルをトレーニングするための強力なフレームワークとして登場した。
特に自動運転のようなアプリケーションでは、高品質なラベルや、IID以外のクライアントデータに制限がある。
クライアントがラベル付きデータを持っている間、ラベル付きデータがサーバにのみ存在するシナリオ用に設計された、先駆的なSSFODフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-26T01:40:28Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳(メタデータ) (2022-09-30T05:42:56Z) - FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。
我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。
異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
論文 参考訳(メタデータ) (2022-05-27T00:55:24Z) - Perfectly Accurate Membership Inference by a Dishonest Central Server in
Federated Learning [34.13555530204307]
フェデレートラーニングは、強力なプライバシー保証を提供すると期待されている。
本手法では, 単純だが非常に効果的なメンバーシップ推論攻撃アルゴリズムを提案する。
本手法は, 何千ものサンプルを用いたトレーニングセットにおいて, 1つのサンプルを同定する上で, 完全な精度を提供する。
論文 参考訳(メタデータ) (2022-03-30T17:01:19Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳(メタデータ) (2021-06-09T12:02:29Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳(メタデータ) (2020-12-20T14:34:36Z) - CatFedAvg: Optimising Communication-efficiency and Classification
Accuracy in Federated Learning [2.2172881631608456]
そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。
コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。
実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
論文 参考訳(メタデータ) (2020-11-14T06:52:02Z) - FedSmart: An Auto Updating Federated Learning Optimization Mechanism [23.842595615337565]
フェデレーション学習は、データのプライバシ保護に重要な貢献をしている。
データ共有戦略や事前トレーニングのような、非IIDデータに対するモデルの堅牢性を保証する既存の方法は、プライバシリークにつながる可能性がある。
本稿では、最適化のための性能に基づくパラメータ戻り手法を導入し、フェデレートSmartと呼ぶ。
論文 参考訳(メタデータ) (2020-09-16T03:59:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。