論文の概要: DCFL: Non-IID awareness Data Condensation aided Federated Learning
- arxiv url: http://arxiv.org/abs/2312.14219v1
- Date: Thu, 21 Dec 2023 13:04:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-25 17:11:18.005796
- Title: DCFL: Non-IID awareness Data Condensation aided Federated Learning
- Title（参考訳）: DCFL:フェデレートラーニングを支援する非IID認識データ凝縮
- Authors: Shaohan Sha and YaFeng Sun
- Abstract要約: フェデレートラーニング(Federated Learning)とは、特定の量のプライベートデータセットを持つクライアントを活用して、中央サーバがグローバルモデルを反復的にトレーニングする分散学習パラダイムである。
問題は、クライアントサイドのプライベートデータが同一かつ独立して分散されないという事実にある。
本稿では、CKA(Centered Kernel Alignment)法を用いてクライアントをグループに分割し、IID非認識のデータセット凝縮法を用いてクライアントを完全化するDCFLを提案する。
- 参考スコア（独自算出の注目度）: 0.8158530638728501
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is a decentralized learning paradigm wherein a central
server trains a global model iteratively by utilizing clients who possess a
certain amount of private datasets. The challenge lies in the fact that the
client side private data may not be identically and independently distributed,
significantly impacting the accuracy of the global model. Existing methods
commonly address the Non-IID challenge by focusing on optimization, client
selection and data complement. However, most approaches tend to overlook the
perspective of the private data itself due to privacy constraints.Intuitively,
statistical distinctions among private data on the client side can help
mitigate the Non-IID degree. Besides, the recent advancements in dataset
condensation technology have inspired us to investigate its potential
applicability in addressing Non-IID issues while maintaining privacy. Motivated
by this, we propose DCFL which divides clients into groups by using the
Centered Kernel Alignment (CKA) method, then uses dataset condensation methods
with non-IID awareness to complete clients. The private data from clients
within the same group is complementary and their condensed data is accessible
to all clients in the group. Additionally, CKA-guided client selection
strategy, filtering mechanisms, and data enhancement techniques are
incorporated to efficiently and precisely utilize the condensed data, enhance
model performance, and minimize communication time. Experimental results
demonstrate that DCFL achieves competitive performance on popular federated
learning benchmarks including MNIST, FashionMNIST, SVHN, and CIFAR-10 with
existing FL protocol.
- Abstract（参考訳）: フェデレートラーニング(Federated Learning)とは、特定の量のプライベートデータセットを持つクライアントを活用して、中央サーバがグローバルモデルを反復的にトレーニングする分散学習パラダイムである。
課題は、クライアント側のプライベートデータが同一で独立に分散していない可能性があり、グローバルモデルの精度に大きな影響を与えているという事実にある。
既存の手法は、最適化、クライアントの選択、データ補完に焦点を当てて、非IIDの課題に対処する。
しかし、プライバシー上の制約により、ほとんどのアプローチはプライベートデータ自体の観点を軽視する傾向にあり、直観的には、クライアント側のプライベートデータ間の統計的区別は、非IID度の緩和に役立つ。
さらに、最近のデータセット凝縮技術の進歩は、プライバシーを維持しながら、非IID問題に対処する可能性を探るきっかけとなった。
そこで本研究では,CKA(Centered Kernel Alignment)法を用いてクライアントをグループに分割し,IID非認識によるデータセット凝縮法を用いてクライアントを完全化するDCFLを提案する。
同じグループ内のクライアントからのプライベートデータは補完的であり、その凝縮されたデータはグループ内のすべてのクライアントにアクセスできる。
さらに、CKA誘導クライアント選択戦略、フィルタリング機構、およびデータ拡張技術が組み込まれ、凝縮データを効率的にかつ正確に利用し、モデル性能を高め、通信時間を最小化する。
実験の結果,DCFL は MNIST,FashionMNIST,SVHN,CIFAR-10 など,既存の FL プロトコルと競合する性能を示した。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Personalized Federated Learning with Attention-based Client Selection [57.71009302168411]
我々は,意図に基づくクライアント選択機構を備えた新しいPFLアルゴリズムであるFedACSを提案する。
FedACSは、類似したデータ分散を持つクライアント間のコラボレーションを強化するためのアテンションメカニズムを統合している。
CIFAR10とFMNISTの実験は、FedACSの優位性を検証する。
論文 参考訳（メタデータ） (2023-12-23T03:31:46Z) - Personalized Privacy-Preserving Framework for Cross-Silo Federated
Learning [0.0]
Federated Learning(FL)は有望な分散ディープラーニング(DL)フレームワークであり、プライベートデータを共有することなく、クライアント間で共同でトレーニングされたDLベースのアプローチを可能にする。
本稿では,PPPFL(Personalized Privacy-Preserving Federated Learning)という新しいフレームワークを提案する。
提案するフレームワークは,MNIST,Fashion-MNIST,CIFAR-10,CIFAR-100など,さまざまなデータセット上で複数のFLベースラインより優れている。
論文 参考訳（メタデータ） (2023-02-22T07:24:08Z) - CADIS: Handling Cluster-skewed Non-IID Data in Federated Learning with
Clustered Aggregation and Knowledge DIStilled Regularization [3.3711670942444014]
フェデレーション学習は、エッジデバイスがデータを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
我々は、実際のデータセットで発見されたクラスタスキュード非IIDと呼ばれる新しいタイプの非IIDデータに取り組む。
本稿では,クラスタ間の平等を保証するアグリゲーション方式を提案する。
論文 参考訳（メタデータ） (2023-02-21T02:53:37Z) - Knowledge-Aware Federated Active Learning with Non-IID Data [75.98707107158175]
本稿では,アノテーション予算に制限のあるグローバルモデルを効率的に学習するための,連合型アクティブラーニングパラダイムを提案する。
フェデレートされたアクティブラーニングが直面する主な課題は、サーバ上のグローバルモデルのアクティブサンプリング目標と、ローカルクライアントのアクティブサンプリング目標とのミスマッチである。
本稿では,KSAS (Knowledge-Aware Federated Active Learning) とKCFU (Knowledge-Compensatory Federated Update) を組み合わせた,知識対応型アクティブ・ラーニング(KAFAL)を提案する。
論文 参考訳（メタデータ） (2022-11-24T13:08:43Z) - Rethinking Data Heterogeneity in Federated Learning: Introducing a New
Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。
私たちの観察は直感的である。
私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文 参考訳（メタデータ） (2022-09-30T17:15:19Z) - Federated Learning in Non-IID Settings Aided by Differentially Private
Synthetic Data [20.757477553095637]
Federated Learning(FL)は、クライアントが機械学習モデルを協調的にトレーニングすることを可能にする、プライバシプロモーティングフレームワークである。
連合学習における大きな課題は、局所データが不均一であるときに生じる。
我々は、クライアントが変動自動エンコーダをデプロイして、遅延データ表現の微分プライベートな手段を用いて、ローカルデータセットを合成するFLアルゴリズムであるFedDPMSを提案する。
論文 参考訳（メタデータ） (2022-06-01T18:00:48Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳（メタデータ） (2022-03-22T14:06:26Z) - ABC-FL: Anomalous and Benign client Classification in Federated Learning [0.0]
Federated Learningは、データプライバシ保護用に設計された分散機械学習フレームワークである。
ディープラーニング技術で発生した脆弱性と感受性を継承する。
非独立性およびIdentically Distributed(非IID)データのため、悪意のあるクライアントを正しく識別することは困難である。
良性クライアントが非IIDデータを持つ場合,良性クライアントから異常クライアントを検出し,分類する手法を提案する。
論文 参考訳（メタデータ） (2021-08-10T09:54:25Z) - IFedAvg: Interpretable Data-Interoperability for Federated Learning [39.388223565330385]
本研究では,表型データに対するフェデレーション学習において,クライアントデータの不整合によって引き起こされる低相互運用性の定義と対処を行う。
提案手法であるiFedAvgは、協調学習プロセスのパーソナライズされたきめ細かな理解を可能にするために、局所的な要素ワイドアフィン層を追加するフェデレーション平均化に基づいている。
我々は、2014～2016年の西アフリカエボラ流行から得られた、いくつかの公開ベンチマークと実世界のデータセットを用いて、iFedAvgを評価し、世界でも最大規模のデータセットを共同で作成した。
論文 参考訳（メタデータ） (2021-07-14T09:54:00Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。