論文の概要: Federated Virtual Learning on Heterogeneous Data with Local-global Distillation

• arxiv url: http://arxiv.org/abs/2303.02278v2
• Date: Mon, 5 Jun 2023 18:43:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 20:36:19.939626
• Title: Federated Virtual Learning on Heterogeneous Data with Local-global Distillation
• Title（参考訳）: 局所グローバル蒸留による不均一データのフェデレーション仮想学習
• Authors: Chun-Yin Huang, Ruinan Jin, Can Zhao, Daguang Xu, and Xiaoxiao Li
• Abstract要約: 局所グロバル蒸留(FedLGD)を用いた不均一データのフェデレーションバーチャルラーニング 局所Global Distillation (FedLGD) を用いた不均一データに対するフェデレーション仮想学習法を提案する。 提案手法は, 蒸留仮想データ量が極めて少ない様々な条件下で, 最先端の異種FLアルゴリズムより優れる。
• 参考スコア（独自算出の注目度）: 17.998623216905496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite Federated Learning (FL)'s trend for learning machine learning models in a distributed manner, it is susceptible to performance drops when training on heterogeneous data. In addition, FL inevitability faces the challenges of synchronization, efficiency, and privacy. Recently, dataset distillation has been explored in order to improve the efficiency and scalability of FL by creating a smaller, synthetic dataset that retains the performance of a model trained on the local private datasets. We discover that using distilled local datasets can amplify the heterogeneity issue in FL. To address this, we propose a new method, called Federated Virtual Learning on Heterogeneous Data with Local-Global Distillation (FedLGD), which trains FL using a smaller synthetic dataset (referred as virtual data) created through a combination of local and global dataset distillation. Specifically, to handle synchronization and class imbalance, we propose iterative distribution matching to allow clients to have the same amount of balanced local virtual data; to harmonize the domain shifts, we use federated gradient matching to distill global virtual data that are shared with clients without hindering data privacy to rectify heterogeneous local training via enforcing local-global feature similarity. We experiment on both benchmark and real-world datasets that contain heterogeneous data from different sources, and further scale up to an FL scenario that contains large number of clients with heterogeneous and class imbalance data. Our method outperforms state-of-the-art heterogeneous FL algorithms under various settings with a very limited amount of distilled virtual data.
• Abstract（参考訳）: 分散学習モデルにおけるフェデレーション学習(fl)のトレンドにもかかわらず、ヘテロジニアスデータでのトレーニングでは、パフォーマンス低下の影響を受けやすい。 加えて、FLの不可避性は同期、効率、プライバシといった課題に直面します。 近年,ローカルプライベートデータセットでトレーニングされたモデルのパフォーマンスを維持する,より小さな合成データセットを作成することにより,flの効率とスケーラビリティを向上させるためにデータセット蒸留が研究されている。 蒸留したローカルデータセットを使用することで,flの異種性問題の拡大が期待できる。 そこで本研究では,ローカル・グローバル蒸留(fedlgd)を用いたヘテロジニアス・データのフェデレート・バーチャル・ラーニング(federated virtual learning)という新しい手法を提案する。 具体的には、同期とクラス不均衡を扱うために、クライアントが同じバランスの取れたローカルな仮想データを持つように反復的分布マッチングを提案し、ドメインシフトを調和させるために、フェデレートしたグラデーションマッチングを使用してクライアントと共有されるグローバルな仮想データを抽出する。 我々は、異なるソースからの異種データを含むベンチマークデータセットと実世界のデータセットの両方を実験し、さらに、異種データとクラス不均衡データを持つ多数のクライアントを含むflシナリオまでスケールする。 提案手法は, 蒸留仮想データ量が極めて少ない様々な条件下で, 最先端の異種FLアルゴリズムより優れる。

関連論文リスト

• Federated Impression for Learning with Distributed Heterogeneous Data [19.50235109938016]
  フェデレートラーニング(FL)は、データを共有することなく、クライアント間で分散データセットから学習できるパラダイムを提供する。 FLでは、データ収集プロトコルや患者人口の多様さにより、異なる保健所のデータに準最適収束が一般的である。 我々は,グローバル情報を表す合成データをフェデレーションとして復元することで,破滅的な忘れを緩和するFedImpresを提案する。
  論文  参考訳（メタデータ） (2024-09-11T15:37:52Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• Unlocking the Potential of Federated Learning: The Symphony of Dataset Distillation via Deep Generative Latents [43.282328554697564]
  本稿ではサーバ側のFLデータセット蒸留フレームワークを提案する。 従来の手法とは異なり,サーバは事前学習した深層生成モデルから事前知識を活用できる。 我々のフレームワークは、サーバが複数の異種データ分散を訓練するのではなく、マルチモーダル分布を訓練するため、ベースラインよりも早く収束する。
  論文  参考訳（メタデータ） (2023-12-03T23:30:48Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• The Best of Both Worlds: Accurate Global and Personalized Models through Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
  FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。 他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。 さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
  論文  参考訳（メタデータ） (2023-01-21T16:20:57Z)
• Virtual Homogeneity Learning: Defending against Data Heterogeneity in Federated Learning [34.97057620481504]
  本稿では,VHL(Virtual homogeneity Learning)と呼ばれる新しい手法を提案する。 VHLは2つの条件を満たすために作られた仮想同質データセットで連合学習を行う。 実験により, VHLは, 収束速度と一般化性能を大幅に向上したフェデレーション学習を実現することを実証した。
  論文  参考訳（メタデータ） (2022-06-06T10:02:21Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。