論文の概要: FedFed: Feature Distillation against Data Heterogeneity in Federated Learning

• arxiv url: http://arxiv.org/abs/2310.05077v1
• Date: Sun, 8 Oct 2023 09:00:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 12:46:14.893659
• Title: FedFed: Feature Distillation against Data Heterogeneity in Federated Learning
• Title（参考訳）: FedFed:フェデレートラーニングにおけるデータ不均一性に対する特徴蒸留
• Authors: Zhiqin Yang, Yonggang Zhang, Yu Zheng, Xinmei Tian, Hao Peng, Tongliang Liu, Bo Han
• Abstract要約: フェデレートラーニング(FL)は通常、データ不均一性、すなわちクライアント間の分散シフトに直面している。 我々はtextbfFederated textbfFeature textbfdistillation (FedFedFed) という新しいアプローチを提案する。 FedFedは、データをパフォーマンスに敏感な機能(すなわち、モデルパフォーマンスに多大な貢献)とパフォーマンスを損なう機能(つまり、モデルパフォーマンスに限られた貢献)に分割する。 総合的な実験は、モデル性能の促進におけるFedFedの有効性を示す。
• 参考スコア（独自算出の注目度）: 88.36513907827552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) typically faces data heterogeneity, i.e., distribution shifting among clients. Sharing clients' information has shown great potentiality in mitigating data heterogeneity, yet incurs a dilemma in preserving privacy and promoting model performance. To alleviate the dilemma, we raise a fundamental question: \textit{Is it possible to share partial features in the data to tackle data heterogeneity?} In this work, we give an affirmative answer to this question by proposing a novel approach called {\textbf{Fed}erated \textbf{Fe}ature \textbf{d}istillation} (FedFed). Specifically, FedFed partitions data into performance-sensitive features (i.e., greatly contributing to model performance) and performance-robust features (i.e., limitedly contributing to model performance). The performance-sensitive features are globally shared to mitigate data heterogeneity, while the performance-robust features are kept locally. FedFed enables clients to train models over local and shared data. Comprehensive experiments demonstrate the efficacy of FedFed in promoting model performance.
• Abstract（参考訳）: フェデレートラーニング(FL)は通常、データ不均一性、すなわちクライアント間の分散シフトに直面している。 クライアントの情報共有は、データの多様性を緩和する大きな可能性を示しているが、プライバシの保護とモデルパフォーマンスの促進にはジレンマがある。 ジレンマを緩和するために、私たちは基本的な疑問を提起する: \textit{データ内の部分的な特徴を共有して、データの多様性に取り組むことは可能か? この研究において、この疑問に対する肯定的な答えは、 {\textbf{Fed}erated \textbf{Fe}ature \textbf{d}istillation} (FedFed) と呼ばれる新しいアプローチを提案する。 具体的には、feedfedはデータをパフォーマンスに敏感な機能(モデルのパフォーマンスに大きく寄与する)とパフォーマンスロバスト機能(モデルパフォーマンスに限定的に寄与する)に分割する。 パフォーマンスに敏感な機能は、データの不均一性を緩和するために、グローバルに共有される。 FedFedは、クライアントがローカルおよび共有データ上でモデルをトレーニングすることを可能にする。 総合的な実験は、モデル性能の促進におけるFedFedの有効性を示す。

関連論文リスト

• FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning [5.23984567704876]
  フェデレーション学習は、分散機械学習におけるプライバシの保護という課題にパラダイムを提供する。 伝統的なアプローチは、グローバルな長期データにおけるクラスワイドバイアスの現象に対処できない。 新しい手法であるFedLFは、適応ロジット調整、連続クラス中心最適化、特徴デコリレーションという、局所的なトレーニングフェーズに3つの修正を導入している。
  論文  参考訳（メタデータ） (2024-09-18T16:25:29Z)
• Stable Diffusion-based Data Augmentation for Federated Learning with Non-IID Data [9.045647166114916]
  フェデレートラーニング(FL)は、分散的かつ協調的なモデルトレーニングのための有望なパラダイムである。 FLは、非独立分散(Non-IID)データ分散に直面すると、パフォーマンスの大幅な低下と収束性の低下に悩まされる。 我々は、最先端のテキスト・ツー・イメージ基盤モデルの強力な能力を活用する新しいアプローチであるGen-FedSDを紹介する。
  論文  参考訳（メタデータ） (2024-05-13T16:57:48Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• Federated Learning Empowered by Generative Content [55.576885852501775]
  フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。 本稿では,FedGCと呼ばれる新しいFLフレームワークを提案する。 我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。
  論文  参考訳（メタデータ） (2023-12-10T07:38:56Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• A Simple Data Augmentation for Feature Distribution Skewed Federated Learning [12.636154758643757]
  フェデレートラーニング(FL)は、複数のクライアント間の協調学習を分散的に支援し、プライバシ保護を保証する。 本稿では,現実世界のアプリケーションに広く普及しているFLシナリオの特徴分布に着目した。 特徴分布スキュードFLの簡易かつ極めて効果的なデータ拡張法であるFedRDNを提案する。
  論文  参考訳（メタデータ） (2023-06-14T05:46:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。