論文の概要: You Are Your Own Best Teacher: Achieving Centralized-level Performance in Federated Learning under Heterogeneous and Long-tailed Data

• arxiv url: http://arxiv.org/abs/2503.06916v1
• Date: Mon, 10 Mar 2025 04:57:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:46:45.126541
• Title: You Are Your Own Best Teacher: Achieving Centralized-level Performance in Federated Learning under Heterogeneous and Long-tailed Data
• Title（参考訳）: あなた自身が最高の教師である:不均一データと長期データの下でのフェデレーション学習における集中レベルのパフォーマンスを達成する
• Authors: Shanshan Yan, Zexi Li, Chao Wu, Meng Pang, Yang Lu, Yan Yan, Hanzi Wang,
• Abstract要約: 局所的な非IIDデータとグローバルな長期分布から生ずるデータ不均一性は、連邦学習(FL)における大きな課題である 弱い局所サンプルと強い局所サンプルの知識を蒸留し,表現学習を改善するためにFedYoYoを提案する。 我々は、FedYoYoが最先端の結果を達成し、グローバルな長期的設定の下で集中ロジット調整手法を5.4%超えたことを示します。
• 参考スコア（独自算出の注目度）: 32.24154235507531
• License:
• Abstract: Data heterogeneity, stemming from local non-IID data and global long-tailed distributions, is a major challenge in federated learning (FL), leading to significant performance gaps compared to centralized learning. Previous research found that poor representations and biased classifiers are the main problems and proposed neural-collapse-inspired synthetic simplex ETF to help representations be closer to neural collapse optima. However, we find that the neural-collapse-inspired methods are not strong enough to reach neural collapse and still have huge gaps to centralized training. In this paper, we rethink this issue from a self-bootstrap perspective and propose FedYoYo (You Are Your Own Best Teacher), introducing Augmented Self-bootstrap Distillation (ASD) to improve representation learning by distilling knowledge between weakly and strongly augmented local samples, without needing extra datasets or models. We further introduce Distribution-aware Logit Adjustment (DLA) to balance the self-bootstrap process and correct biased feature representations. FedYoYo nearly eliminates the performance gap, achieving centralized-level performance even under mixed heterogeneity. It enhances local representation learning, reducing model drift and improving convergence, with feature prototypes closer to neural collapse optimality. Extensive experiments show FedYoYo achieves state-of-the-art results, even surpassing centralized logit adjustment methods by 5.4\% under global long-tailed settings.
• Abstract（参考訳）: データの不均一性は、局所的な非IIDデータとグローバルな長期分布から生じるものであり、統合学習(FL)において大きな課題であり、集中学習と比較して大きなパフォーマンス差をもたらす。 以前の研究では、表現不良と偏見付き分類器が主な問題であり、表現が神経崩壊の最適点に近づくのに役立つように、神経崩壊によって誘発される合成単純体ETFを提案した。 しかし, 神経崩壊を誘発する手法は, 神経崩壊に至るには不十分であり, 集中トレーニングには大きなギャップがあることが判明した。 本稿では,本課題を自己ブートストラップの観点から再考し,FedYoYo (You Are Your Own Best Teacher) を提案する。Augmented Self-bootstrap Distillation (ASD) を導入し,データセットやモデルを必要とせず,弱々しく強化されたローカルサンプル間の知識を蒸留することにより表現学習を改善する。 さらに、自己ブートストラッププロセスとバイアスのある特徴表現のバランスをとるために、DLA(Distributed-Aware Logit Adjustment)を導入します。 FedYoYoはパフォーマンスのギャップをほとんどなくし、混在した異種でも集中レベルのパフォーマンスを達成する。 局所的な表現学習を強化し、モデルのドリフトを低減し、収束を改善する。 大規模な実験は、FedYoYoが最先端の結果を達成し、グローバルな長期的設定の下で集中的なロジット調整手法を5.4 %以上越えることさえ示している。

関連論文リスト

• NTK-DFL: Enhancing Decentralized Federated Learning in Heterogeneous Settings via Neural Tangent Kernel [27.92271597111756]
  Decentralized Federated Learning (DFL) は、中央サーバや生のデータ交換なしで参加者間でモデルをトレーニングするための、協調的な機械学習フレームワークである。 近年の研究では、集中型フレームワークにおけるフェデレーション学習に適用されたニューラルタンジェントカーネル(NTK)アプローチが、パフォーマンスの向上につながることが示されている。 本稿では,NTKベースの進化とモデル平均化の相乗効果を導入しながら,分散環境でクライアントモデルを訓練するためにNTKを活用するアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-02T18:19:28Z)
• FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning [5.23984567704876]
  フェデレーション学習は、分散機械学習におけるプライバシの保護という課題にパラダイムを提供する。 伝統的なアプローチは、グローバルな長期データにおけるクラスワイドバイアスの現象に対処できない。 新しい手法であるFedLFは、適応ロジット調整、連続クラス中心最適化、特徴デコリレーションという、局所的なトレーニングフェーズに3つの修正を導入している。
  論文  参考訳（メタデータ） (2024-09-18T16:25:29Z)
• Data-Free Federated Class Incremental Learning with Diffusion-Based Generative Memory [27.651921957220004]
  拡散型生成メモリ(DFedDGM)を用いた新しいデータフリーフェデレーションクラスインクリメンタルラーニングフレームワークを提案する。 FLにおける一般の非IID問題を軽減するために拡散モデルの訓練を支援するために,新しいバランスの取れたサンプルを設計する。 また、情報理論の観点からエントロピーに基づくサンプルフィルタリング手法を導入し、生成サンプルの品質を向上させる。
  論文  参考訳（メタデータ） (2024-05-22T20:59:18Z)
• No Fear of Classifier Biases: Neural Collapse Inspired Federated Learning with Synthetic and Fixed Classifier [10.491645205483051]
  本稿では、FLの分類器バイアス問題に対して、学習中に合成・固定されたETF分類器を用いて解を提案する。 FLにおけるETF構造をよりよく適応するために,高一般化とパーソナライズの両方を実現するために,いくつかの効果的なモジュールを考案した。 本手法は,CIFAR-10,CIFAR-100,Tiny-ImageNet上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-17T15:38:39Z)
• Stabilizing and Improving Federated Learning with Non-IID Data and Client Dropout [15.569507252445144]
  ラベル分布スキューによるデータヘテロジェニーティは、フェデレート学習におけるモデル性能を制限する重要な障害であることが示されている。 クロスエントロピー損失を計算するための事前校正ソフトマックス関数を導入することで、シンプルで効果的なフレームワークを提案する。 非IIDデータとクライアントドロップアウトの存在下で、既存のベースラインよりも優れたモデル性能を示す。
  論文  参考訳（メタデータ） (2023-03-11T05:17:59Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Does Decentralized Learning with Non-IID Unlabeled Data Benefit from Self Supervision? [51.00034621304361]
  自己教師型学習(SSL)のレンズによるラベルなしデータによる分散学習の研究 本研究では,分散学習環境下でのコントラスト学習アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2022-10-20T01:32:41Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Class Balancing GAN with a Classifier in the Loop [58.29090045399214]
  本稿では,GANを学習するための理論的動機付けクラスバランス正則化器を提案する。 我々の正規化器は、訓練済みの分類器からの知識を利用して、データセット内のすべてのクラスのバランスの取れた学習を確実にします。 複数のデータセットにまたがる既存手法よりも優れた性能を達成し,長期分布の学習表現における正規化器の有用性を実証する。
  論文  参考訳（メタデータ） (2021-06-17T11:41:30Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。