論文の概要: FedWCM: Unleashing the Potential of Momentum-based Federated Learning in Long-Tailed Scenarios

• arxiv url: http://arxiv.org/abs/2507.14980v1
• Date: Sun, 20 Jul 2025 14:24:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.148936
• Title: FedWCM: Unleashing the Potential of Momentum-based Federated Learning in Long-Tailed Scenarios
• Title（参考訳）: FedWCM:長期シナリオにおけるモメンタムベースのフェデレーションラーニングの可能性
• Authors: Tianle Li, Yongzhi Huang, Linshan Jiang, Qipeng Xie, Chang Liu, Wenfeng Du, Lu Wang, Kaishun Wu,
• Abstract要約: フェデレートラーニング(FL)は、データのプライバシを保持しながら、分散モデルトレーニングを可能にする。 その利点にもかかわらず、FLは非ID分散(非IID)データによる課題に直面している。 グローバルおよびラウンドごとのデータを用いて運動量を動的に調整するFedWCMを提案する。
• 参考スコア（独自算出の注目度）: 14.18492489954482
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) enables decentralized model training while preserving data privacy. Despite its benefits, FL faces challenges with non-identically distributed (non-IID) data, especially in long-tailed scenarios with imbalanced class samples. Momentum-based FL methods, often used to accelerate FL convergence, struggle with these distributions, resulting in biased models and making FL hard to converge. To understand this challenge, we conduct extensive investigations into this phenomenon, accompanied by a layer-wise analysis of neural network behavior. Based on these insights, we propose FedWCM, a method that dynamically adjusts momentum using global and per-round data to correct directional biases introduced by long-tailed distributions. Extensive experiments show that FedWCM resolves non-convergence issues and outperforms existing methods, enhancing FL's efficiency and effectiveness in handling client heterogeneity and data imbalance.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データのプライバシを保持しながら、分散モデルトレーニングを可能にする。 その利点にもかかわらず、FLは非ID分散(非IID)データ、特に不均衡なクラスサンプルを持つ長い尾のシナリオでの課題に直面している。 モメンタムベースのFL法は、FL収束を加速するためにしばしば用いられ、これらの分布と競合し、バイアスモデルとなり、FL収束が困難になる。 この課題を理解するために、我々はニューラルネットワークの振る舞いを階層的に分析すると共に、この現象を広範囲に調査する。 これらの知見に基づいて,大域およびラウンドごとのデータを用いて運動量を動的に調整し,長期分布による方向バイアスを補正するFedWCMを提案する。 大規模な実験により、FedWCMは非収束問題を解消し、既存の手法より優れており、クライアントの不均一性やデータ不均衡を扱う際のFLの効率性と有効性を高めている。

関連論文リスト

• FlexFed: Mitigating Catastrophic Forgetting in Heterogeneous Federated Learning in Pervasive Computing Environments [4.358456799125694]
  広汎なコンピューティング環境(例えばヒューマンアクティビティ認識、HAR)は、リソース制約されたエンドデバイス、ストリーミングセンサーデータ、断続的なクライアント参加によって特徴づけられる。 我々は,効率的なメモリ使用のためにデータ保持を優先し,オフライントレーニング頻度を動的に調整する新しいFLアプローチFlexFedを提案する。 また、ストリーミングデータ、動的分散、不均衡、可用性の変動をシミュレートする現実的なHARベースの評価フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-05-19T14:23:37Z)
• Distributionally Robust Federated Learning: An ADMM Algorithm [5.65425489838679]
  Federated Learning (FL)は、分散データを使用して機械学習(ML)モデルを協調的にトレーニングすることを目的としている。 標準FLモデルは、全てのデータが同じ未知の分布から来ていると仮定することが多い。 本稿では,データの不均一性と分散あいまいさによる課題を克服するため,分散ロバスト・フェデレート・ラーニング(DRFL)という新しいFLモデルを提案する。
  論文  参考訳（メタデータ） (2025-03-24T08:35:38Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Client Contribution Normalization for Enhanced Federated Learning [4.726250115737579]
  スマートフォンやラップトップを含むモバイルデバイスは、分散化された異種データを生成する。 フェデレートラーニング(FL)は、データ共有のない分散デバイス間でグローバルモデルの協調トレーニングを可能にすることで、有望な代替手段を提供する。 本稿では、FLにおけるデータ依存的不均一性に着目し、局所的に訓練されたモデルから抽出された平均潜在表現を活用する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-10T04:03:09Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Balanced Multi-modal Federated Learning via Cross-Modal Infiltration [19.513099949266156]
  フェデレートラーニング(FL)は、プライバシを保存する分散コンピューティングの進歩を支えている。 本稿では,新しいクロスモーダル・インフィルティング・フェデレート・ラーニング(FedCMI)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-31T05:50:15Z)
• Knowledge Rumination for Client Utility Evaluation in Heterogeneous Federated Learning [12.50871784200551]
  フェデレートラーニング(FL)は、いくつかのクライアントが生データを開示することなく、機械学習モデルを協調的にトレーニングすることを可能にする。 非IIDデータと古いモデルは、グローバルモデルの実用性を低下させ、トレーニング失敗につながる可能性があるため、AFLに重大な課題をもたらす。 我々はFedHistと呼ばれる新しいAFLフレームワークを提案し、非IIDデータと勾配安定度の両方がもたらす課題を効果的に解決する。
  論文  参考訳（メタデータ） (2023-12-16T11:40:49Z)
• FedWon: Triumphing Multi-domain Federated Learning Without Normalization [50.49210227068574]
  フェデレートラーニング(FL)は、分散クライアントでの協調的なインサイトトレーニングによって、データのプライバシを高める。 しかし、フェデレーテッド・ラーニング(FL)は、非独立で同一に分散された(非i.d)データのために困難に直面する。 本稿では,FLにおける多領域問題に対処するため,FedWon(Federated Learning Without normalizations)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T13:18:50Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Depersonalized Federated Learning: Tackling Statistical Heterogeneity by Alternating Stochastic Gradient Descent [6.394263208820851]
  フェデレート・ラーニング(FL)は、デバイスがデータ共有なしでインテリジェントな推論のために共通の機械学習(ML)モデルをトレーニングすることを可能にする。 様々な共役者によって保持される生データは、常に不特定に分散される。 本稿では,このプロセスのデスピードにより統計的に大幅に最適化できる新しいFLを提案する。
  論文  参考訳（メタデータ） (2022-10-07T10:30:39Z)
• Communication-Efficient Diffusion Strategy for Performance Improvement of Federated Learning with Non-IID Data [10.994226932599403]
  非IIDデータを用いたグローバルモデルの性能を最大化するために,機械学習モデル(FedDif)の新たな拡散戦略を提案する。 FedDifはトップ1テストの精度を最大34.89%改善し、通信コストを最大63.49%まで14.6%削減した。
  論文  参考訳（メタデータ） (2022-07-15T14:28:41Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。