論文の概要: FedDUAL: A Dual-Strategy with Adaptive Loss and Dynamic Aggregation for Mitigating Data Heterogeneity in Federated Learning

• arxiv url: http://arxiv.org/abs/2412.04416v1
• Date: Thu, 05 Dec 2024 18:42:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:42:53.044376
• Title: FedDUAL: A Dual-Strategy with Adaptive Loss and Dynamic Aggregation for Mitigating Data Heterogeneity in Federated Learning
• Title（参考訳）: Feddual: フェデレーション学習におけるデータ不均一性を緩和するための適応的損失と動的集約を伴う2段階戦略
• Authors: Pranab Sahoo, Ashutosh Tripathi, Sriparna Saha, Samrat Mondal,
• Abstract要約: フェデレートラーニング(FL)は、様々なクライアントからローカルに最適化されたモデルと、統一されたグローバルモデルを組み合わせる。 FLは、性能劣化、収束の遅さ、グローバルモデルの堅牢性低下など、重大な課題に直面している。 これらの問題を効果的に解決するために、革新的なデュアルストラテジーアプローチを導入する。
• 参考スコア（独自算出の注目度）: 12.307490659840845
• License:
• Abstract: Federated Learning (FL) marks a transformative approach to distributed model training by combining locally optimized models from various clients into a unified global model. While FL preserves data privacy by eliminating centralized storage, it encounters significant challenges such as performance degradation, slower convergence, and reduced robustness of the global model due to the heterogeneity in client data distributions. Among the various forms of data heterogeneity, label skew emerges as a particularly formidable and prevalent issue, especially in domains such as image classification. To address these challenges, we begin with comprehensive experiments to pinpoint the underlying issues in the FL training process. Based on our findings, we then introduce an innovative dual-strategy approach designed to effectively resolve these issues. First, we introduce an adaptive loss function for client-side training, meticulously crafted to preserve previously acquired knowledge while maintaining an optimal equilibrium between local optimization and global model coherence. Secondly, we develop a dynamic aggregation strategy for aggregating client models at the server. This approach adapts to each client's unique learning patterns, effectively addressing the challenges of diverse data across the network. Our comprehensive evaluation, conducted across three diverse real-world datasets, coupled with theoretical convergence guarantees, demonstrates the superior efficacy of our method compared to several established state-of-the-art approaches.
• Abstract（参考訳）: Federated Learning (FL)は、様々なクライアントからローカルに最適化されたモデルを統一されたグローバルモデルに組み合わせることで、分散モデルトレーニングへの変革的なアプローチを示す。 FLは集中ストレージを排除してデータのプライバシを保存するが、クライアントデータ分散の不均一性によるパフォーマンス低下、収束の遅さ、グローバルモデルの堅牢性低下といった大きな課題に直面している。 データの不均一性の様々な形態の中で、特に画像分類のような領域において、ラベルスキューは特に恐ろしく一般的な問題として現れる。 これらの課題に対処するために、FLトレーニングプロセスの根底にある問題を特定するための総合的な実験から始めます。 そこで本研究では,これらの問題を効果的に解決するために,革新的な二重戦略手法を提案する。 まず、局所最適化とグローバルモデルコヒーレンスとの最適均衡を維持しつつ、獲得した知識を正確に保存するクライアント側トレーニングのための適応的損失関数を導入する。 第2に,クライアントモデルをサーバに集約するための動的集約戦略を開発する。 このアプローチは各クライアントのユニークな学習パターンに適応し、ネットワーク全体にわたる多様なデータの課題に効果的に対処する。 提案手法は,3つの多種多様な実世界のデータセットにまたがって実施され,理論収束保証と組み合わせた総合的な評価により,いくつかの確立された最先端手法と比較して,本手法の優れた有効性を示す。

関連論文リスト

• Adversarial Federated Consensus Learning for Surface Defect Classification Under Data Heterogeneity in IIoT [8.48069043458347]
  産業用IoT(Industrial Internet of Things)における各種エンティティからの十分なトレーニングデータの収集と集中化は難しい。 フェデレートラーニング(FL)は、クライアント間で協調的なグローバルモデルトレーニングを可能にするソリューションを提供する。 我々は,Adversarial Federated Consensus Learning (AFedCL) という新しいFLアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-24T03:59:32Z)
• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• Overcoming Data and Model Heterogeneities in Decentralized Federated Learning via Synthetic Anchors [21.931436901703634]
  従来のフェデレートラーニング(FL)には、ユーザデータのプライバシを維持しながら、グローバルモデルの協調的なトレーニングが含まれる。 そのブランチの1つ、分散FLは、クライアントが別々のローカルモデルを所有し、最適化できるサーバーレスネットワークである。 本稿では,DeSAと呼ばれる合成アンカーを導入し,新しい分散FL手法を提案する。
  論文  参考訳（メタデータ） (2024-05-19T11:36:45Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Contrastive encoder pre-training-based clustered federated learning for heterogeneous data [17.580390632874046]
  フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。 本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
  論文  参考訳（メタデータ） (2023-11-28T05:44:26Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。