論文の概要: Addressing the Collaboration Dilemma in Low-Data Federated Learning via Transient Sparsity

• arxiv url: http://arxiv.org/abs/2506.00932v1
• Date: Sun, 01 Jun 2025 09:53:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.800527
• Title: Addressing the Collaboration Dilemma in Low-Data Federated Learning via Transient Sparsity
• Title（参考訳）: 過渡的疎通による低データフェデレーション学習における協調ジレンマへの対応
• Authors: Qiao Xiao, Boqian Wu, Andrey Poddubnyy, Elena Mocanu, Phuong H. Nguyen, Mykola Pechenizkiy, Decebal Constantin Mocanu,
• Abstract要約: フェデレートラーニング(FL)は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。 FLにおける階層的慣性現象を同定し,グローバルモデルの中間層は早期通信ラウンド後に最小限のアップデートを行う。 LIPS(Layer-wise Inertia Phenomenon with Sparsity)は,周期的に過渡的なスパーシリティを導入し,意味のある更新を刺激し,グローバルアグリゲーションを増強する,シンプルかつ効果的な手法である。
• 参考スコア（独自算出の注目度）: 21.664069606697698
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) enables collaborative model training across decentralized clients while preserving data privacy, leveraging aggregated updates to build robust global models. However, this training paradigm faces significant challenges due to data heterogeneity and limited local datasets, which often impede effective collaboration. In such scenarios, we identify the Layer-wise Inertia Phenomenon in FL, wherein the middle layers of global model undergo minimal updates after early communication rounds, ultimately limiting the effectiveness of global aggregation. We demonstrate the presence of this phenomenon across a wide range of federated settings, spanning diverse datasets and architectures. To address this issue, we propose LIPS (Layer-wise Inertia Phenomenon with Sparsity), a simple yet effective method that periodically introduces transient sparsity to stimulate meaningful updates and empower global aggregation. Experiments demonstrate that LIPS effectively mitigates layer-wise inertia, enhances aggregation effectiveness, and improves overall performance in various FL scenarios. This work not only deepens the understanding of layer-wise learning dynamics in FL but also paves the way for more effective collaboration strategies in resource-constrained environments. Our code is publicly available at: https://github.com/QiaoXiao7282/LIPS.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にし、集約されたアップデートを活用して堅牢なグローバルモデルを構築する。 しかし、このトレーニングパラダイムは、データの不均一性と限られたローカルデータセットのため、しばしば効果的なコラボレーションを妨げる重大な課題に直面している。 このようなシナリオでは、FLのレイヤーワイド慣性現象を同定し、グローバルモデルの中間層は、初期通信ラウンド後に最小限のアップデートを行い、最終的にグローバルアグリゲーションの有効性を制限する。 この現象は、さまざまなデータセットやアーキテクチャにまたがって、幅広いフェデレートされた設定にまたがって存在していることを実証する。 この問題に対処するために,周期的に過渡的空間性を導入し,意味のある更新を刺激し,グローバルアグリゲーションを増強する,単純かつ効果的なLPPS(Layer-wise Inertia Phenomenon with Sparsity)を提案する。 実験により、LIPSは階層的慣性を効果的に軽減し、集約効率を高め、様々なFLシナリオにおける全体的な性能を向上させることが示された。 この作業は、FLにおけるレイヤワイズ学習のダイナミクスの理解を深めるだけでなく、リソース制約のある環境でより効果的なコラボレーション戦略の道を開いた。 私たちのコードは、https://github.com/QiaoXiao7282/LIPSで公開されています。

関連論文リスト

• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FedEGG: Federated Learning with Explicit Global Guidance [90.04705121816185]
  フェデレートラーニング(FL)は、そのプライバシー保護の性質から、多様なアプリケーションにとって大きな可能性を秘めている。 既存の手法は、最適化ベースのクライアント制約、適応的なクライアント選択、事前訓練されたモデルや合成データの使用によってこれらの課題に対処するのに役立つ。 我々はbftextFedEGGを提案する。bftextFedEGGは、よく定義された、容易に収束できる学習タスクを用いて、グローバルガイドタスクを構築する新しいFLアルゴリズムである。
  論文  参考訳（メタデータ） (2024-04-18T04:25:21Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Federated Deep Equilibrium Learning: Harnessing Compact Global Representations to Enhance Personalization [23.340237814344377]
  Federated Learning(FL)は、クライアントがデータを交換することなくグローバルモデルを協調的にトレーニングできる、画期的な分散学習パラダイムとして登場した。 FeDEQは,高効率なパーソナライズのために,コンパクトなグローバルデータ表現を利用するために,深い平衡学習とコンセンサス最適化を取り入れた新しいFLフレームワークである。 FeDEQは,訓練中の通信サイズを最大4倍,メモリフットプリントを1.5倍に削減しつつ,最先端のパーソナライズされたFL法の性能に適合することを示した。
  論文  参考訳（メタデータ） (2023-09-27T13:48:12Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• FedCL: Federated Multi-Phase Curriculum Learning to Synchronously Correlate User Heterogeneity [17.532659808426605]
  Federated Learning(FL)は、機械学習アルゴリズムのトレーニングに使用される分散学習手法である。 FLでは、グローバルモデルがローカルデータにアクセスすることなく、ローカルモデルのパラメータを反復的に収集する。 本稿では,FLにおけるユーザ不均一性の課題に対処するための,アクティブかつ同期的な相関手法を提案する。
  論文  参考訳（メタデータ） (2022-11-14T10:06:41Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Analysis and Optimal Edge Assignment For Hierarchical Federated Learning on Non-IID Data [43.32085029569374]
  フェデレーション学習アルゴリズムは、ユーザのデバイスに格納された分散および多様なデータを活用して、グローバルな現象を学習することを目的としている。 参加者のデータが強く歪んだ場合(例えば、非iidの場合)、ローカルモデルはローカルデータに過剰に適合し、低パフォーマンスなグローバルモデルに繋がる。 ユーザエッジ層にFederated Gradient Descent、エッジクラウド層にFederated Averagingを実行する階層学習システムを提案する。
  論文  参考訳（メタデータ） (2020-12-10T12:18:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。