論文の概要: FedLWS: Federated Learning with Adaptive Layer-wise Weight Shrinking

• arxiv url: http://arxiv.org/abs/2503.15111v1
• Date: Wed, 19 Mar 2025 11:10:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:22:44.701987
• Title: FedLWS: Federated Learning with Adaptive Layer-wise Weight Shrinking
• Title（参考訳）: FedLWS:Adaptive Layer-wise Weight Shrinkingによるフェデレーションラーニング
• Authors: Changlong Shi, Jinmeng Li, He Zhao, Dan dan Guo, Yi Chang,
• Abstract要約: フェデレートラーニング(FL)では,新たなグローバルモデルを生成するために,局所モデルの重み付けアグリゲーションを行う。 我々は,適応層ワイトシンキング(FedLWS)を用いた新しいモデル集約戦略,フェデレートラーニングを提案する。 FedLWSは、レイヤワイズで縮小係数を適応的に設計し、プロキシデータセット上の縮小係数の最適化を避ける。
• 参考スコア（独自算出の注目度）: 9.11470271267659
• License:
• Abstract: In Federated Learning (FL), weighted aggregation of local models is conducted to generate a new global model, and the aggregation weights are typically normalized to 1. A recent study identifies the global weight shrinking effect in FL, indicating an enhancement in the global model's generalization when the sum of weights (i.e., the shrinking factor) is smaller than 1, where how to learn the shrinking factor becomes crucial. However, principled approaches to this solution have not been carefully studied from the adequate consideration of privacy concerns and layer-wise distinctions. To this end, we propose a novel model aggregation strategy, Federated Learning with Adaptive Layer-wise Weight Shrinking (FedLWS), which adaptively designs the shrinking factor in a layer-wise manner and avoids optimizing the shrinking factors on a proxy dataset. We initially explored the factors affecting the shrinking factor during the training process. Then we calculate the layer-wise shrinking factors by considering the distinctions among each layer of the global model. FedLWS can be easily incorporated with various existing methods due to its flexibility. Extensive experiments under diverse scenarios demonstrate the superiority of our method over several state-of-the-art approaches, providing a promising tool for enhancing the global model in FL.
• Abstract（参考訳）: フェデレートラーニング(FL)では、新しいグローバルモデルを生成するために局所モデルの重み付けアグリゲーションが行われ、アグリゲーションの重み付けは通常1に正規化される。 近年の研究では、FLにおける大域的減量効果が特定され、重みの和(すなわち縮量係数)が1より小さいときに、大域的モデルの一般化が促進されることを示し、縮量係数の学習方法が重要となる。 しかし、プライバシの懸念と階層的な区別を適切に考慮し、このソリューションに対する原則的なアプローチは慎重に研究されていない。 そこで本研究では,モデル集約戦略であるFederated Learning with Adaptive Layer-wise Weight Shrinking (FedLWS)を提案する。 まず,訓練過程における縮小要因の要因について検討した。 次に,大域的モデルの各層間の違いを考慮し,層間縮小係数を算出する。 FedLWSは、その柔軟性のために、様々な既存のメソッドに簡単に組み込むことができる。 様々なシナリオ下での大規模な実験は、いくつかの最先端アプローチよりも提案手法の優位性を実証し、FLにおけるグローバルモデルを強化するための有望なツールを提供する。

関連論文リスト

• Feasible Learning [78.6167929413604]
  本稿では,サンプル中心の学習パラダイムであるFeasible Learning(FL)を紹介する。 大規模言語モデルにおける画像分類, 年齢回帰, 好みの最適化といった経験的分析により, FLを用いて訓練したモデルでは, 平均的性能に限界があるものの, ERMと比較して改善された尾の挙動を示しながらデータから学習できることが実証された。
  論文  参考訳（メタデータ） (2025-01-24T20:39:38Z)
• pMixFed: Efficient Personalized Federated Learning through Adaptive Layer-Wise Mixup [18.409463838775558]
  pMixFedは、グローバルモデルの共有とパーソナライズされたローカルモデルの混在を統合する、動的でレイヤワイズなPFLアプローチである。 提案手法では,パーソナライズされた層と共有された層を分割する適応的戦略,局所的なクライアント適応を強化するためのパーソナライズ度を段階的に変化させる戦略,クライアント間の一般化の改善,破滅的な忘れを緩和するための新たな集約機構を導入している。
  論文  参考訳（メタデータ） (2025-01-19T10:15:36Z)
• Exploring Selective Layer Fine-Tuning in Federated Learning [48.470385357429215]
  フェデレートラーニング(FL)は,分散データを用いた基礎モデルの微調整のための,有望なパラダイムとして登場した。 FLにおける選択的層微調整について検討し、クライアントがローカルデータやリソースに応じて選択した層を調整できるフレキシブルなアプローチを強調した。
  論文  参考訳（メタデータ） (2024-08-28T07:48:39Z)
• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction [22.567754688492414]
  クロスデバイス・フェデレーション・ラーニング(FL)は、ユニークなコントリビューションを行う可能性のあるローエンドのクライアントが、リソースのボトルネックのため、大規模なモデルのトレーニングから除外されるという、大きな課題に直面します。 近年,グローバルモデルから縮小サイズのモデルを抽出し,それに応じてローカルクライアントに適用することによって,モデル不均一FLに焦点を当てている。 本稿では,オンラインモデル抽出を用いた不均一FLアルゴリズムの一元化フレームワークを提案し,一般収束解析を初めて提供する。
  論文  参考訳（メタデータ） (2023-10-12T19:07:58Z)
• ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models [70.45441031021291]
  LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。 LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。 本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:34:00Z)
• Deep Equilibrium Models Meet Federated Learning [71.57324258813675]
  本研究では,従来の深層学習ネットワークの代わりにDeep Equilibrium(DEQ)モデルを用いて,フェデレートラーニング(FL)問題について検討する。 我々は、DECモデルをフェデレート学習フレームワークに組み込むことで、FLのいくつかのオープンな問題に自然に対処できると主張している。 我々の知る限りでは、この研究は、DECモデルとフェデレーションラーニングの関連性を確立する最初のものである。
  論文  参考訳（メタデータ） (2023-05-29T22:51:40Z)
• Confidence-aware Personalized Federated Learning via Variational Expectation Maximization [34.354154518009956]
  パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。 PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。 階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T20:12:27Z)
• Revisiting Weighted Aggregation in Federated Learning with Neural Networks [5.779987217952073]
  フェデレートラーニング(FL)では、局所モデルの重み付けアグリゲーションを行い、グローバルモデルを生成する。 重みの和は1より小さくなり、大域的な重みの縮減効果と一般化の改善がもたらされる。 我々はFedLAWという名前の学習可能な集約重み付きフェデレート学習の効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-02-14T07:52:21Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Exploring Heterogeneous Characteristics of Layers in ASR Models for More Efficient Training [1.3999481573773072]
  ランとモデルサイズにまたがるこれらの層の安定性について検討する。 群正規化は, 群形成を乱すことなく適用できる可能性が示唆された。 これらの知見をフェデレートラーニングに適用して,トレーニング手順の改善を図る。
  論文  参考訳（メタデータ） (2021-10-08T17:25:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。