論文の概要: Towards Layer-Wise Personalized Federated Learning: Adaptive Layer Disentanglement via Conflicting Gradients

• arxiv url: http://arxiv.org/abs/2410.02845v1
• Date: Thu, 3 Oct 2024 14:46:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 05:24:53.650676
• Title: Towards Layer-Wise Personalized Federated Learning: Adaptive Layer Disentanglement via Conflicting Gradients
• Title（参考訳）: レイヤーワイズ・パーソナライズド・フェデレーション・ラーニングを目指して--矛盾するグラディエントによる適応的なレイヤー・ディスタングルメント
• Authors: Minh Duong Nguyen, Khanh Le, Khoi Do, Nguyen H. Tran, Duc Nguyen, Chien Trinh, Zhaohui Yang,
• Abstract要約: パーソナライズされたフェデレートラーニング(pFL)では、高データの異質性はデバイス間で大きな勾配のばらつきを引き起こす可能性がある。 グラディエント・アナリティクス(FedLAG)によるレイヤワイド・アグリゲーションを用いたフェデレート・ラーニング(Federated Learning)という,pFL設計への新たなアプローチを導入する。 FedLAGはレイヤーワイド勾配競合の程度に基づいて、パーソナライズのためのレイヤを割り当てる。
• 参考スコア（独自算出の注目度）: 11.269920973751244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In personalized Federated Learning (pFL), high data heterogeneity can cause significant gradient divergence across devices, adversely affecting the learning process. This divergence, especially when gradients from different users form an obtuse angle during aggregation, can negate progress, leading to severe weight and gradient update degradation. To address this issue, we introduce a new approach to pFL design, namely Federated Learning with Layer-wise Aggregation via Gradient Analysis (FedLAG), utilizing the concept of gradient conflict at the layer level. Specifically, when layer-wise gradients of different clients form acute angles, those gradients align in the same direction, enabling updates across different clients toward identifying client-invariant features. Conversely, when layer-wise gradient pairs make create obtuse angles, the layers tend to focus on client-specific tasks. In hindsights, FedLAG assigns layers for personalization based on the extent of layer-wise gradient conflicts. Specifically, layers with gradient conflicts are excluded from the global aggregation process. The theoretical evaluation demonstrates that when integrated into other pFL baselines, FedLAG enhances pFL performance by a certain margin. Therefore, our proposed method achieves superior convergence behavior compared with other baselines. Extensive experiments show that our FedLAG outperforms several state-of-the-art methods and can be easily incorporated with many existing methods to further enhance performance.
• Abstract（参考訳）: パーソナライズされたフェデレーション学習(pFL)では、高データの異質性はデバイス間で大きな勾配のばらつきを引き起こし、学習プロセスに悪影響を及ぼす可能性がある。 このばらつき、特に、異なるユーザーからのグラデーションがアグリゲーション中に斜めの角度を形成する場合、進行を無効にすることができ、重み付けと勾配更新の劣化を引き起こす。 この問題に対処するために、我々は、階層レベルでの勾配競合の概念を利用して、階層的アグリゲーションを伴うフェデレート学習(Federated Learning with Layer-wise Aggregation via Gradient Analysis (FedLAG))という、pFL設計の新しいアプローチを導入する。 具体的には、異なるクライアントのレイヤワイドな勾配が急性の角度を形成するとき、それらの勾配は同じ方向に整列し、異なるクライアントをまたいでクライアント不変の機能を特定することができる。 逆に、レイヤワイドのグラデーションペアがオブユースアングルを作る場合、レイヤはクライアント固有のタスクに集中する傾向があります。 後見では、FedLAGはレイヤーワイド勾配競合の程度に基づいて、パーソナライズのためのレイヤを割り当てる。 特に、勾配の衝突のある層は、グローバルアグリゲーションプロセスから除外される。 理論的評価は、他のpFLベースラインに統合された場合、FedLAGはpFL性能を一定のマージンで向上させることを示した。 そこで本提案手法は,他のベースラインに比べて収束挙動が優れている。 大規模な実験により,我々のFedLAGはいくつかの最先端手法より優れており,多くの既存手法に容易に組み込んで性能を向上できることがわかった。

関連論文リスト

• Hierarchical Federated Learning with Multi-Timescale Gradient Correction [24.713834338757195]
  本稿では,この問題を解決するためにMTGC法を提案する。 私たちのキーとなる考え方は、(i)グループ勾配のクライアント勾配を補正する、すなわち、個々のデータセットに基づいたローカル更新によるクライアントモデルのドリフトを減らすために、異なる制御を導入することです。
  論文  参考訳（メタデータ） (2024-09-27T05:10:05Z)
• CG-FedLLM: How to Compress Gradients in Federated Fune-tuning for Large Language Models [21.919883617413358]
  本研究では,Large-Language Models (LLMs) における通信効率向上のための圧縮勾配の革新的手法を提案する。 また、このプライバシー中心のフレームワークにおける信号対雑音比、圧縮率、ロバスト性に着目した一連の実験分析を行った。
  論文  参考訳（メタデータ） (2024-05-22T15:32:38Z)
• Class Gradient Projection For Continual Learning [99.105266615448]
  破滅的な忘れは継続的学習(CL)における最も重要な課題の1つです。 タスクではなく個々のクラスから勾配部分空間を計算するクラスグラディエント・プロジェクション(CGP)を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:45:56Z)
• Internal Cross-layer Gradients for Extending Homogeneity to Heterogeneity in Federated Learning [11.29694276480432]
  フェデレートラーニング(FL)は必然的にシステム不均一性の課題に直面する。 本稿では,ほとんどのモデル同次FL法の能力を拡張可能なトレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2023-08-22T14:23:21Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Towards Better Gradient Consistency for Neural Signed Distance Functions via Level Set Alignment [50.892158511845466]
  レベルセットの並列性によって示される場の勾配一貫性が、推論精度に影響を及ぼす重要な要因であることを示す。 そこで本研究では,次数集合の並列性を評価するためのレベルセットアライメント損失を提案する。
  論文  参考訳（メタデータ） (2023-05-19T11:28:05Z)
• Layerwise Optimization by Gradient Decomposition for Continual Learning [78.58714373218118]
  ディープニューラルネットワークは、様々な領域で最先端の超人的パフォーマンスを実現します。 タスクを逐次学習する場合、ネットワークは「破滅的忘れ」と呼ばれる過去のタスクの知識を忘れやすい。
  論文  参考訳（メタデータ） (2021-05-17T01:15:57Z)
• Boosting Gradient for White-Box Adversarial Attacks [60.422511092730026]
  そこで本研究では,ADV-ReLUと呼ばれる,勾配に基づくホワイトボックス攻撃アルゴリズムの性能向上を目的とした,汎用的な逆例生成手法を提案する。 提案手法では,損失関数とネットワーク入力の勾配を算出し,その値をスコアにマップし,その一部を選択して誤導勾配を更新する。
  論文  参考訳（メタデータ） (2020-10-21T02:13:26Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。