論文の概要: FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2203.13663v1
• Date: Thu, 24 Mar 2022 17:43:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-28 13:03:52.348880
• Title: FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task Learning
• Title（参考訳）: fedgradnorm: 個人化されたフェデレーション勾配正規化マルチタスク学習
• Authors: Matin Mortaheb and Cemil Vahapoglu and Sennur Ulukus
• Abstract要約: マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。 本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
• 参考スコア（独自算出の注目度）: 50.756991828015316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning (MTL) is a novel framework to learn several tasks simultaneously with a single shared network where each task has its distinct personalized header network for fine-tuning. MTL can be implemented in federated learning settings as well, in which tasks are distributed across clients. In federated settings, the statistical heterogeneity due to different task complexities and data heterogeneity due to non-iid nature of local datasets can both degrade the learning performance of the system. In addition, tasks can negatively affect each other's learning performance due to negative transference effects. To cope with these challenges, we propose FedGradNorm which uses a dynamic-weighting method to normalize gradient norms in order to balance learning speeds among different tasks. FedGradNorm improves the overall learning performance in a personalized federated learning setting. We provide convergence analysis for FedGradNorm by showing that it has an exponential convergence rate. We also conduct experiments on multi-task facial landmark (MTFL) and wireless communication system dataset (RadComDynamic). The experimental results show that our framework can achieve faster training performance compared to equal-weighting strategy. In addition to improving training speed, FedGradNorm also compensates for the imbalanced datasets among clients.
• Abstract（参考訳）: マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。 MTLは、クライアント間でタスクが分散されるフェデレートされた学習設定でも実装できる。 フェデレートされた設定では、タスクの複雑さの違いによる統計的不均一性と、ローカルデータセットの非ID性によるデータ不均一性の両方がシステムの学習性能を低下させる。 さらに、タスクは、負の伝達効果による学習性能に悪影響を及ぼす可能性がある。 これらの課題に対処するために, 動的重み付け法を用いて勾配ノルムを正規化し, 異なるタスク間の学習速度のバランスをとるfeedgradnormを提案する。 FedGradNormは、パーソナライズされたフェデレーション学習環境における全体的な学習性能を改善する。 我々はFedGradNormに対して指数収束率を示すことによって収束解析を行う。 また,マルチタスク顔ランドマーク(MTFL)と無線通信システムデータセット(RadComDynamic)についても実験を行った。 実験結果から,本フレームワークは等重化戦略に比べて訓練性能が向上することが示された。 トレーニング速度の改善に加えて、FedGradNormはクライアント間の不均衡データセットも補償する。

関連論文リスト

• Collaborative and Efficient Personalization with Mixtures of Adaptors [5.195669033269619]
  マルチタスク学習問題に対処するパラメータ効率の枠組みを提案する。 FLoRAL(Federated Low-Rank Adaptive Learning)と呼ぶフレームワークがあります。 人工データセットと実世界のフェデレートされたマルチタスク問題に関する有望な実験結果を示す。
  論文  参考訳（メタデータ） (2024-10-04T15:11:15Z)
• InterroGate: Learning to Share, Specialize, and Prune Representations for Multi-task Learning [17.66308231838553]
  推論計算効率を最適化しつつ,タスク干渉を緩和する新しいマルチタスク学習(MTL)アーキテクチャを提案する。 学習可能なゲーティング機構を用いて、すべてのタスクのパフォーマンスを保ちながら、共有表現とタスク固有の表現を自動的にバランスさせる。
  論文  参考訳（メタデータ） (2024-02-26T18:59:52Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Personalized Decentralized Multi-Task Learning Over Dynamic Communication Graphs [59.96266198512243]
  本稿では,正と負の相関関係を持つタスクに対する分散・フェデレーション学習アルゴリズムを提案する。 本アルゴリズムでは,タスク間の相関関係を自動的に計算し,コミュニケーショングラフを動的に調整して相互に有益なタスクを接続し,互いに悪影響を及ぼす可能性のあるタスクを分離する。 合成ガウスデータセットと大規模セレブ属性(CelebA)データセットについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-21T18:58:24Z)
• Hierarchical Over-the-Air FedGradNorm [50.756991828015316]
  MTL(Multi-task Learning)は、単一の共有ネットワークで複数の関連するタスクを同時に学習する学習パラダイムである。 我々は,HOTA-FedGradNormと呼ばれる動的重み付け戦略を用いた階層的オーバー・ザ・エア(HOTA)PFLを提案する。
  論文  参考訳（メタデータ） (2022-12-14T18:54:46Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
  我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。 FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。 我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
  論文  参考訳（メタデータ） (2020-03-06T13:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。