論文の概要: Personalized Federated Learning Techniques: Empirical Analysis

• arxiv url: http://arxiv.org/abs/2409.06805v1
• Date: Tue, 10 Sep 2024 18:16:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 17:07:53.274512
• Title: Personalized Federated Learning Techniques: Empirical Analysis
• Title（参考訳）: 個人化フェデレーション学習技術:実証分析
• Authors: Azal Ahmad Khan, Ahmad Faraz Khan, Haider Ali, Ali Anwar,
• Abstract要約: 我々は、様々なデータセットとデータ分割にまたがる10の卓越したpFL手法を実証的に評価し、その性能に有意な違いが判明した。 本研究は,pFLのスケーリングにおける通信効率の重要な役割を強調し,実際の展開における資源利用にどのように影響するかを示す。
• 参考スコア（独自算出の注目度）: 2.9521571597754885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalized Federated Learning (pFL) holds immense promise for tailoring machine learning models to individual users while preserving data privacy. However, achieving optimal performance in pFL often requires a careful balancing act between memory overhead costs and model accuracy. This paper delves into the trade-offs inherent in pFL, offering valuable insights for selecting the right algorithms for diverse real-world scenarios. We empirically evaluate ten prominent pFL techniques across various datasets and data splits, uncovering significant differences in their performance. Our study reveals interesting insights into how pFL methods that utilize personalized (local) aggregation exhibit the fastest convergence due to their efficiency in communication and computation. Conversely, fine-tuning methods face limitations in handling data heterogeneity and potential adversarial attacks while multi-objective learning methods achieve higher accuracy at the cost of additional training and resource consumption. Our study emphasizes the critical role of communication efficiency in scaling pFL, demonstrating how it can significantly affect resource usage in real-world deployments.
• Abstract（参考訳）: パーソナライズド・フェデレーション・ラーニング(pFL)は、データのプライバシを保ちながら、個々のユーザに機械学習モデルをカスタマイズする、という大きな約束を持っています。 しかし、pFLの最適性能を達成するには、メモリオーバーヘッドコストとモデル精度のバランスをとる必要があることが多い。 本稿では,pFL固有のトレードオフを考察し,多様な実世界のシナリオに対して適切なアルゴリズムを選択するための貴重な洞察を提供する。 我々は、様々なデータセットとデータ分割にまたがる10の卓越したpFL手法を実証的に評価し、その性能に有意な違いが判明した。 本研究は, パーソナライズされた(局所的な)アグリゲーションを用いたpFL手法が, 通信と計算の効率性から, いかに早く収束したかを示す。 逆に、微調整法は、データの不均一性と潜在的な敵攻撃を扱う際の制限に直面し、一方、多目的学習法は、追加の訓練とリソース消費のコストで高い精度を達成する。 本研究は,pFLのスケーリングにおける通信効率の重要な役割を強調し,実際の展開における資源利用にどのように影響するかを示す。

関連論文リスト

• Prioritizing Modalities: Flexible Importance Scheduling in Federated Multimodal Learning [5.421492821020181]
  Federated Learning(FL)は、デバイスがローカルデータを共有せずにモデルを協調的にトレーニングできる分散機械学習アプローチである。 FLを実世界のデータに適用することは、特に既存のFL研究が不正なデータに焦点を当てているため、課題を提示している。 我々は,各モードエンコーダのトレーニングリソースを適応的に割り当てることで,MFLにおける計算効率を向上させる新しい手法FlexModを提案する。
  論文  参考訳（メタデータ） (2024-08-13T01:14:27Z)
• Personalized Multi-tier Federated Learning [7.124736158080938]
  パーソナライズド・フェデレーション・ラーニング(PerFL)の主な課題は、安価な通信でデータの統計特性を捉え、参加するデバイスにカスタマイズされたパフォーマンスを得ることである。 我々は,多層アーキテクチャ(PerMFL)における個人化フェデレーション学習を導入し,デバイス間でチーム構造が知られている場合に,最適化されたパーソナライズされたローカルモデルを得る。
  論文  参考訳（メタデータ） (2024-07-19T12:31:15Z)
• CDFL: Efficient Federated Human Activity Recognition using Contrastive Learning and Deep Clustering [12.472038137777474]
  HAR(Human Activity Recognition)は、多様なセンサーからのデータを介し、人間の行動の自動化とインテリジェントな識別に不可欠である。 中央サーバー上のデータを集約し、集中処理を行うことによる従来の機械学習アプローチは、メモリ集約であり、プライバシの懸念を高める。 本研究は,画像ベースHARのための効率的なフェデレーション学習フレームワークCDFLを提案する。
  論文  参考訳（メタデータ） (2024-07-17T03:17:53Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
  FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。 異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。 実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-08-12T10:33:57Z)
• DPP-based Client Selection for Federated Learning with Non-IID Data [97.1195165400568]
  本稿では,統合学習(FL)のコミュニケーションボトルネックに対処するクライアント選択(CS)手法を提案する。 まず、FLにおけるCSの効果を分析し、各学習ラウンドにおけるトレーニングデータセットの多様化に参加者を適切に選択することで、FLトレーニングを加速させることができることを示す。 我々は、データプロファイリングと決定点プロセス(DPP)サンプリング技術を活用し、DPPに基づく参加者選択(FL-DP$3$S)によるフェデレートラーニング(Federated Learning)と呼ばれるアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2023-03-30T13:14:54Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。