論文の概要: SAFL: Structure-Aware Personalized Federated Learning via Client-Specific Clustering and SCSI-Guided Model Pruning

• arxiv url: http://arxiv.org/abs/2501.18659v1
• Date: Thu, 30 Jan 2025 08:59:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:01:28.262909
• Title: SAFL: Structure-Aware Personalized Federated Learning via Client-Specific Clustering and SCSI-Guided Model Pruning
• Title（参考訳）: SAFL: クライアント特化クラスタリングとSCSI誘導型モデルプランニングによる構造認識型個人化フェデレーション学習
• Authors: Nan Li, Xiaolu Wang, Xiao Du, Puyu Cai, Ting Wang,
• Abstract要約: フェデレートラーニング(FL)は、クライアントがローカルデータを共有せずに、さまざまな環境でプライバシを保存することなく、機械学習モデルを協調的にトレーニングすることを可能にする。 本稿では、クライアント固有のクラスタリングによるパーソナライズされたフェデレーション学習を強化する新しいフレームワークであるSAFL(Structure-Aware Federated Learning)と、SCSI(Simisal Client Structure Information)誘導モデルプルーニングを紹介する。
• 参考スコア（独自算出の注目度）: 11.0839911783691
• License:
• Abstract: Federated Learning (FL) enables clients to collaboratively train machine learning models without sharing local data, preserving privacy in diverse environments. While traditional FL approaches preserve privacy, they often struggle with high computational and communication overhead. To address these issues, model pruning is introduced as a strategy to streamline computations. However, existing pruning methods, when applied solely based on local data, often produce sub-models that inadequately reflect clients' specific tasks due to data insufficiency. To overcome these challenges, this paper introduces SAFL (Structure-Aware Federated Learning), a novel framework that enhances personalized federated learning through client-specific clustering and Similar Client Structure Information (SCSI)-guided model pruning. SAFL employs a two-stage process: initially, it groups clients based on data similarities and uses aggregated pruning criteria to guide the pruning process, facilitating the identification of optimal sub-models. Subsequently, clients train these pruned models and engage in server-based aggregation, ensuring tailored and efficient models for each client. This method significantly reduces computational overhead while improving inference accuracy. Extensive experiments demonstrate that SAFL markedly diminishes model size and improves performance, making it highly effective in federated environments characterized by heterogeneous data.
• Abstract（参考訳）: フェデレートラーニング(FL)は、クライアントがローカルデータを共有せずに、さまざまな環境でプライバシを保存することなく、機械学習モデルを協調的にトレーニングすることを可能にする。 従来のFLアプローチはプライバシを保存するが、高い計算と通信のオーバーヘッドに悩まされることが多い。 これらの問題に対処するため、モデルプルーニングは計算を合理化するための戦略として導入されている。 しかし、既存のプルーニング手法は、ローカルデータのみに基づいて適用されている場合、データ不足によりクライアントの特定のタスクを適切に反映しないサブモデルを生成することが多い。 これらの課題を克服するために、クライアント固有のクラスタリングによる個人化フェデレーション学習を強化する新しいフレームワークであるSAFL(Structure-Aware Federated Learning)と、SCSI(Simisal Client Structure Information)誘導モデルプルーニング(Simisal Client Structure Information)を紹介する。 SAFLは2段階のプロセスを採用している: まず、データ類似性に基づいてクライアントをグループ化し、集約されたプルーニング基準を使用してプルーニングプロセスをガイドし、最適なサブモデルの識別を容易にする。 その後、クライアントはこれらの刈り取られたモデルをトレーニングし、サーバベースのアグリゲーションに従事し、各クライアント用に調整された効率的なモデルを保証する。 この手法は推論精度を向上しながら計算オーバーヘッドを大幅に削減する。 大規模な実験により、SAFLはモデルのサイズを著しく減らし、性能を向上し、不均一なデータによって特徴づけられるフェデレーション環境で非常に効果的であることが示された。

関連論文リスト

• Optimal Strategies for Federated Learning Maintaining Client Privacy [8.518748080337838]
  本稿では,フェデレートラーニングシステムのモデル性能とコミュニケーションのトレードオフについて検討する。 グローバルなトレーニングラウンド当たりの1つのローカルエポックのトレーニングは、同じプライバシ予算を維持しながら、最適なパフォーマンスを提供することを示す。
  論文  参考訳（メタデータ） (2025-01-24T12:34:38Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
  フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。 FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。 我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
  論文  参考訳（メタデータ） (2024-07-09T02:47:16Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Personalized Federated Learning via Sequential Layer Expansion in Representation Learning [0.0]
  フェデレーション学習は、個々のクライアントデバイス上で分散トレーニングを行い、中央サーバでモデルウェイトのみを共有することによって、クライアントのプライバシを保証する。 本稿では,ディープラーニングモデル全体をより密に分割した部分に分割し,適切なスケジューリング手法を適用した表現学習に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-27T06:37:19Z)
• Contrastive encoder pre-training-based clustered federated learning for heterogeneous data [17.580390632874046]
  フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。 本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
  論文  参考訳（メタデータ） (2023-11-28T05:44:26Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Personalized Federated Learning by Structured and Unstructured Pruning under Data Heterogeneity [3.291862617649511]
  クライアントレベルの目的からパーソナライズされたモデルを得るための新しいアプローチを提案する。 このパーソナライズを実現するために、各クライアントの小さなサブネットワークを見つける。
  論文  参考訳（メタデータ） (2021-05-02T22:10:46Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。