論文の概要: Sparse Federated Learning with Hierarchical Personalization Models

• arxiv url: http://arxiv.org/abs/2203.13517v1
• Date: Fri, 25 Mar 2022 09:06:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-28 13:52:10.667481
• Title: Sparse Federated Learning with Hierarchical Personalization Models
• Title（参考訳）: 階層的パーソナライゼーションモデルを用いたスパースフェデレーション学習
• Authors: Xiaofeng Liu, Yinchuan Li, Yunfeng Shao, Qing Wang
• Abstract要約: フェデレートラーニング(FL)はモノのインターネット(IoT)、無線ネットワーク、モバイルデバイス、自動運転車、人間の活動で広く使われている。 トレーニングとデプロイメントの両面で、多くの課題に悩まされています。 本稿では,ネットワークにおける通信負荷と計算負荷を低減するために,階層型パーソナライズモデル(sFedHP)を用いたスパースFL方式を提案する。
• 参考スコア（独自算出の注目度）: 12.72650008586777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is widely used in the Internet of Things (IoT), wireless networks, mobile devices, autonomous vehicles, and human activity due to its excellent potential in cybersecurity and privacy security. Though FL method can achieve privacy-safe and reliable collaborative training without collecting users' privacy data, it suffers from many challenges during both training and deployment. The main challenges in FL are the difficulty of non-i.i.d co-training data caused by the statistical diversity of the data from various participants, and the difficulty of application deployment caused by the excessive traffic volume and long communication delay between the central server and the client. To address these problems, we propose a sparse FL scheme with hierarchical personalization models (sFedHP), which minimizes clients' loss functions including the properties of an approximated L1-norm and the hierarchical proximal mapping, to reduce the communicational and computational loads required in the network, while improving the performance on statistical diversity data. Convergence analysis shows that the sparse constraint in sFedHP only reduces the convergence speed to a small extent, while the communication cost is greatly reduced. Experimentally, we demonstrate the benefits of this sparse hierarchical personalization architecture compared with the client-edge-cloud hierarchical FedAvg and the state-of-the-art personalization methods.
• Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、iot(internet of things)、ワイヤレスネットワーク、モバイルデバイス、自動運転車、人間の活動で広く使われている。 FL法はユーザのプライバシデータを収集することなく,プライバシセーフで信頼性の高い協調トレーニングを実現することができるが,トレーニングとデプロイメントの両面で多くの課題に悩まされている。 flの主な課題は、さまざまな参加者からのデータの統計的多様性に起因する非i.i.dコトレーニングデータの難しさと、中央サーバとクライアント間の過大なトラフィック量と長い通信遅延によるアプリケーション展開の難しさである。 そこで本稿では,階層型パーソナライズモデル(sfedhp)を用いた疎flスキームを提案する。近似l1ノルムと階層型近距離マッピングの特性を含むクライアントの損失関数を最小化し,ネットワークに必要な通信負荷と計算負荷を低減し,統計多様性データの性能を向上させる。 収束解析により,sfedhpのスパース制約は,通信コストが大幅に削減される一方で,収束速度を小さく抑えることが判明した。 実験により,この疎密な階層型パーソナライズアーキテクチャの利点を,クライアントエッジクラウドの階層型FedAvgや最先端パーソナライズ手法と比較した。

関連論文リスト

• User-Centric Federated Learning: Trading off Wireless Resources for Personalization [18.38078866145659]
  フェデレートラーニング(FL)システムでは、統計的不均一性はアルゴリズム収束時間を増やし、一般化性能を低下させる。 FLが課すプライバシー制約に違反することなく、上記の問題に対処するためには、パーソナライズされたFLメソッドは、データに直接アクセスすることなく、統計的に類似したクライアントを結合する必要がある。 本研究では,容易に利用できる勾配情報に基づいて,FLクライアント毎にパーソナライズされたモデルを生成可能なユーザ中心集約ルールを設計する。 提案アルゴリズムは,平均精度,ノード性能,通信オーバヘッドの訓練において,パーソナライズされたFLベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-04-25T15:45:37Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Privacy Assessment of Federated Learning using Private Personalized Layers [0.9023847175654603]
  Federated Learning(FL)は、データを共有することなく、複数の参加者にまたがって学習モデルをトレーニングするコラボレーティブスキームである。 プライベートなパーソナライズされたレイヤを用いてFLスキームの実用性とプライバシのトレードオフを定量化する。
  論文  参考訳（メタデータ） (2021-06-15T11:40:16Z)
• Wireless Federated Learning with Limited Communication and Differential Privacy [21.328507360172203]
  本稿では,空力計算(AirComp)に基づくフェデレーション学習(FL)モデルにおいて,リモートユーザにおけるローカルデータセットの効率的な通信と差分プライバシー(DP)における次元性低減の役割について検討する。
  論文  参考訳（メタデータ） (2021-06-01T15:23:12Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。