論文の概要: QuPeL: Quantized Personalization with Applications to Federated Learning
- arxiv url: http://arxiv.org/abs/2102.11786v1
- Date: Tue, 23 Feb 2021 16:43:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-25 03:01:50.354846
- Title: QuPeL: Quantized Personalization with Applications to Federated Learning
- Title（参考訳）: QuPeL: 量子パーソナライゼーションとフェデレーション学習への応用
- Authors: Kaan Ozkara, Navjot Singh, Deepesh Data, Suhas Diggavi
- Abstract要約: 本稿では,ヘテロジニアスクライアントとの協調学習を容易にするテキスト化・テキスト化flアルゴリズムを提案する。
パーソナライゼーションのために、クライアントはリソースに応じて異なる量子化パラメータを持つテキスト圧縮パーソナライゼーションモデルを学ぶことができます。
数値的に、量子化レベルを最適化することで性能が向上し、QuPeLがFedAvgとクライアントのローカルトレーニングの両方で不均一な環境で性能を向上することを示す。
- 参考スコア（独自算出の注目度）: 8.420943739336067
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traditionally, federated learning (FL) aims to train a single global model
while collaboratively using multiple clients and a server. Two natural
challenges that FL algorithms face are heterogeneity in data across clients and
collaboration of clients with {\em diverse resources}. In this work, we
introduce a \textit{quantized} and \textit{personalized} FL algorithm QuPeL
that facilitates collective training with heterogeneous clients while
respecting resource diversity. For personalization, we allow clients to learn
\textit{compressed personalized models} with different quantization parameters
depending on their resources. Towards this, first we propose an algorithm for
learning quantized models through a relaxed optimization problem, where
quantization values are also optimized over. When each client participating in
the (federated) learning process has different requirements of the quantized
model (both in value and precision), we formulate a quantized personalization
framework by introducing a penalty term for local client objectives against a
globally trained model to encourage collaboration. We develop an alternating
proximal gradient update for solving this quantized personalization problem,
and we analyze its convergence properties. Numerically, we show that optimizing
over the quantization levels increases the performance and we validate that
QuPeL outperforms both FedAvg and local training of clients in a heterogeneous
setting.
- Abstract（参考訳）: 従来、フェデレーションラーニング(FL)は、複数のクライアントとサーバーを共同利用しながら、単一のグローバルモデルをトレーニングすることを目指しています。
FLアルゴリズムが直面する2つの自然な課題は、クライアント間でのデータの不均一性と、多様なリソースを持つクライアントのコラボレーションです。
本稿では,リソースの多様性を尊重しながら異種クライアントとの協調学習を容易にする, \textit{quantized} と \textit{personalized} flアルゴリズムクペルを導入する。
パーソナライズのために、クライアントはリソースに応じて異なる量子化パラメータを持つ \textit{compressed Personalized Model} を学習できる。
そこで,まず,量子化値の最適化を行う緩和型最適化問題を用いて,量子化モデルの学習アルゴリズムを提案する。
各クライアントが(フェデレーション)学習プロセスに参加すると、量子化モデル(価値と精度の両方)の要件が異なる場合、グローバルに訓練されたモデルに対して、ローカルクライアントの目的に対するペナルティ用語を導入して、量子化パーソナライゼーションフレームワークを策定し、コラボレーションを促進します。
我々は,この量子化パーソナライズ問題を解決するための交互近勾配更新法を開発し,その収束特性を分析する。
数値的に、量子化レベルを最適化することで性能が向上し、QuPeLがFedAvgとクライアントのローカルトレーニングの両方で不均一な環境で性能を向上することを示す。
関連論文リスト
- Personalized Hierarchical Split Federated Learning in Wireless Networks [24.664469755746463]
本稿では、パーソナライズ性能の向上を目的とした、パーソナライズされた階層分割型フェデレーション学習(PHSFL)アルゴリズムを提案する。
まず、モデル分割と階層モデル集約がグローバルモデルに与える影響を理解するために、広範囲な理論的解析を行う。
グローバルモデルがトレーニングされると、各クライアントを微調整してパーソナライズされたモデルを取得します。
論文 参考訳（メタデータ） (2024-11-09T02:41:53Z) - Personalized Quantum Federated Learning for Privacy Image Classification [52.04404538764307]
画像の不均衡な分布の場合のクライアントモデルの性格を高めるために、パーソナライズされた量子フェデレーション学習アルゴリズムを提案する。
実験結果から,パーソナライズされた量子フェデレーション学習アルゴリズムは,高性能なグローバルモデルとローカルモデルを得ることができることが示された。
論文 参考訳（メタデータ） (2024-10-03T14:53:04Z) - Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-01-16T12:45:15Z) - Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。
具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。
我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
論文 参考訳（メタデータ） (2023-07-05T11:58:58Z) - FilFL: Client Filtering for Optimized Client Participation in Federated Learning [71.46173076298957]
フェデレートラーニングは、クライアントがローカルデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。
トレーニングプロセスに参加するクライアントは、収束率、学習効率、モデル一般化に大きな影響を与えます。
本稿では,モデル一般化を改善し,クライアント参加とトレーニングを最適化する新しい手法であるクライアントフィルタリングを提案する。
論文 参考訳（メタデータ） (2023-02-13T18:55:31Z) - Personalizing or Not: Dynamically Personalized Federated Learning with
Incentives [37.42347737911428]
個人データを共有せずにパーソナライズされたモデルを学習するためのパーソナライズド・フェデレーション・ラーニング(FL)を提案する。
パーソナライズレートは、パーソナライズされたモデルのトレーニングを希望する顧客の割合として測定され、フェデレーションされた設定に導入され、DyPFLを提案する。
この技術は、クライアントがローカルモデルをパーソナライズすることへのインセンティブを与えると同時に、より優れたパフォーマンスでグローバルモデルを採用できるようにする。
論文 参考訳（メタデータ） (2022-08-12T09:51:20Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - Parameterized Knowledge Transfer for Personalized Federated Learning [11.223753730705374]
異なるクライアントに対してパーソナライズされたモデルを採用するための新しいトレーニングフレームワークを提案する。
提案フレームワークは,パーソナライズされたモデルトレーニングを実現する最初のフェデレーション学習パラダイムであることが実証された。
論文 参考訳（メタデータ） (2021-11-04T13:41:45Z) - QuPeD: Quantized Personalization via Distillation with Applications to
Federated Learning [8.420943739336067]
統合学習(FL)は、複数のクライアントとサーバを協調的に使用しながら、単一のグローバルモデルをトレーニングすることを目的としている。
本稿では,集合的(個人化されたモデル圧縮)訓練を容易にする,テキスト化およびテキスト化FLアルゴリズムQuPeDを提案する。
数値的には、QuPeDは、さまざまな異種環境におけるクライアントの個人化FLメソッド、FedAvg、およびローカルトレーニングよりも優れていた。
論文 参考訳（メタデータ） (2021-07-29T10:55:45Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳（メタデータ） (2020-12-15T19:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。