論文の概要: HPN: Personalized Federated Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2304.05195v1
• Date: Tue, 11 Apr 2023 13:02:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 14:53:14.928381
• Title: HPN: Personalized Federated Hyperparameter Optimization
• Title（参考訳）: HPN: パーソナライズされたフェデレーションハイパーパラメータ最適化
• Authors: Anda Cheng, Zhen Wang, Yaliang Li, Jian Cheng
• Abstract要約: 我々は、パーソナライズされたハイパーパラメータ最適化(pFedHPO)の2つの課題に対処する。 指数関数的に増加する検索スペースを扱い、データのプライバシーを損なうことなく、各クライアントを特徴付ける。 我々は、クライアントエンコーディングを施したtextscHypertextscParameter textscNetwork (HPN) を学習し、パーソナライズされたハイパーパラメータを決定する。
• 参考スコア（独自算出の注目度）: 41.587553874297676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerous research studies in the field of federated learning (FL) have attempted to use personalization to address the heterogeneity among clients, one of FL's most crucial and challenging problems. However, existing works predominantly focus on tailoring models. Yet, due to the heterogeneity of clients, they may each require different choices of hyperparameters, which have not been studied so far. We pinpoint two challenges of personalized federated hyperparameter optimization (pFedHPO): handling the exponentially increased search space and characterizing each client without compromising its data privacy. To overcome them, we propose learning a \textsc{H}yper\textsc{P}arameter \textsc{N}etwork (HPN) fed with client encoding to decide personalized hyperparameters. The client encoding is calculated with a random projection-based procedure to protect each client's privacy. Besides, we design a novel mechanism to debias the low-fidelity function evaluation samples for learning HPN. We conduct extensive experiments on FL tasks from various domains, demonstrating the superiority of HPN.
• Abstract（参考訳）: FL(フェデレートラーニング)の分野における多くの研究は、顧客間の不均一性に対処するためにパーソナライズ(パーソナライズ)を試みてきた。 しかし、既存の作品は主にモデルの調整に焦点を合わせている。 しかし、クライアントの多様性のため、それらはそれぞれ異なるハイパーパラメータの選択を必要とする可能性があるが、今のところ研究されていない。 データプライバシーを損なうことなく、指数関数的に増大する検索空間を扱い、各クライアントを特徴付ける、パーソナライズされたハイパーパラメータ最適化(pFedHPO)の課題を2つ挙げる。 そこで本稿では,クライアントエンコーディングを施した \textsc{H}yper\textsc{P}arameter \textsc{N}etwork (HPN) を学習し,パーソナライズされたハイパーパラメータを決定する。 クライアントエンコーディングは、各クライアントのプライバシーを保護するランダムなプロジェクションベースの手順で計算される。 さらに,HPN学習のための低忠実度関数評価サンプルをデバイアスする機構を設計する。 様々な領域からflタスクを広範囲に実験し,hpnの優位性を実証した。

関連論文リスト

• FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
  フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。 我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。 我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
  論文  参考訳（メタデータ） (2024-05-20T06:12:33Z)
• How to Privately Tune Hyperparameters in Federated Learning? Insights from a Benchmark Study [1.4968312514344115]
  PrivTunaを使って、プライバシを保存するフェデレーション平均化と密度ベースのクラスタリングを実装しています。 PrivTunaは、多党同型暗号を用いたプライバシー保護HPチューニングのための新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-02-25T13:25:51Z)
• Learn What You Need in Personalized Federated Learning [53.83081622573734]
  $textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。 我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-16T12:45:15Z)
• Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
  FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。 本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。 その独特な洞察力のある性質とその分析も提示される。
  論文  参考訳（メタデータ） (2023-10-30T14:15:47Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
  Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。 本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-27T07:57:04Z)
• FedPop: A Bayesian Approach for Personalised Federated Learning [25.67466138369391]
  パーソナライズド・フェデレーションド・ラーニング(Personalized Federated Learning)は、各クライアント用にテイラーされた機械学習モデルを協調的に学習することを目的とする。 我々は、個人化されたFLを集団モデルパラダイムに再キャストすることで、FedPopという新しい手法を提案する。 既存のパーソナライズされたFL法と比較すると,提案手法はクライアントのドリフトに対して堅牢であり,新しいクライアントの推測に実用的であり,その上,軽度な計算およびメモリオーバーヘッド下での不確実性定量化を実現する。
  論文  参考訳（メタデータ） (2022-06-07T22:52:59Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• QuPeD: Quantized Personalization via Distillation with Applications to Federated Learning [8.420943739336067]
  統合学習(FL)は、複数のクライアントとサーバを協調的に使用しながら、単一のグローバルモデルをトレーニングすることを目的としている。 本稿では,集合的(個人化されたモデル圧縮)訓練を容易にする,テキスト化およびテキスト化FLアルゴリズムQuPeDを提案する。 数値的には、QuPeDは、さまざまな異種環境におけるクライアントの個人化FLメソッド、FedAvg、およびローカルトレーニングよりも優れていた。
  論文  参考訳（メタデータ） (2021-07-29T10:55:45Z)
• QuPeL: Quantized Personalization with Applications to Federated Learning [8.420943739336067]
  本稿では,ヘテロジニアスクライアントとの協調学習を容易にするテキスト化・テキスト化flアルゴリズムを提案する。 パーソナライゼーションのために、クライアントはリソースに応じて異なる量子化パラメータを持つテキスト圧縮パーソナライゼーションモデルを学ぶことができます。 数値的に、量子化レベルを最適化することで性能が向上し、QuPeLがFedAvgとクライアントのローカルトレーニングの両方で不均一な環境で性能を向上することを示す。
  論文  参考訳（メタデータ） (2021-02-23T16:43:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。