論文の概要: FedSelect: Customized Selection of Parameters for Fine-Tuning during Personalized Federated Learning

• arxiv url: http://arxiv.org/abs/2306.13264v2
• Date: Fri, 7 Jul 2023 06:57:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 14:58:20.389241
• Title: FedSelect: Customized Selection of Parameters for Fine-Tuning during Personalized Federated Learning
• Title（参考訳）: FedSelect: 個人化フェデレーション学習におけるファインチューニングパラメータの選択
• Authors: Rishub Tamirisa, John Won, Chengjun Lu, Ron Arel, Andy Zhou
• Abstract要約: 本稿では,クライアントのサブネットワーク構造とパラメータを直接パーソナライズする新しいFLフレームワークであるFedSelectを提案する。 本手法はCIFAR-10において有望な結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in federated learning (FL) seek to increase client-level performance by fine-tuning client parameters on local data or personalizing architectures for the local task. Existing methods for such personalization either prune a global model or fine-tune a global model on a local client distribution. However, these existing methods either personalize at the expense of retaining important global knowledge, or predetermine network layers for fine-tuning, resulting in suboptimal storage of global knowledge within client models. Enlightened by the lottery ticket hypothesis, we first introduce a hypothesis for finding optimal client subnetworks to locally fine-tune while leaving the rest of the parameters frozen. We then propose a novel FL framework, FedSelect, using this procedure that directly personalizes both client subnetwork structure and parameters, via the simultaneous discovery of optimal parameters for personalization and the rest of parameters for global aggregation during training. We show that this method achieves promising results on CIFAR-10.
• Abstract（参考訳）: 近年のFL(Federated Learning)は,ローカルデータに対するクライアントパラメータの微調整や,ローカルタスクのパーソナライズアーキテクチャによるクライアントレベルのパフォーマンス向上を目指している。 このようなパーソナライズのための既存の方法は、グローバルモデルを作成するか、ローカルクライアントディストリビューション上でグローバルモデルを微調整する。 しかし、これらの既存の手法は重要なグローバル知識の保持を犠牲にしてパーソナライズするか、または微調整のためのネットワーク層を予め設定し、クライアントモデル内でグローバル知識を最適に格納する。 抽選券仮説に則って,我々はまず,パラメータの残りを凍結しながら,局所的な微調整に最適なクライアントサブネットワークを求める仮説を提示する。 次に,個人化のための最適パラメータと,トレーニング中のグローバルアグリゲーションのための他のパラメータを同時に発見することで,クライアントサブネットワーク構造とパラメータの両方を直接パーソナライズする手法であるfederselectを提案する。 CIFAR-10で有望な結果が得られることを示す。

関連論文リスト

• FedSelect: Personalized Federated Learning with Customized Selection of Parameters for Fine-Tuning [9.22574528776347]
  FedSelect は Lottery Ticket 仮説に使用される反復的なサブネットワーク発見手順にインスパイアされた新しい PFL アルゴリズムである。 我々は、FedSelectがクライアントデータの不均一性設定に挑戦して、最近の最先端のPFLアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-03T05:36:21Z)
• Learn What You Need in Personalized Federated Learning [53.83081622573734]
  $textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。 我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-16T12:45:15Z)
• LEFL: Low Entropy Client Sampling in Federated Learning [6.436397118145477]
  Federated Learning(FL)は、複数のクライアントが協力して、プライベートデータを使用して単一のグローバルモデルを最適化する、機械学習パラダイムである。 本稿では,モデルが学習した高レベルの特徴に基づいて,クライアントのクラスタリングを1回行うことで,新たなサンプリング手法LEFLを提案する。 提案手法で選択したサンプルクライアントは,グローバルなデータ分布に対して,相対エントロピーが低いことを示す。
  論文  参考訳（メタデータ） (2023-12-29T01:44:20Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Take Your Pick: Enabling Effective Personalized Federated Learning within Low-dimensional Feature Space [22.433424519577642]
  我々はFedPickという新しいPFLフレームワークを提案する。 FedPickは、各クライアントに対してタスク関連機能を適応的に選択することで、低次元の特徴空間におけるPFLを達成する。
  論文  参考訳（メタデータ） (2023-07-26T07:07:27Z)
• FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
  フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。 既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。 フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
  論文  参考訳（メタデータ） (2023-06-25T13:38:51Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• Personalized Federated Learning with Exact Stochastic Gradient Descent [15.666401346622575]
  我々は、勾配SGD降下の正確な更新を実現するためのパーソナライズされたベンチマークに対する新しいアプローチを提案する。 本稿では、各最適化ラウンドにおいて、ランダムに選択されたクライアントが、損失関数の最適化に向けてクライアント固有の更新を行う新しいSGD型スキームを提案する。 これにより、クライアントと一般的なパラメータによって実行されるパーソナライズされたパラメータの正確な最小化が可能になる。
  論文  参考訳（メタデータ） (2022-02-20T16:11:20Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
  そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。 基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。 この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
  論文  参考訳（メタデータ） (2020-12-15T19:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。