論文の概要: Look Back for More: Harnessing Historical Sequential Updates for Personalized Federated Adapter Tuning

• arxiv url: http://arxiv.org/abs/2501.01653v1
• Date: Fri, 03 Jan 2025 06:10:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-06 15:10:51.059328
• Title: Look Back for More: Harnessing Historical Sequential Updates for Personalized Federated Adapter Tuning
• Title（参考訳）: パーソナライズされたFederated Adapter Tuningの歴史的シリーズアップデートに注意
• Authors: Danni Peng, Yuan Wang, Huazhu Fu, Jinpeng Jiang, Yong Liu, Rick Siow Mong Goh, Qingsong Wei,
• Abstract要約: 既存のパーソナライズド・フェデレーション・ラーニング(PFL)アプローチは、クライアントの最新モデルにのみ依存する。 FLの基盤モデルを微調整するアダプタをパーソナライズするために設計されたpFedSeqを提案する。 pFedSeqでは、サーバはシーケンシャルな学習者をメンテナンスし、訓練し、クライアントからの過去のアダプタ更新のシーケンスを処理する。 以前の更新に隠されたクロスクライアントとクロスステップの関係を効果的にキャプチャするために、pFedSeqは強力な選択状態空間モデルを採用している。
• 参考スコア（独自算出の注目度）: 50.45027483522507
• License:
• Abstract: Personalized federated learning (PFL) studies effective model personalization to address the data heterogeneity issue among clients in traditional federated learning (FL). Existing PFL approaches mainly generate personalized models by relying solely on the clients' latest updated models while ignoring their previous updates, which may result in suboptimal personalized model learning. To bridge this gap, we propose a novel framework termed pFedSeq, designed for personalizing adapters to fine-tune a foundation model in FL. In pFedSeq, the server maintains and trains a sequential learner, which processes a sequence of past adapter updates from clients and generates calibrations for personalized adapters. To effectively capture the cross-client and cross-step relations hidden in previous updates and generate high-performing personalized adapters, pFedSeq adopts the powerful selective state space model (SSM) as the architecture of sequential learner. Through extensive experiments on four public benchmark datasets, we demonstrate the superiority of pFedSeq over state-of-the-art PFL methods.
• Abstract（参考訳）: パーソナライズド・フェデレーション・ラーニング(PFL)は、従来のフェデレーション・ラーニング(FL)におけるクライアント間のデータ不均一性問題に対処するために、モデルパーソナライズを効果的に研究する。 既存のPFLアプローチは主に、クライアントの最新モデルのみに依存しながら、以前の更新を無視してパーソナライズされたモデルを生成する。 このギャップを埋めるために、FLの基盤モデルを微調整するためにアダプタをパーソナライズするために設計された、pFedSeqと呼ばれる新しいフレームワークを提案する。 pFedSeqでは、サーバはシーケンシャルな学習者を維持し、クライアントからの過去のアダプタ更新のシーケンスを処理し、パーソナライズされたアダプタのキャリブレーションを生成する。 従来の更新に隠されたクロスクライアントとクロスステップの関係を効果的に捉え、高いパフォーマンスのパーソナライズされたアダプタを生成するため、pFedSeqはシーケンシャルラーナのアーキテクチャとして強力な選択状態空間モデル(SSM)を採用している。 4つの公開ベンチマークデータセットに関する広範な実験を通じて、最先端のPFL法よりもpFedSeqの方が優れていることを示す。

関連論文リスト

• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Client-supervised Federated Learning: Towards One-model-for-all Personalization [28.574858341430858]
  FLシステムにおける未確認/テストクライアント上のパーソナライズされたモデルと競合する性能を達成するために,単一の堅牢なグローバルモデルのみを学習する新しいフェデレーション学習フレームワークを提案する。 具体的には、新しいクライアント監督型フェデレートラーニング(FedCS)を設計し、クライアントの潜在表現に対するバイアスを解消し、グローバルモデルがクライアント固有の知識とクライアントに依存しない知識の両方を学習できるようにする。
  論文  参考訳（メタデータ） (2024-03-28T15:29:19Z)
• Efficient Model Personalization in Federated Learning via Client-Specific Prompt Generation [38.42808389088285]
  フェデレーション学習(FL)は、データを共有せずに複数の分散クライアントからモデルをトレーニングし、プライバシを保存する分散学習フレームワークとして登場した。 クライアント固有のPrompt Generation(pFedPG)のパーソナライズされたFLフレームワークを提案する。 pFedPGはサーバにパーソナライズされたプロンプトジェネレータを配置してクライアント固有のビジュアルプロンプトを生成し、凍結したバックボーンをローカルデータ分散に効率的に適応させる。
  論文  参考訳（メタデータ） (2023-08-29T15:03:05Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Federated Learning of Shareable Bases for Personalization-Friendly Image Classification [54.72892987840267]
  FedBasisは、いくつかの共有可能なベースモデルの集合を学習し、リニアに組み合わせて、クライアント用のパーソナライズされたモデルを形成することができる。 具体的には、新しいクライアントの場合、モデルの重みではなく、小さな組み合わせ係数のみを学ぶ必要がある。 また、FedBasisの有効性と適用性を示すために、画像分類のためのより実用的なPFLテストベッドを提案する。
  論文  参考訳（メタデータ） (2023-04-16T20:19:18Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• Parameterized Knowledge Transfer for Personalized Federated Learning [11.223753730705374]
  異なるクライアントに対してパーソナライズされたモデルを採用するための新しいトレーニングフレームワークを提案する。 提案フレームワークは,パーソナライズされたモデルトレーニングを実現する最初のフェデレーション学習パラダイムであることが実証された。
  論文  参考訳（メタデータ） (2021-11-04T13:41:45Z)
• PFA: Privacy-preserving Federated Adaptation for Effective Model Personalization [6.66389628571674]
  フェデレートラーニング(FL)は、プライバシを改善した分散機械学習パラダイムとして普及している。 本稿では,より優れたパーソナライズ結果を得るために,訓練されたモデルをフェデレーション方式で適応させることを目的とした,フェデレーション適応と呼ばれる新しい概念を提案する。 PFA(Privacy-preserving Federated Adaptation)を実現するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-02T08:07:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。