論文の概要: Personalized Federated Learning with Mixture of Models for Adaptive Prediction and Model Fine-Tuning

• arxiv url: http://arxiv.org/abs/2410.21547v1
• Date: Mon, 28 Oct 2024 21:20:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:39:56.529685
• Title: Personalized Federated Learning with Mixture of Models for Adaptive Prediction and Model Fine-Tuning
• Title（参考訳）: 適応予測とモデルファインチューニングのためのモデル混合による個人化フェデレーション学習
• Authors: Pouya M. Ghari, Yanning Shen,
• Abstract要約: 本稿では,新しい個人化フェデレーション学習アルゴリズムを提案する。 各クライアントは、局所的に微調整されたモデルと複数のフェデレートされたモデルを組み合わせることでパーソナライズされたモデルを構築する。 実データセットに関する理論的解析と実験は、このアプローチの有効性を裏付けるものである。
• 参考スコア（独自算出の注目度）: 22.705411388403036
• License:
• Abstract: Federated learning is renowned for its efficacy in distributed model training, ensuring that users, called clients, retain data privacy by not disclosing their data to the central server that orchestrates collaborations. Most previous work on federated learning assumes that clients possess static batches of training data. However, clients may also need to make real-time predictions on streaming data in non-stationary environments. In such dynamic environments, employing pre-trained models may be inefficient, as they struggle to adapt to the constantly evolving data streams. To address this challenge, clients can fine-tune models online, leveraging their observed data to enhance performance. Despite the potential benefits of client participation in federated online model fine-tuning, existing analyses have not conclusively demonstrated its superiority over local model fine-tuning. To bridge this gap, the present paper develops a novel personalized federated learning algorithm, wherein each client constructs a personalized model by combining a locally fine-tuned model with multiple federated models learned by the server over time. Theoretical analysis and experiments on real datasets corroborate the effectiveness of this approach for real-time predictions and federated model fine-tuning.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、分散モデルトレーニングの有効性で有名であり、クライアントと呼ばれるユーザが、データをコラボレーションを組織する中央サーバに公開しないことで、データのプライバシを維持する。 フェデレートドラーニングに関するこれまでのほとんどの研究は、クライアントが静的なトレーニングデータのバッチを持っていることを前提としている。 しかし、クライアントは非定常環境でのストリーミングデータのリアルタイム予測も必要かもしれない。 このような動的な環境では、常に進化するデータストリームに適応するのに苦労するため、事前訓練されたモデルを採用するのは非効率である可能性がある。 この課題に対処するために、クライアントは、観察されたデータを活用してパフォーマンスを向上させることで、モデルをオンラインで微調整することができる。 フェデレートされたオンラインモデルファインチューニングにおけるクライアント参加の潜在的なメリットにもかかわらず、既存の分析は、ローカルモデルファインチューニングよりもその優位性を決定的に証明していない。 このギャップを埋めるために,本研究では,各クライアントが局所的に微調整されたモデルとサーバが学習する複数のフェデレーションモデルを組み合わせてパーソナライズされたモデルを構築する,新たなフェデレーション学習アルゴリズムを開発した。 実データセットに関する理論的解析と実験は、リアルタイム予測とフェデレートされたモデル微調整に対するこのアプローチの有効性を裏付ける。

関連論文リスト

• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Dirichlet-based Uncertainty Quantification for Personalized Federated Learning with Improved Posterior Networks [9.54563359677778]
  本稿では,グローバルおよびパーソナライズされたモデルの中からモデルを選択可能なフェデレーション学習への新たなアプローチを提案する。 これは、局所的およびグローバルな分布内および分布外データを検出するのに役立つ予測不確実性の慎重なモデリングによって達成される。 一般的な実世界の画像データセットに対する総合的な実験的評価は、アウト・オブ・ディストリビューション・データの存在下でのモデルの優れた性能を示している。
  論文  参考訳（メタデータ） (2023-12-18T14:30:05Z)
• FAM: fast adaptive federated meta-learning [10.980548731600116]
  単一グローバルモデルの協調学習のための高速適応型メタラーニング(FAM)フレームワークを提案する。 スケルトンネットワークは各クライアントで成長し、ローカルデータから追加のクライアント固有のパラメータを学習することでパーソナライズされたモデルをトレーニングする。 パーソナライズされたクライアントモデルは、ローカルにトレーニングされたモデルよりも優れ、FAMメカニズムの有効性を実証した。
  論文  参考訳（メタデータ） (2023-08-26T22:54:45Z)
• Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
  Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。 疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。 我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
  論文  参考訳（メタデータ） (2023-05-04T12:21:34Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Personalized Federated Learning through Local Memorization [10.925242558525683]
  フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。 最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。 本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-11-17T19:40:07Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。