Fugu-MT 論文翻訳(概要): Analytic Personalized Federated Meta-Learning

論文の概要: Analytic Personalized Federated Meta-Learning

arxiv url: http://arxiv.org/abs/2502.06915v2
Date: Sat, 01 Mar 2025 17:19:13 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-04 13:03:44.985881
Title: Analytic Personalized Federated Meta-Learning
Title（参考訳）: 個人化メタラーニングの分析
Authors: Shunxian Gu, Chaoqun You, Deke Guo, Zhihao Qu, Bangbang Ren, Zaipeng Xie, Lailong Luo,
Abstract要約: AFL(Analytic Federated Learning)は、グローバルモデルを1ステップで更新し、閉形式最小二乗(LS)ソリューションでトレーニングを加速するために設計された拡張勾配自由学習(FL)パラダイムである。本稿では,各レイヤをLS問題としてモデル化し,レイヤワイズトレーニング手法を設計するFedACnnwiseフレームワークを提案する。グローバルモデルと個々のデータ劣化の間のギャップを埋める局所的な目的を解析的に解決することで、クライアント毎にパーソナライズされたモデルを生成する。
参考スコア（独自算出の注目度）: 15.1961498951975
License:
Abstract: Analytic Federated Learning (AFL) is an enhanced gradient-free federated learning (FL) paradigm designed to accelerate training by updating the global model in a single step with closed-form least-square (LS) solutions. However, the obtained global model suffers performance degradation across clients with heterogeneous data distribution. Meta-learning is a common approach to tackle this problem by delivering personalized local models for individual clients. Yet, integrating meta-learning with AFL presents significant challenges: First, conventional AFL frameworks cannot support deep neural network (DNN) training which can influence the fast adaption capability of meta-learning for complex FL tasks. Second, the existing meta-learning method requires gradient information, which is not involved in AFL. To overcome the first challenge, we propose an AFL framework, namely FedACnnL, in which a layer-wise DNN collaborative training method is designed by modeling the training of each layer as a distributed LS problem. For the second challenge, we further propose an analytic personalized federated meta-learning framework, namely pFedACnnL. It generates a personalized model for each client by analytically solving a local objective which bridges the gap between the global model and the individual data distribution. FedACnnL is theoretically proven to require significantly shorter training time than the conventional FL frameworks on DNN training while the reduction ratio is $83\%\sim99\%$ in the experiment. Meanwhile, pFedACnnL excels at test accuracy with the vanilla FedACnnL by $4\%\sim8\%$ and it achieves state-of-the-art (SOTA) model performance in most cases of convex and non-convex settings compared with previous SOTA frameworks.
Abstract（参考訳）: AFL(Analytic Federated Learning)は、グローバルモデルを1ステップで更新し、閉形式最小二乗(LS)ソリューションでトレーニングを加速するために設計された、拡張された勾配のない連邦学習(FL)パラダイムである。しかし、得られたグローバルモデルでは、不均一なデータ分布を持つクライアント間での性能劣化に悩まされる。メタラーニングは、個々のクライアントに対してパーソナライズされたローカルモデルを提供することによって、この問題に対処する一般的なアプローチである。まず、従来のAFLフレームワークは、複雑なFLタスクに対するメタ学習の高速適応能力に影響を与えるディープニューラルネットワーク(DNN)トレーニングをサポートしません。第二に、既存のメタ学習法では、AFLには関与しない勾配情報を必要とする。最初の課題を克服するために、各レイヤのトレーニングを分散LS問題としてモデル化し、レイヤワイドDNN協調学習法を設計するAFLフレームワークであるFedACnnLを提案する。第2の課題として,分析的パーソナライズされたメタラーニングフレームワーク,すなわちpFedACnnLを提案する。グローバルモデルと個々のデータ分布のギャップを埋める局所的な目的を解析的に解決することで、クライアント毎にパーソナライズされたモデルを生成する。 FedACnnL は DNN トレーニングにおける従来の FL フレームワークよりも大幅に短いトレーニング時間を必要とすることが理論的に証明され、還元率は 83\%\sim99\%$ である。一方、pFedACnnLはバニラFedACnnLで4.5%\sim8\%$でテスト精度を向上し、従来のSOTAフレームワークと比較して凸や非凸設定のほとんどのケースで最先端(SOTA)モデルのパフォーマンスを達成する。

関連論文リスト

Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
論文参考訳（メタデータ） (2025-01-06T21:16:51Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文参考訳（メタデータ） (2024-02-17T05:22:46Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
論文参考訳（メタデータ） (2023-12-11T10:44:52Z)
Federated Learning over Hierarchical Wireless Networks: Training Latency Minimization via Submodel Partitioning [15.311309249848739]
階層型独立サブモデルトレーニング(Hierarchical independent submodel training、HIST)は、階層型クラウド-エッジ-クライアントネットワークにおけるこれらの問題に対処することを目的とした新しいFL方法論である。本研究では,HISTを空気上計算(AirComp)で拡張することにより,エッジセル上でのモデルアグリゲーションの効率をより高めることができることを示す。
論文参考訳（メタデータ） (2023-10-27T04:42:59Z)
When Computing Power Network Meets Distributed Machine Learning: An Efficient Federated Split Learning Framework [6.871107511111629]
CPN-FedSLはComputer Power Network (CPN)上のFederated Split Learning (FedSL)フレームワークである。私たちは、基本的な設定と学習特性(例えば、レイテンシ、フロー、収束)をキャプチャする専用のモデルを構築します。
論文参考訳（メタデータ） (2023-05-22T12:36:52Z)
Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文参考訳（メタデータ） (2023-01-25T03:18:10Z)
Federated Adversarial Learning: A Framework with Convergence Analysis [28.136498729360504]
フェデレートラーニング(Federated Learning、FL)は、分散トレーニングデータを活用するためのトレンドトレーニングパラダイムである。 FLは、クライアントがいくつかのエポックでモデルパラメータをローカルに更新し、アグリゲーションのためのグローバルモデルと共有することを可能にする。このトレーニングパラダイムは、アグリゲーションの前に複数のローカルステップを更新することで、敵の攻撃に対してユニークな脆弱性を露呈する。
論文参考訳（メタデータ） (2022-08-07T04:17:34Z)
DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。上記の2つの課題を同時に解決するための一般的な枠組みを提案する。我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文参考訳（メタデータ） (2022-04-16T08:08:29Z)
Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。