Fugu-MT 論文翻訳(概要): A Generalized Meta Federated Learning Framework with Theoretical Convergence Guarantees

論文の概要: A Generalized Meta Federated Learning Framework with Theoretical Convergence Guarantees

arxiv url: http://arxiv.org/abs/2504.21327v1
Date: Wed, 30 Apr 2025 05:29:46 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-09 22:23:26.918947
Title: A Generalized Meta Federated Learning Framework with Theoretical Convergence Guarantees
Title（参考訳）: 理論的収束保証を伴う一般化メタフェデレーション学習フレームワーク
Authors: Mohammad Vahid Jamali, Hamid Saber, Jung Hyun Bae,
Abstract要約: FL(Meta Federated Learning)はFLのパーソナライズされたバージョンであり、複数のエージェントが生データサンプルを交換することなく、最初の共有モデルのトレーニングに協力する。任意の数$nu$の微調整ステップの後に、局所モデル上のエージェントの損失を最小化することにより、メタFLの一般化されたフレームワークを提案する。実世界のデータセットを用いた実験により,提案手法の精度が向上し,より高速な収束が得られた。
参考スコア（独自算出の注目度）: 7.724221460486385
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Meta federated learning (FL) is a personalized variant of FL, where multiple agents collaborate on training an initial shared model without exchanging raw data samples. The initial model should be trained in a way that current or new agents can easily adapt it to their local datasets after one or a few fine-tuning steps, thus improving the model personalization. Conventional meta FL approaches minimize the average loss of agents on the local models obtained after one step of fine-tuning. In practice, agents may need to apply several fine-tuning steps to adapt the global model to their local data, especially under highly heterogeneous data distributions across agents. To this end, we present a generalized framework for the meta FL by minimizing the average loss of agents on their local model after any arbitrary number $\nu$ of fine-tuning steps. For this generalized framework, we present a variant of the well-known federated averaging (FedAvg) algorithm and conduct a comprehensive theoretical convergence analysis to characterize the convergence speed as well as behavior of the meta loss functions in both the exact and approximated cases. Our experiments on real-world datasets demonstrate superior accuracy and faster convergence for the proposed scheme compared to conventional approaches.
Abstract（参考訳）: FL(Meta Federated Learning)はFLのパーソナライズされたバージョンであり、複数のエージェントが生データサンプルを交換することなく、最初の共有モデルのトレーニングに協力する。初期モデルは、現在または新しいエージェントが1つまたは数ステップの微調整後にローカルデータセットに容易に適応できるようにトレーニングされ、モデルパーソナライゼーションが改善される。従来のメタFLアプローチは、微調整の1ステップ後に得られた局所モデル上でのエージェントの損失を最小化する。エージェントは、特にエージェント間の高度に均一なデータ分散の下で、グローバルモデルをローカルデータに適用するために、いくつかの微調整ステップを適用する必要があるかもしれない。この目的のために、任意の数$\nu$の微調整ステップの後に、局所モデル上のエージェントの損失を最小化することにより、メタFLの一般化されたフレームワークを提案する。この一般化されたフレームワークでは、よく知られたフェデレーション平均化(FedAvg)アルゴリズムの変種を示し、収束速度と、正確なケースと近似されたケースの両方におけるメタ損失関数の挙動を特徴付ける包括的な理論的収束解析を行う。実世界のデータセットを用いた実験により,提案手法の精度が向上し,より高速な収束が得られた。

関連論文リスト

MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
論文参考訳（メタデータ） (2024-10-12T07:02:33Z)
Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
分散最適化パラダイムとしてフェデレートラーニングが登場した。本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
論文参考訳（メタデータ） (2024-10-07T23:14:05Z)
Reducing Spurious Correlation for Federated Domain Generalization [15.864230656989854]
オープンワールドのシナリオでは、グローバルモデルは特定のメディアによってキャプチャされた全く新しいドメインデータをうまく予測するのに苦労する可能性がある。既存の手法はまだこの問題に対処するために、サンプルとラベルの間の強い統計的相関に頼っている。ローカルレベルとグローバルレベルでの全体的な最適化フレームワークであるFedCDを紹介します。
論文参考訳（メタデータ） (2024-07-27T05:06:31Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
論文参考訳（メタデータ） (2023-11-10T08:50:28Z)
Federated Meta-Learning for Few-Shot Fault Diagnosis with Representation Encoding [21.76802204235636]
本稿では,数発の故障診断のための表現符号化ベースフェデレーションメタラーニング(REFML)を提案する。 REFMLは、トレーニングクライアントの固有の一般化を活用して、効果的に、アウト・オブ・ディストリビューションの利点に変換する。同じ機器の非表示作業条件でテストすると2.17%-6.50%、全く見えない機器でテストすると13.44%-18.33%の精度で精度が向上する。
論文参考訳（メタデータ） (2023-10-13T10:48:28Z)
Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文参考訳（メタデータ） (2023-08-03T07:45:53Z)
FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。 IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
論文参考訳（メタデータ） (2023-03-28T08:07:28Z)
FedCross: Towards Accurate Federated Learning via Multi-Model Cross-Aggregation [16.019513233021435]
フェデレートラーニング(FL)は、ユーザのプライバシを損なうことなく、データサイロ問題に対処するために注目を集めている。我々はFedCrossという名前の効率的なFLフレームワークを提案する。このフレームワークは、提案したマルチモデルクロスアグリゲーションアプローチに基づいた、新しいマルチツーマルチFLトレーニングスキームを使用する。 We show that FedCross can significantly improve FL accuracy in both IID and non-IID scenarios without causing additional communication overhead。
論文参考訳（メタデータ） (2022-10-15T13:12:11Z)
FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文参考訳（メタデータ） (2022-07-20T04:55:18Z)
DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。上記の2つの課題を同時に解決するための一般的な枠組みを提案する。我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文参考訳（メタデータ） (2022-04-16T08:08:29Z)
Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文参考訳（メタデータ） (2022-01-28T08:42:43Z)
Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。 FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文参考訳（メタデータ） (2021-08-23T15:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。