論文の概要: Covariances for Free: Exploiting Mean Distributions for Federated Learning with Pre-Trained Models
- arxiv url: http://arxiv.org/abs/2412.14326v2
- Date: Tue, 04 Feb 2025 15:11:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 14:55:21.792284
- Title: Covariances for Free: Exploiting Mean Distributions for Federated Learning with Pre-Trained Models
- Title（参考訳）: 自由のための共分散:事前学習モデルによるフェデレーション学習のための平均分布の爆発
- Authors: Dipam Goswami, Simone Magistri, Kai Wang, Bartłomiej Twardowski, Andrew D. Bagdanov, Joost van de Weijer,
- Abstract要約: 最近の研究は、サーバにおけるローカルクライアントデータの分布を集約するために、一階統計と二階統計の利用を調査している。
クラス共分散行列の非バイアス推定器に基づく学習自由度推定法を提案する。
クラス形式で一階統計のみを使用する手法は,クライアントがサーバに通信する手段であり,二階統計を通信する手法によって要求される通信コストのごく一部しか発生しない。
- 参考スコア（独自算出の注目度）: 19.74434265098346
- License:
- Abstract: Using pre-trained models has been found to reduce the effect of data heterogeneity and speed up federated learning algorithms. Recent works have investigated the use of first-order statistics and second-order statistics to aggregate local client data distributions at the server and achieve very high performance without any training. In this work we propose a training-free method based on an unbiased estimator of class covariance matrices. Our method, which only uses first-order statistics in the form of class means communicated by clients to the server, incurs only a fraction of the communication costs required by methods based on communicating second-order statistics. We show how these estimated class covariances can be used to initialize a linear classifier, thus exploiting the covariances without actually sharing them. When compared to state-of-the-art methods which also share only class means, our approach improves performance in the range of 4-26\% with exactly the same communication cost. Moreover, our method achieves performance competitive or superior to sharing second-order statistics with dramatically less communication overhead. Finally, using our method to initialize classifiers and then performing federated fine-tuning yields better and faster convergence. Code is available at https://github.com/dipamgoswami/FedCOF.
- Abstract（参考訳）: 事前学習モデルを使用することで、データの不均一性が低減され、フェデレーション学習アルゴリズムが高速化される。
近年の研究では,サーバのローカルクライアントデータ分散を集約する上で,一階統計と二階統計の利用について検討している。
本研究では,クラス共分散行列の非バイアス推定器に基づく学習自由化手法を提案する。
クラス形式で一階統計のみを使用する手法は,クライアントがサーバに通信する手段であり,二階統計を通信する手法によって要求される通信コストのごく一部しか発生しない。
これらの推定クラス共分散を用いて線形分類器を初期化し、実際に共有することなく共分散を利用する方法を示す。
クラス平均のみを共有する最先端手法と比較して,本手法は通信コストと全く同じ4～26\%の範囲で性能を向上する。
さらに,本手法は,通信オーバヘッドを劇的に低減した2次統計情報の共有よりも,性能の競争力や優れる。
最後に,本手法を用いて分類器を初期化し,フェデレートした微調整を行い,より高速な収束を実現する。
コードはhttps://github.com/dipamgoswami/FedCOF.comで入手できる。
関連論文リスト
- Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。
本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
論文 参考訳（メタデータ） (2024-06-03T08:48:49Z) - A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳（メタデータ） (2024-02-06T15:45:27Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳（メタデータ） (2023-07-19T04:07:33Z) - Finding the SWEET Spot: Analysis and Improvement of Adaptive Inference
in Low Resource Settings [6.463202903076821]
トレーニングデータに制限がある場合、適応推論の2つの主要なアプローチであるEarly-ExitとMulti-Modelを比較した。
Early-Exitは、マルチモデルアプローチのオーバーヘッドのために、より高速なトレードオフを提供する。
本稿では,SWEETを提案する。SWEETは,各分類器に独自のモデル重みの集合を割り当てる初期出力微調整法である。
論文 参考訳（メタデータ） (2023-06-04T09:16:39Z) - Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。
本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-22T04:06:29Z) - Lightweight Conditional Model Extrapolation for Streaming Data under
Class-Prior Shift [27.806085423595334]
非定常ストリーミングデータを用いて学習する新しい方法であるLIMESを紹介する。
我々は、特定のデータ分布に対する特定の分類器を導出するモデルパラメータの集合を1つ学習する。
Twitterデータを用いた一連の模範的なタスクの実験では、LIMESが代替手法よりも高い精度を達成することが示された。
論文 参考訳（メタデータ） (2022-06-10T15:19:52Z) - Bi-level Alignment for Cross-Domain Crowd Counting [113.78303285148041]
現在の手法は、補助的なタスクを訓練したり、高価な粗大な見積もりを適用したりするための外部データに依存している。
そこで我々は, 簡易かつ効率的に適用可能な, 逆学習に基づく新しい手法を開発した。
実世界の5つのクラウドカウントベンチマークに対するアプローチを評価し、既存のアプローチを大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-05-12T02:23:25Z) - One-shot Federated Learning without Server-side Training [42.59845771101823]
クライアントとサーバ間の通信コストを削減する手段として,ワンショットのフェデレーション学習が人気を集めている。
既存のワンショットFL法のほとんどは知識蒸留に基づいているが、蒸留に基づくアプローチでは追加のトレーニングフェーズが必要であり、公開されているデータセットや生成された擬似サンプルに依存する。
本研究では,サーバサイドのトレーニングなしで,ローカルモデル上で1ラウンドのパラメータアグリゲーションを実行するという,新しいクロスサイロ設定について考察する。
論文 参考訳（メタデータ） (2022-04-26T01:45:37Z) - On Second-order Optimization Methods for Federated Learning [59.787198516188425]
フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。
本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
論文 参考訳（メタデータ） (2021-09-06T12:04:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。