論文の概要: Covariances for Free: Exploiting Mean Distributions for Training-free Federated Learning
- arxiv url: http://arxiv.org/abs/2412.14326v3
- Date: Fri, 10 Oct 2025 15:12:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 00:38:44.905747
- Title: Covariances for Free: Exploiting Mean Distributions for Training-free Federated Learning
- Title（参考訳）: 自由のための共分散:学習自由なフェデレーション学習のための平均分布の爆発的展開
- Authors: Dipam Goswami, Simone Magistri, Kai Wang, Bartłomiej Twardowski, Andrew D. Bagdanov, Joost van de Weijer,
- Abstract要約: 事前学習モデルを使用することで、データの不均一性が低減され、フェデレーション学習アルゴリズムが高速化される。
最近の研究は、サーバ上のローカルクライアントデータ分散を集約するために、一階と二階の統計を用いたトレーニング不要の手法について検討している。
本稿では,クライアントがサーバに通信するクラス平均の1次統計量のみを使用するクラス共分散行列の非バイアス推定器に基づくトレーニング不要な手法を提案する。
- 参考スコア（独自算出の注目度）: 28.206862755238777
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Using pre-trained models has been found to reduce the effect of data heterogeneity and speed up federated learning algorithms. Recent works have explored training-free methods using first- and second-order statistics to aggregate local client data distributions at the server and achieve high performance without any training. In this work, we propose a training-free method based on an unbiased estimator of class covariance matrices which only uses first-order statistics in the form of class means communicated by clients to the server. We show how these estimated class covariances can be used to initialize the global classifier, thus exploiting the covariances without actually sharing them. We also show that using only within-class covariances results in a better classifier initialization. Our approach improves performance in the range of 4-26% with exactly the same communication cost when compared to methods sharing only class means and achieves performance competitive or superior to methods sharing second-order statistics with dramatically less communication overhead. The proposed method is much more communication-efficient than federated prompt-tuning methods and still outperforms them. Finally, using our method to initialize classifiers and then performing federated fine-tuning or linear probing again yields better performance. Code is available at https://github.com/dipamgoswami/FedCOF.
- Abstract（参考訳）: 事前学習モデルを使用することで、データの不均一性が低減され、フェデレーション学習アルゴリズムが高速化される。
近年,サーバのローカルクライアントデータ分散を集約し,トレーニングなしで高いパフォーマンスを実現するため,一階・二階統計を用いた学習自由手法の検討が進められている。
本研究では,クライアントがサーバに通信するクラス平均の1次統計量のみを使用するクラス共分散行列の非バイアス推定器に基づく学習自由度推定手法を提案する。
これらの推定クラス共分散を用いてグローバル分類器を初期化し、実際に共有することなく共分散を利用する方法を示す。
また、クラス内共分散のみを用いることで、より優れた分類器初期化が得られることを示す。
提案手法は,クラス平均のみを共有する手法と比較して,通信コストがまったく同じで4～26%の範囲で性能が向上し,通信オーバヘッドを劇的に低減した2次統計を共有する手法よりも性能が優れている。
提案手法は,フェデレートされたプロンプトチューニング法よりも通信効率が高く,性能も優れている。
最後に,本手法を用いて分類器を初期化し,フェデレートした微調整や線形探索を行うと,性能が向上する。
コードはhttps://github.com/dipamgoswami/FedCOF.comで入手できる。
関連論文リスト
- STSA: Federated Class-Incremental Learning via Spatial-Temporal Statistics Aggregation [64.48462746540156]
Federated Class-Incremental Learning (FCIL)は、分散データからクラスインクリメンタルラーニングを可能にする。
本稿では,空間的(クライアント間)と時間的(ステージ間)の両方に特徴統計を集約する新しい手法を提案する。
本手法は, 性能, 柔軟性, 通信効率の両面で, 最先端のFCIL法よりも優れていることを示す。
論文 参考訳（メタデータ） (2025-06-02T05:14:57Z) - FedOSAA: Improving Federated Learning with One-Step Anderson Acceleration [3.096113258362507]
Federated Learning(FL)は、複数のローカルクライアントと中央サーバが協力してモデルをトレーニングできる分散機械学習アプローチである。
特に分散低減手法を取り入れた一階法は、単純な実装と安定した性能のため、最も広く使われているFLアルゴリズムである。
本稿では,2次法に典型的に関連する高速収束を達成しつつ,1次法の簡易性を維持する新しい手法であるFedOSAAを提案する。
論文 参考訳（メタデータ） (2025-03-14T00:10:02Z) - Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。
本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
論文 参考訳（メタデータ） (2024-06-03T08:48:49Z) - A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳（メタデータ） (2024-02-06T15:45:27Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳（メタデータ） (2023-07-19T04:07:33Z) - Finding the SWEET Spot: Analysis and Improvement of Adaptive Inference
in Low Resource Settings [6.463202903076821]
トレーニングデータに制限がある場合、適応推論の2つの主要なアプローチであるEarly-ExitとMulti-Modelを比較した。
Early-Exitは、マルチモデルアプローチのオーバーヘッドのために、より高速なトレードオフを提供する。
本稿では,SWEETを提案する。SWEETは,各分類器に独自のモデル重みの集合を割り当てる初期出力微調整法である。
論文 参考訳（メタデータ） (2023-06-04T09:16:39Z) - Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。
本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-22T04:06:29Z) - Lightweight Conditional Model Extrapolation for Streaming Data under
Class-Prior Shift [27.806085423595334]
非定常ストリーミングデータを用いて学習する新しい方法であるLIMESを紹介する。
我々は、特定のデータ分布に対する特定の分類器を導出するモデルパラメータの集合を1つ学習する。
Twitterデータを用いた一連の模範的なタスクの実験では、LIMESが代替手法よりも高い精度を達成することが示された。
論文 参考訳（メタデータ） (2022-06-10T15:19:52Z) - Bi-level Alignment for Cross-Domain Crowd Counting [113.78303285148041]
現在の手法は、補助的なタスクを訓練したり、高価な粗大な見積もりを適用したりするための外部データに依存している。
そこで我々は, 簡易かつ効率的に適用可能な, 逆学習に基づく新しい手法を開発した。
実世界の5つのクラウドカウントベンチマークに対するアプローチを評価し、既存のアプローチを大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-05-12T02:23:25Z) - One-shot Federated Learning without Server-side Training [42.59845771101823]
クライアントとサーバ間の通信コストを削減する手段として,ワンショットのフェデレーション学習が人気を集めている。
既存のワンショットFL法のほとんどは知識蒸留に基づいているが、蒸留に基づくアプローチでは追加のトレーニングフェーズが必要であり、公開されているデータセットや生成された擬似サンプルに依存する。
本研究では,サーバサイドのトレーニングなしで,ローカルモデル上で1ラウンドのパラメータアグリゲーションを実行するという,新しいクロスサイロ設定について考察する。
論文 参考訳（メタデータ） (2022-04-26T01:45:37Z) - On Second-order Optimization Methods for Federated Learning [59.787198516188425]
フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。
本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
論文 参考訳（メタデータ） (2021-09-06T12:04:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。