論文の概要: Guiding The Last Layer in Federated Learning with Pre-Trained Models
- arxiv url: http://arxiv.org/abs/2306.03937v2
- Date: Mon, 6 Nov 2023 18:19:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 22:18:46.371420
- Title: Guiding The Last Layer in Federated Learning with Pre-Trained Models
- Title(参考訳): 事前学習モデルによるフェデレーション学習の最終レイヤの案内
- Authors: Gwen Legate, Nicolas Bernier, Lucas Caccia, Edouard Oyallon, Eugene
Belilovsky
- Abstract要約: フェデレートラーニング(FL)は、データを共有することなく、多数の参加者にまたがってモデルをトレーニングできる新興パラダイムである。
NCM(Nearest Class Means)を用いた分類ヘッドの適合は,既存の提案よりも正確に,桁違いに効率的に行えることを示す。
- 参考スコア(独自算出の注目度): 18.382057374270143
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is an emerging paradigm that allows a model to be
trained across a number of participants without sharing data. Recent works have
begun to consider the effects of using pre-trained models as an initialization
point for existing FL algorithms; however, these approaches ignore the vast
body of efficient transfer learning literature from the centralized learning
setting. Here we revisit the problem of FL from a pre-trained model considered
in prior work and expand it to a set of computer vision transfer learning
problems. We first observe that simply fitting a linear classification head can
be efficient and effective in many cases. We then show that in the FL setting,
fitting a classifier using the Nearest Class Means (NCM) can be done exactly
and orders of magnitude more efficiently than existing proposals, while
obtaining strong performance. Finally, we demonstrate that using a two-phase
approach of obtaining the classifier and then fine-tuning the model can yield
rapid convergence and improved generalization in the federated setting. We
demonstrate the potential our method has to reduce communication and compute
costs while achieving better model performance.
- Abstract(参考訳): フェデレートラーニング(FL)は、データを共有することなく、多数の参加者に対してモデルをトレーニングできる新興パラダイムである。
近年,既存のFLアルゴリズムの初期化点として事前学習モデルを用いることによる効果が検討され始めているが,これらの手法は集中学習環境からの効率的な移動学習文献を無視している。
ここでは,先行研究で考慮された事前学習モデルからflの問題を再検討し,それをコンピュータビジョン伝達学習問題に拡張する。
まず、線形分類ヘッドの取り付けは、多くの場合、効率的かつ効果的であることを示す。
次に、FL設定において、NCM(Nearest Class Means)を用いた分類器の適合は、既存の提案よりも正確に、桁違いに効率的に行うことができ、高い性能が得られることを示す。
最後に,二相法を用いて分類器を取得し,モデルを微調整することで,高速収束を生じさせ,フェデレーション設定における一般化を改善できることを実証する。
本手法は,モデル性能を向上しつつ,通信コストと計算コストを削減できる可能性を実証する。
関連論文リスト
- Read Between the Layers: Leveraging Intra-Layer Representations for
Rehearsal-Free Continual Learning with Pre-Trained Models [17.31203979844975]
継続学習のための新しいクラスプロトタイプベースのアプローチであるLayUPを提案する。
提案手法は概念的には単純で,リプレイバッファを必要としない。
論文 参考訳(メタデータ) (2023-12-13T13:11:44Z) - FD-Align: Feature Discrimination Alignment for Fine-tuning Pre-Trained
Models in Few-Shot Learning [21.693779973263172]
本稿では,特徴識別アライメント(FD-Align)と呼ばれる微調整手法を提案する。
本手法は,突発的特徴の一貫性を保ち,モデルの一般化可能性を高めることを目的としている。
一度微調整すると、モデルは既存のメソッドとシームレスに統合され、パフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-10-23T17:12:01Z) - An Emulator for Fine-Tuning Large Language Models using Small Language
Models [91.02498576056057]
本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。
EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。
最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
論文 参考訳(メタデータ) (2023-10-19T17:57:16Z) - Importance of Smoothness Induced by Optimizers in FL4ASR: Towards
Understanding Federated Learning for End-to-End ASR [12.108696564200052]
フェデレートラーニング(FL)を用いたエンドツーエンド自動音声認識(ASR)モデルの訓練から始める。
FLを用いて訓練したモデルと,その集中型モデルとの単語誤り率の観点から,性能ギャップを最小化する上で重要な基本的考察について検討する。
論文 参考訳(メタデータ) (2023-09-22T17:23:01Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-07-05T12:49:02Z) - Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。
本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。
理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
論文 参考訳(メタデータ) (2023-04-11T02:12:02Z) - CoopInit: Initializing Generative Adversarial Networks via Cooperative
Learning [50.90384817689249]
CoopInitは、協力的な学習ベースの戦略で、GANにとって良い出発点を素早く学べる。
本稿では,画像生成における提案手法の有効性を示す。
論文 参考訳(メタデータ) (2023-03-21T07:49:32Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳(メタデータ) (2022-12-02T05:07:50Z) - Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。
共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。
さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
論文 参考訳(メタデータ) (2022-07-08T10:25:47Z) - Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language
Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。
モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。
MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-03-09T17:26:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。