論文の概要: FedTune: A Deep Dive into Efficient Federated Fine-Tuning with
Pre-trained Transformers
- arxiv url: http://arxiv.org/abs/2211.08025v1
- Date: Tue, 15 Nov 2022 10:16:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 13:06:34.494211
- Title: FedTune: A Deep Dive into Efficient Federated Fine-Tuning with
Pre-trained Transformers
- Title(参考訳): FedTune: トレーニング済みのトランスフォーマーによる効率的なフェデレーションファインチューニング
- Authors: Jinyu Chen, Wenchao Xu, Song Guo, Junxiao Wang, Jie Zhang, Haozhao
Wang
- Abstract要約: Federated Learning(FL)は、分散型ユーザがプライベートデータを共有せずに、協調的かつ反復的に機械学習モデルをトレーニングすることを可能にする、新興パラダイムである。
研究者たちは、FLの従来の畳み込みニューラルネットワークの代わりに、事前訓練されたトランスフォーマーを使用して、優れたトランスフォーマー学習能力を活用しようとしている。
本手法は高速収束率と通信コストの低減に有効であることを示す。
- 参考スコア(独自算出の注目度): 16.465900409973656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is an emerging paradigm that enables distributed
users to collaboratively and iteratively train machine learning models without
sharing their private data. Motivated by the effectiveness and robustness of
self-attention-based architectures, researchers are turning to using
pre-trained Transformers (i.e., foundation models) instead of traditional
convolutional neural networks in FL to leverage their excellent transfer
learning capabilities. Despite recent progress, how pre-trained Transformer
models play a role in FL remains obscure, that is, how to efficiently fine-tune
these pre-trained models in FL and how FL users could benefit from this new
paradigm. In this paper, we explore this issue and demonstrate that the
fine-tuned Transformers achieve extraordinary performance on FL, and that the
lightweight fine-tuning method facilitates a fast convergence rate and low
communication costs. Concretely, we conduct a rigorous empirical study of three
tuning methods (i.e., modifying the input, adding extra modules, and adjusting
the backbone) using two types of pre-trained models (i.e., vision-language
models and vision models) for FL. Our experiments show that 1) Fine-tuning the
bias term of the backbone performs best when relying on a strong pre-trained
model; 2) The vision-language model (e.g., CLIP) outperforms the pure vision
model (e.g., ViT) and is more robust to the few-shot settings; 3) Compared to
pure local training, FL with pre-trained models has a higher accuracy because
it alleviates the problem of over-fitting. We will release our code and
encourage further exploration of pre-trained Transformers and FL.
- Abstract(参考訳): フェデレーション学習(federated learning, fl)は、分散ユーザがプライベートデータを共有せずに、協調的かつ反復的に機械学習モデルをトレーニングできる、新たなパラダイムである。
自己注意に基づくアーキテクチャの有効性と堅牢性によって、研究者はFLの伝統的な畳み込みニューラルネットワークの代わりに、事前訓練されたトランスフォーマー(ファンデーションモデル)を使用して、優れたトランスファー学習能力を活用しようとしている。
最近の進歩にもかかわらず、事前訓練されたトランスフォーマーモデルがflでどのように役割を果たすか、つまり、これらの事前訓練されたモデルをflで効率的に微調整する方法と、flユーザーがこの新しいパラダイムからどのように恩恵を受けるかは、まだ不明である。
本稿では,細調整トランスフォーマーがFL上での異常な性能を実現し,軽量な微細調整により高速収束率と通信コストの低減が図れることを示す。
具体的には、FLのための2種類の事前学習モデル(ビジョン言語モデルとビジョンモデル)を用いて、3つのチューニング方法(入力の変更、追加モジュールの追加、バックボーンの調整)の厳密な実証研究を行う。
私たちの実験は
1) 背骨のバイアス項の微調整は, 強い事前訓練モデルに依存する場合に, 最善である。
2) 視覚言語モデル(クリップなど)は,純粋視覚モデル(vitなど)よりも優れており,かつ,少ないショット設定よりも頑健である。
3) 純ローカルトレーニングと比較して, 事前学習モデルを用いたflは, オーバーフィッティングの問題を軽減するため, 精度が高い。
コードをリリースし、事前訓練されたトランスフォーマーとFLのさらなる探索を奨励します。
関連論文リスト
- A Survey on Efficient Federated Learning Methods for Foundation Model
Training [66.19763977571114]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳(メタデータ) (2024-01-09T10:22:23Z) - F3-Pruning: A Training-Free and Generalized Pruning Strategy towards
Faster and Finer Text-to-Video Synthesis [94.10861578387443]
変圧器と拡散モデルを用いた2つの主流T2Vモデルの推論過程について検討する。
本稿では、時間的余分な注意重みを突破するF3プルーニングと呼ばれるトレーニングフリーで一般化されたプルーニング戦略を提案する。
古典的なトランスフォーマーベースモデルCogVideoと典型的な拡散ベースモデルTune-A-Videoを用いた3つのデータセットの大規模な実験により、F3-Pruningの有効性が検証された。
論文 参考訳(メタデータ) (2023-12-06T12:34:47Z) - An Emulator for Fine-Tuning Large Language Models using Small Language
Models [91.02498576056057]
本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。
EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。
最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
論文 参考訳(メタデータ) (2023-10-19T17:57:16Z) - NeFL: Nested Federated Learning for Heterogeneous Clients [48.160716521203256]
フェデレートラーニング(FL)は、分散ラーニングにおけるプライバシー維持のための有望なアプローチである。
FLのトレーニングパイプラインでは、遅いクライアント(すなわちストラグラー)がトレーニング時間を遅くし、パフォーマンスを低下させる。
奥行きと幅方向の両方のスケーリングを用いて,モデルをモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
論文 参考訳(メタデータ) (2023-08-15T13:29:14Z) - Guiding The Last Layer in Federated Learning with Pre-Trained Models [18.382057374270143]
フェデレートラーニング(FL)は、データを共有することなく、多数の参加者にまたがってモデルをトレーニングできる新興パラダイムである。
NCM(Nearest Class Means)を用いた分類ヘッドの適合は,既存の提案よりも正確に,桁違いに効率的に行えることを示す。
論文 参考訳(メタデータ) (2023-06-06T18:02:02Z) - FedOBD: Opportunistic Block Dropout for Efficiently Training Large-scale
Neural Networks through Federated Learning [18.357577491590686]
本稿では,大規模ニューラルネットワークを学習するためのFedOBD(Federated Opportunistic Block Dropout)アプローチを提案する。
FedOBDは大規模モデルをセマンティックブロックに分解し、FL参加者が偶然に量子化されたブロックをアップロードできるようにする。
実験によると、FedOBDは最高のパフォーマンスのベースラインアプローチに比べて、全体の通信オーバーヘッドを88%以上削減している。
論文 参考訳(メタデータ) (2022-08-10T06:36:49Z) - On the Importance and Applicability of Pre-Training for Federated
Learning [28.238484580662785]
我々は,連合学習のための事前学習を体系的に研究する。
事前学習はFLを改善するだけでなく,その精度のギャップを集中学習に埋めることもできる。
本論文は,FLに対する事前学習の効果を解明する試みとしてまとめる。
論文 参考訳(メタデータ) (2022-06-23T06:02:33Z) - Federated Unlearning [24.60965999954735]
Federated Learning(FL)は、有望な分散機械学習(ML)パラダイムとして登場した。
忘れられる権利」とデータ中毒攻撃に対抗するための実用的なニーズは、訓練されたFLモデルから特定のトレーニングデータを削除または解読できる効率的な技術を必要とします。
FedEraser は、フェデレーション クライアントのデータがグローバル FL モデルに与える影響を排除することができる最初のフェデレーション未学習方法論です。
論文 参考訳(メタデータ) (2020-12-27T08:54:37Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳(メタデータ) (2020-09-27T08:28:25Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳(メタデータ) (2020-06-05T07:10:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。