論文の概要: FedTune: A Deep Dive into Efficient Federated Fine-Tuning with
Pre-trained Transformers
- arxiv url: http://arxiv.org/abs/2211.08025v1
- Date: Tue, 15 Nov 2022 10:16:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 13:06:34.494211
- Title: FedTune: A Deep Dive into Efficient Federated Fine-Tuning with
Pre-trained Transformers
- Title（参考訳）: FedTune: トレーニング済みのトランスフォーマーによる効率的なフェデレーションファインチューニング
- Authors: Jinyu Chen, Wenchao Xu, Song Guo, Junxiao Wang, Jie Zhang, Haozhao
Wang
- Abstract要約: Federated Learning(FL)は、分散型ユーザがプライベートデータを共有せずに、協調的かつ反復的に機械学習モデルをトレーニングすることを可能にする、新興パラダイムである。
研究者たちは、FLの従来の畳み込みニューラルネットワークの代わりに、事前訓練されたトランスフォーマーを使用して、優れたトランスフォーマー学習能力を活用しようとしている。
本手法は高速収束率と通信コストの低減に有効であることを示す。
- 参考スコア（独自算出の注目度）: 16.465900409973656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is an emerging paradigm that enables distributed
users to collaboratively and iteratively train machine learning models without
sharing their private data. Motivated by the effectiveness and robustness of
self-attention-based architectures, researchers are turning to using
pre-trained Transformers (i.e., foundation models) instead of traditional
convolutional neural networks in FL to leverage their excellent transfer
learning capabilities. Despite recent progress, how pre-trained Transformer
models play a role in FL remains obscure, that is, how to efficiently fine-tune
these pre-trained models in FL and how FL users could benefit from this new
paradigm. In this paper, we explore this issue and demonstrate that the
fine-tuned Transformers achieve extraordinary performance on FL, and that the
lightweight fine-tuning method facilitates a fast convergence rate and low
communication costs. Concretely, we conduct a rigorous empirical study of three
tuning methods (i.e., modifying the input, adding extra modules, and adjusting
the backbone) using two types of pre-trained models (i.e., vision-language
models and vision models) for FL. Our experiments show that 1) Fine-tuning the
bias term of the backbone performs best when relying on a strong pre-trained
model; 2) The vision-language model (e.g., CLIP) outperforms the pure vision
model (e.g., ViT) and is more robust to the few-shot settings; 3) Compared to
pure local training, FL with pre-trained models has a higher accuracy because
it alleviates the problem of over-fitting. We will release our code and
encourage further exploration of pre-trained Transformers and FL.
- Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、分散ユーザがプライベートデータを共有せずに、協調的かつ反復的に機械学習モデルをトレーニングできる、新たなパラダイムである。
自己注意に基づくアーキテクチャの有効性と堅牢性によって、研究者はFLの伝統的な畳み込みニューラルネットワークの代わりに、事前訓練されたトランスフォーマー(ファンデーションモデル)を使用して、優れたトランスファー学習能力を活用しようとしている。
最近の進歩にもかかわらず、事前訓練されたトランスフォーマーモデルがflでどのように役割を果たすか、つまり、これらの事前訓練されたモデルをflで効率的に微調整する方法と、flユーザーがこの新しいパラダイムからどのように恩恵を受けるかは、まだ不明である。
本稿では,細調整トランスフォーマーがFL上での異常な性能を実現し,軽量な微細調整により高速収束率と通信コストの低減が図れることを示す。
具体的には、FLのための2種類の事前学習モデル(ビジョン言語モデルとビジョンモデル)を用いて、3つのチューニング方法(入力の変更、追加モジュールの追加、バックボーンの調整)の厳密な実証研究を行う。
私たちの実験は
1) 背骨のバイアス項の微調整は, 強い事前訓練モデルに依存する場合に, 最善である。
2) 視覚言語モデル(クリップなど)は,純粋視覚モデル(vitなど)よりも優れており,かつ,少ないショット設定よりも頑健である。
3) 純ローカルトレーニングと比較して, 事前学習モデルを用いたflは, オーバーフィッティングの問題を軽減するため, 精度が高い。
コードをリリースし、事前訓練されたトランスフォーマーとFLのさらなる探索を奨励します。
関連論文リスト
- Local Superior Soups: A Catalyst for Model Merging in Cross-Silo Federated Learning [33.88701368538447]
我々は「ローカル・スーパー・スープ」と呼ばれる革新的モデルに基づくローカル・トレーニング手法を提案する。
提案手法は, 異なるクライアント間でのローカルトレーニングを強化し, 接続された低損失盆地の探索を奨励する。
広範に使われているFLデータセットにまたがって,その有効性と効率を実証した。
論文 参考訳（メタデータ） (2024-10-31T06:20:17Z) - Heterogeneous Federated Learning with Splited Language Model [22.65325348176366]
フェデレート・スプリット・ラーニング(FSL)は、実際には有望な分散学習パラダイムである。
本稿では,前訓練画像変換器(PIT)をFedVと呼ばれる初期モデルとして利用し,トレーニングプロセスの高速化とモデルロバスト性の向上を図る。
我々は、実世界のデータセット、異なる部分的デバイス参加、異種データ分割におけるPITを用いたFSL手法の体系的評価を初めて行った。
論文 参考訳（メタデータ） (2024-03-24T07:33:08Z) - A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳（メタデータ） (2024-01-09T10:22:23Z) - F3-Pruning: A Training-Free and Generalized Pruning Strategy towards
Faster and Finer Text-to-Video Synthesis [94.10861578387443]
変圧器と拡散モデルを用いた2つの主流T2Vモデルの推論過程について検討する。
本稿では、時間的余分な注意重みを突破するF3プルーニングと呼ばれるトレーニングフリーで一般化されたプルーニング戦略を提案する。
古典的なトランスフォーマーベースモデルCogVideoと典型的な拡散ベースモデルTune-A-Videoを用いた3つのデータセットの大規模な実験により、F3-Pruningの有効性が検証された。
論文 参考訳（メタデータ） (2023-12-06T12:34:47Z) - An Emulator for Fine-Tuning Large Language Models using Small Language
Models [91.02498576056057]
本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。
EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。
最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
論文 参考訳（メタデータ） (2023-10-19T17:57:16Z) - Guiding The Last Layer in Federated Learning with Pre-Trained Models [18.382057374270143]
フェデレートラーニング(FL)は、データを共有することなく、多数の参加者にまたがってモデルをトレーニングできる新興パラダイムである。
NCM(Nearest Class Means)を用いた分類ヘッドの適合は,既存の提案よりも正確に,桁違いに効率的に行えることを示す。
論文 参考訳（メタデータ） (2023-06-06T18:02:02Z) - FedOBD: Opportunistic Block Dropout for Efficiently Training Large-scale
Neural Networks through Federated Learning [18.357577491590686]
本稿では,大規模ニューラルネットワークを学習するためのFedOBD(Federated Opportunistic Block Dropout)アプローチを提案する。
FedOBDは大規模モデルをセマンティックブロックに分解し、FL参加者が偶然に量子化されたブロックをアップロードできるようにする。
実験によると、FedOBDは最高のパフォーマンスのベースラインアプローチに比べて、全体の通信オーバーヘッドを88%以上削減している。
論文 参考訳（メタデータ） (2022-08-10T06:36:49Z) - On the Importance and Applicability of Pre-Training for Federated
Learning [28.238484580662785]
我々は,連合学習のための事前学習を体系的に研究する。
事前学習はFLを改善するだけでなく,その精度のギャップを集中学習に埋めることもできる。
本論文は,FLに対する事前学習の効果を解明する試みとしてまとめる。
論文 参考訳（メタデータ） (2022-06-23T06:02:33Z) - Visformer: The Vision-friendly Transformer [105.52122194322592]
我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。
同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
論文 参考訳（メタデータ） (2021-04-26T13:13:03Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳（メタデータ） (2020-06-05T07:10:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。