論文の概要: AutoFedNLP: An efficient FedNLP framework
- arxiv url: http://arxiv.org/abs/2205.10162v1
- Date: Fri, 20 May 2022 13:10:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-23 21:20:02.911864
- Title: AutoFedNLP: An efficient FedNLP framework
- Title（参考訳）: AutoFedNLP: 効率的なFedNLPフレームワーク
- Authors: Dongqi Cai, Yaozong Wu, Shangguang Wang, Felix Xiaozhu Lin, Mengwei Xu
- Abstract要約: 下流タスクのための微調整済みの事前訓練モデルは、しばしばプライベートデータを必要とする。
FedNLPは、大きなモデルサイズと結果としてネットワーク/計算コストが高いため、禁止的に遅い。
既存のFedNLPを2つの新しい設計で拡張するフレームワークであるAutoFedNLPを提案する。
- 参考スコア（独自算出の注目度）: 2.6706511009396023
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based pre-trained models have revolutionized NLP for superior
performance and generality. Fine-tuning pre-trained models for downstream tasks
often require private data, for which federated learning is the de-facto
approach (i.e., FedNLP). However, our measurements show that FedNLP is
prohibitively slow due to the large model sizes and the resultant high
network/computation cost. Towards practical FedNLP, we identify as the key
building blocks adapters, small bottleneck modules inserted at a variety of
model layers. A key challenge is to properly configure the depth and width of
adapters, to which the training speed and efficiency is highly sensitive. No
silver-bullet configuration exists: the optimal choice varies across downstream
NLP tasks, desired model accuracy, and client resources. A silver-bullet
configuration does not exist and a non-optimal configuration could
significantly slow down the training. To automate adapter configuration, we
propose AutoFedNLP, a framework that enhances the existing FedNLP with two
novel designs. First, AutoFedNLP progressively upgrades the adapter
configuration throughout a training session. Second, AutoFedNLP continuously
profiles future adapter configurations by allocating participant devices to
trial groups. To minimize client-side computations, AutoFedNLP exploits the
fact that a FedNLP client trains on the same samples repeatedly between
consecutive changes of adapter configurations, and caches computed activations
on clients. Extensive experiments show that AutoFedNLP can reduce FedNLP's
model convergence delay to no more than several hours, which is up to
155.5$\times$ faster compared to vanilla FedNLP and 48$\times$ faster compared
to strong baselines.
- Abstract（参考訳）: トランスフォーマーベースの事前学習モデルは、優れた性能と汎用性のためにNLPに革命をもたらした。
下流タスクのための微調整済みモデルはしばしばプライベートデータを必要とし、フェデレート学習はデファクト・アプローチ(FedNLP)である。
しかし,FedNLPはモデルサイズが大きく,ネットワーク/計算コストが高いため,極めて遅いことが判明した。
実用的なfednlpを目指して、様々なモデル層に挿入された小さなボトルネックモジュールである、主要なビルディングブロックアダプタを識別する。
重要な課題は、トレーニング速度と効率が非常に敏感なアダプタの深さと幅を適切に設定することである。
最適な選択は、下流のNLPタスク、望ましいモデルの精度、クライアントリソースによって異なる。
銀塊の構成は存在せず、最適でない構成はトレーニングを著しく遅くする可能性がある。
アダプタ構成を自動化するために,既存のFedNLPを2つの新しい設計で拡張するフレームワークであるAutoFedNLPを提案する。
まず、AutoFedNLPはトレーニングセッションを通じてアダプタ構成を段階的にアップグレードする。
次にAutoFedNLPは、参加者デバイスをトライアルグループに割り当てることで、将来のアダプタ構成を継続的にプロファイルする。
クライアント側の計算を最小限にするため、AutoFedNLPは、FedNLPクライアントがアダプタ構成の連続的な変更の間に同じサンプルを何度もトレーニングし、クライアント上で計算されたアクティベーションをキャッシュするという事実を利用する。
大規模な実験により、AutoFedNLPはFedNLPのモデル収束遅延を数時間以内に短縮でき、これはバニラのFedNLPよりも155.5$\times$、強いベースラインよりも48$\times$速くすることができる。
関連論文リスト
- Adaptive Adapter Routing for Long-Tailed Class-Incremental Learning [55.384428765798496]
新しいデータは、Eコマースプラットフォームレビューのような、長期にわたる流通を示す。
これは、忘れずに不均衡なデータを連続的なモデルで学習する必要がある。
LTCILの例として,AdaPtive Adapter Routing (APART) を提案する。
論文 参考訳（メタデータ） (2024-09-11T17:52:00Z) - MerA: Merging Pretrained Adapters For Few-Shot Learning [71.44422347502409]
モデル融合により,事前学習したアダプタを単一モデルに効率的に組み込むことができるtextbftextttMerging Pretrained Adapters (MerA)を提案する。
2つのPLMの実験では、MerAはシングルアダプタとAdapterFusionの両方と比較して大幅に改善されている。
論文 参考訳（メタデータ） (2023-08-30T12:10:17Z) - Adaptable Adapters [74.65986170056945]
最先端のNLPモデルには1億から1兆のパラメータが含まれる。
適応アダプタは異なる層と異なる入力データに対して異なるアクティベーション関数を含む。
適応型アダプタは,標準アダプタアーキテクチャを用いてオンパー性能を実現する。
論文 参考訳（メタデータ） (2022-05-03T14:59:27Z) - Unidirectional Thin Adapter for Efficient Adaptation of Deep Neural
Networks [5.995023738151625]
学習済みのディープニューラルネットワークを最小限の計算量で対象領域に適応させる新しいアダプタネットワークを提案する。
提案モデルである一方向シンアダプタ(UDTA)は、バックボーンネットワークを補完する補助機能を提供することで、分類器が新しいデータに適応するのに役立つ。
5つのきめ細かい分類データセットの実験では、UDTAはバックプロパゲーションに必要な計算時間とトレーニング時間を著しく削減した。
論文 参考訳（メタデータ） (2022-03-20T06:06:43Z) - Tip-Adapter: Training-free CLIP-Adapter for Better Vision-Language
Modeling [78.62723847797382]
我々は、CLIPのトレーニング不要の利点を継承するだけでなく、CLIP-Adapterよりも可視もしくはより優れた性能を発揮するtextbfTraining-Free CLtextbfIP-textbfAdapter(textbfTip-Adapter)を提案する。
提案するTip-Adapterの優位性を示すために,ImageNetと他の10のデータセットの少数ショット分類の広範な実験を行った。
論文 参考訳（メタデータ） (2021-11-06T18:09:22Z) - FedAdapt: Adaptive Offloading for IoT Devices in Federated Learning [2.5775113252104216]
Internet-of-Thingsデバイス上でのフェデレートラーニング(FL)は、それらが生成する大量のデータと、データプライバシに関する懸念によって必要になる。
本稿では、上記の課題を軽減するための適応型オフロードFLフレームワークであるFedAdaptについて述べる。
論文 参考訳（メタデータ） (2021-07-09T07:29:55Z) - AdapterDrop: On the Efficiency of Adapters in Transformers [53.845909603631945]
大規模に事前訓練されたトランスフォーマーモデルは、微調整に計算コストがかかり、推論に時間がかかり、大きなストレージ要求がある。
最近のアプローチでは、より小さなモデルをトレーニングし、モデルサイズを動的に削減し、軽量アダプタをトレーニングすることで、これらの欠点に対処している。
論文 参考訳（メタデータ） (2020-10-22T17:49:42Z) - AdapterHub: A Framework for Adapting Transformers [148.6877231725939]
AdapterHubは、さまざまなタスクや言語のためのトレーニング済みアダプタの動的"スティッチイン"を可能にするフレームワークである。
我々のフレームワークは、タスク固有のモデルの共有にスケーラブルで簡単にアクセスできる。
論文 参考訳（メタデータ） (2020-07-15T15:56:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。