論文の概要: FedAdapter: Efficient Federated Learning for Modern NLP

• arxiv url: http://arxiv.org/abs/2205.10162v2
• Date: Mon, 8 May 2023 19:50:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 16:44:21.823854
• Title: FedAdapter: Efficient Federated Learning for Modern NLP
• Title（参考訳）: FedAdapter: 現代的なNLPのための効果的なフェデレーション学習
• Authors: Dongqi Cai, Yaozong Wu, Shangguang Wang, Felix Xiaozhu Lin, Mengwei Xu
• Abstract要約: 下流タスクのための微調整済みの事前訓練モデルは、しばしばプライベートデータを必要とする。 FedNLPは、大きなモデルサイズと結果としてネットワーク/計算コストが高いため、禁止的に遅い。 既存のFedNLPを2つの新しい設計で拡張するフレームワークであるFedAdapterを提案する。
• 参考スコア（独自算出の注目度）: 2.6706511009396023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based pre-trained models have revolutionized NLP for superior performance and generality. Fine-tuning pre-trained models for downstream tasks often requires private data, for which federated learning is the de-facto approach (i.e., FedNLP). However, our measurements show that FedNLP is prohibitively slow due to the large model sizes and the resultant high network/computation cost. Towards practical FedNLP, we identify as the key building blocks adapters, small bottleneck modules inserted at a variety of model layers. A key challenge is to properly configure the depth and width of adapters, to which the training speed and efficiency is highly sensitive. No silver-bullet configuration exists: the optimal choice varies across downstream NLP tasks, desired model accuracy, and mobile resources. To automate adapter configuration, we propose FedAdapter, a framework that enhances the existing FedNLP with two novel designs. First, FedAdapter progressively upgrades the adapter configuration throughout a training session; the principle is to quickly learn shallow knowledge by only training fewer and smaller adapters at the model's top layers, and incrementally learn deep knowledge by incorporating deeper and larger adapters. Second, FedAdapter continuously profiles future adapter configurations by allocating participant devices to trial groups. Extensive experiments show that FedAdapter can reduce FedNLP's model convergence delay to no more than several hours, which is up to 155.5$\times$ faster compared to vanilla FedNLP and 48$\times$ faster compared to strong baselines.
• Abstract（参考訳）: トランスフォーマーベースの事前学習モデルは、優れた性能と汎用性のためにNLPに革命をもたらした。 下流タスクのための微調整済みモデルはしばしばプライベートデータを必要とし、フェデレート学習はデファクト・アプローチ(FedNLP)である。 しかし,FedNLPはモデルサイズが大きく,ネットワーク/計算コストが高いため,極めて遅いことが判明した。 実用的なfednlpを目指して、様々なモデル層に挿入された小さなボトルネックモジュールである、主要なビルディングブロックアダプタを識別する。 重要な課題は、トレーニング速度と効率が非常に敏感なアダプタの深さと幅を適切に設定することである。 最適な選択は、下流のNLPタスク、望ましいモデルの精度、モバイルリソースによって異なる。 アダプタ構成を自動化するために,FedNLPを2つの新しい設計で拡張するフレームワークであるFedAdapterを提案する。 まず、FedAdapterはトレーニングセッションを通じてアダプタ構成を段階的にアップグレードする。原則は、モデルの上位層でより少ないアダプタをトレーニングするだけで、浅い知識を素早く学習し、より深いアダプタを組み込むことで、より深い知識を徐々に学習することである。 第二に、FedAdapterは参加者デバイスをトライアルグループに割り当てることで、将来のアダプタ構成を継続的にプロファイルする。 広範な実験により、feedadapterは、fedadapterのモデル収束遅延を、バニラfednlpと比較して最大155.5$\times$、強力なベースラインよりも48$\times$高速で数時間以内に削減できることが示されている。

関連論文リスト

• Adaptive Adapter Routing for Long-Tailed Class-Incremental Learning [55.384428765798496]
  新しいデータは、Eコマースプラットフォームレビューのような、長期にわたる流通を示す。 これは、忘れずに不均衡なデータを連続的なモデルで学習する必要がある。 LTCILの例として,AdaPtive Adapter Routing (APART) を提案する。
  論文  参考訳（メタデータ） (2024-09-11T17:52:00Z)
• MerA: Merging Pretrained Adapters For Few-Shot Learning [71.44422347502409]
  モデル融合により,事前学習したアダプタを単一モデルに効率的に組み込むことができるtextbftextttMerging Pretrained Adapters (MerA)を提案する。 2つのPLMの実験では、MerAはシングルアダプタとAdapterFusionの両方と比較して大幅に改善されている。
  論文  参考訳（メタデータ） (2023-08-30T12:10:17Z)
• Adaptable Adapters [74.65986170056945]
  最先端のNLPモデルには1億から1兆のパラメータが含まれる。 適応アダプタは異なる層と異なる入力データに対して異なるアクティベーション関数を含む。 適応型アダプタは,標準アダプタアーキテクチャを用いてオンパー性能を実現する。
  論文  参考訳（メタデータ） (2022-05-03T14:59:27Z)
• Unidirectional Thin Adapter for Efficient Adaptation of Deep Neural Networks [5.995023738151625]
  学習済みのディープニューラルネットワークを最小限の計算量で対象領域に適応させる新しいアダプタネットワークを提案する。 提案モデルである一方向シンアダプタ(UDTA)は、バックボーンネットワークを補完する補助機能を提供することで、分類器が新しいデータに適応するのに役立つ。 5つのきめ細かい分類データセットの実験では、UDTAはバックプロパゲーションに必要な計算時間とトレーニング時間を著しく削減した。
  論文  参考訳（メタデータ） (2022-03-20T06:06:43Z)
• Tip-Adapter: Training-free CLIP-Adapter for Better Vision-Language Modeling [78.62723847797382]
  我々は、CLIPのトレーニング不要の利点を継承するだけでなく、CLIP-Adapterよりも可視もしくはより優れた性能を発揮するtextbfTraining-Free CLtextbfIP-textbfAdapter(textbfTip-Adapter)を提案する。 提案するTip-Adapterの優位性を示すために,ImageNetと他の10のデータセットの少数ショット分類の広範な実験を行った。
  論文  参考訳（メタデータ） (2021-11-06T18:09:22Z)
• FedAdapt: Adaptive Offloading for IoT Devices in Federated Learning [2.5775113252104216]
  Internet-of-Thingsデバイス上でのフェデレートラーニング(FL)は、それらが生成する大量のデータと、データプライバシに関する懸念によって必要になる。 本稿では、上記の課題を軽減するための適応型オフロードFLフレームワークであるFedAdaptについて述べる。
  論文  参考訳（メタデータ） (2021-07-09T07:29:55Z)
• AdapterDrop: On the Efficiency of Adapters in Transformers [53.845909603631945]
  大規模に事前訓練されたトランスフォーマーモデルは、微調整に計算コストがかかり、推論に時間がかかり、大きなストレージ要求がある。 最近のアプローチでは、より小さなモデルをトレーニングし、モデルサイズを動的に削減し、軽量アダプタをトレーニングすることで、これらの欠点に対処している。
  論文  参考訳（メタデータ） (2020-10-22T17:49:42Z)
• AdapterHub: A Framework for Adapting Transformers [148.6877231725939]
  AdapterHubは、さまざまなタスクや言語のためのトレーニング済みアダプタの動的"スティッチイン"を可能にするフレームワークである。 我々のフレームワークは、タスク固有のモデルの共有にスケーラブルで簡単にアクセスできる。
  論文  参考訳（メタデータ） (2020-07-15T15:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。