論文の概要: Conditional Adapters: Parameter-efficient Transfer Learning with Fast
Inference
- arxiv url: http://arxiv.org/abs/2304.04947v2
- Date: Sun, 26 Nov 2023 22:00:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 16:30:04.940199
- Title: Conditional Adapters: Parameter-efficient Transfer Learning with Fast
Inference
- Title(参考訳): 条件適応器:高速推論によるパラメータ効率変換学習
- Authors: Tao Lei, Junwen Bai, Siddhartha Brahma, Joshua Ainslie, Kenton Lee,
Yanqi Zhou, Nan Du, Vincent Y. Zhao, Yuexin Wu, Bo Li, Yu Zhang, Ming-Wei
Chang
- Abstract要約: Conditional Adapter (CoDA) はパラメータ効率の変換学習手法であり、推論効率も向上する。
様々な言語、ビジョン、音声タスクにおいて、CoDAは2倍から8倍の推論スピードアップを達成する。
- 参考スコア(独自算出の注目度): 53.65845680932835
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose Conditional Adapter (CoDA), a parameter-efficient transfer
learning method that also improves inference efficiency. CoDA generalizes
beyond standard adapter approaches to enable a new way of balancing speed and
accuracy using conditional computation. Starting with an existing dense
pretrained model, CoDA adds sparse activation together with a small number of
new parameters and a light-weight training phase. Our experiments demonstrate
that the CoDA approach provides an unexpectedly efficient way to transfer
knowledge. Across a variety of language, vision, and speech tasks, CoDA
achieves a 2x to 8x inference speed-up compared to the state-of-the-art Adapter
approaches with moderate to no accuracy loss and the same parameter efficiency.
- Abstract(参考訳): 本稿では,パラメータ効率の高い伝達学習手法である条件付きアダプタ(coda)を提案する。
CoDAは標準アダプタアプローチを超越して一般化し、条件計算を用いて速度と精度のバランスをとる新しい方法を実現する。
既存の密集した事前学習モデルから始め、codaは少量の新しいパラメータと軽量トレーニングフェーズと共にスパースアクティベーションを追加している。
我々の実験は、CoDAアプローチが予想外の効果的な知識伝達方法を提供することを示した。
様々な言語、視覚、音声のタスクを通して、codaは、精度損失が中程度からゼロ、パラメータ効率が同じで、最先端アダプタアプローチと比較して2倍から8倍の推論スピードアップを実現している。
関連論文リスト
- Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。
DyTは既存のPEFT法と比較すると、同等またはそれ以上の性能を実現している。
論文 参考訳(メタデータ) (2024-03-18T14:05:52Z) - Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。
モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。
本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
論文 参考訳(メタデータ) (2024-03-03T08:25:04Z) - Efficient Adaptation of Large Vision Transformer via Adapter
Re-Composing [8.88477151877883]
高容量事前学習モデルはコンピュータビジョンにおける問題解決に革命をもたらした。
本稿では,効率的な事前学習モデル適応に対処する新しい適応型再コンパイル(ARC)戦略を提案する。
提案手法は適応パラメータの再利用可能性について考察し,パラメータ共有方式を提案する。
論文 参考訳(メタデータ) (2023-10-10T01:04:15Z) - Preconditioned Federated Learning [7.7269332266153326]
Federated Learning(FL)は、コミュニケーションの効率的かつプライバシ保護の方法でモデルトレーニングを可能にする分散機械学習アプローチである。
FedAvgは、現代の一階適応最適化と比較してアルゴリズム適応性を欠いていると考えられている。
局所適応性(PreFed)とサーバ側適応性(PreFedOp)の2つのフレームワークに基づく通信効率の高い新しいFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-09-20T14:58:47Z) - Evaluating Parameter-Efficient Transfer Learning Approaches on SURE
Benchmark for Speech Understanding [40.27182770995891]
ファインチューニングは、事前訓練されたモデルからのトランスファー学習のデフォルトアルゴリズムとして広く使われている。
本稿では,様々な音声処理タスクに対するパラメータ効率学習のための音声不確定評価(SURE)ベンチマークを提案する。
論文 参考訳(メタデータ) (2023-03-02T08:57:33Z) - AdapterBias: Parameter-efficient Token-dependent Representation Shift
for Adapters in NLP Tasks [55.705355299065474]
数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。
近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。
本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
論文 参考訳(メタデータ) (2022-04-30T16:49:41Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳(メタデータ) (2022-03-23T06:24:31Z) - Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。
AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。
本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文 参考訳(メタデータ) (2020-10-21T14:49:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。