論文の概要: AdapterBias: Parameter-efficient Token-dependent Representation Shift
for Adapters in NLP Tasks
- arxiv url: http://arxiv.org/abs/2205.00305v1
- Date: Sat, 30 Apr 2022 16:49:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-04 08:40:28.440300
- Title: AdapterBias: Parameter-efficient Token-dependent Representation Shift
for Adapters in NLP Tasks
- Title（参考訳）: AdapterBias: NLPタスクにおけるアダプタのパラメータ依存型表現シフト
- Authors: Chin-Lun Fu, Zih-Ching Chen, Yun-Ru Lee, Hung-yi Lee
- Abstract要約: 数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。
近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。
本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
- 参考スコア（独自算出の注目度）: 55.705355299065474
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based pre-trained models with millions of parameters require
large storage. Recent approaches tackle this shortcoming by training adapters,
but these approaches still require a relatively large number of parameters. In
this study, AdapterBias, a surprisingly simple yet effective adapter
architecture, is proposed. AdapterBias adds a token-dependent shift to the
hidden output of transformer layers to adapt to downstream tasks with only a
vector and a linear layer. Extensive experiments are conducted to demonstrate
the effectiveness of AdapterBias. The experiments show that our proposed method
can dramatically reduce the trainable parameters compared to the previous works
with a minimal decrease in task performances compared with fine-tuned
pre-trained models. We further find that AdapterBias automatically learns to
assign more significant representation shifts to the tokens related to the task
in consideration.
- Abstract（参考訳）: 数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。
最近のアプローチではアダプタのトレーニングによってこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。
本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャである adapterbias を提案する。
AdapterBiasは、トランスフォーマー層の隠れ出力にトークン依存のシフトを追加し、ベクトルと線形層のみで下流タスクに適応する。
AdapterBiasの有効性を示す大規模な実験を行った。
提案手法は,事前学習モデルと比較してタスク性能を最小に抑えつつ,従来手法に比べてトレーニング可能なパラメータを劇的に削減できることを示す。
さらに、AdapterBiasはタスクに関連するトークンに、より重要な表現シフトを割り当てることを自動的に学習する。
関連論文リスト
- Towards Optimal Adapter Placement for Efficient Transfer Learning [73.1149084352343]
PETLは、トレーニング済みモデルを新しい下流タスクに適用し、微調整されたパラメータの数を最小化することを目的としている。
PETLの一般的なアプローチであるアダプタは、低ランクのプロジェクションを組み込むことで、既存のネットワークにさらなる容量を注入する。
本稿では,アダプタの配置と性能の関係について検討する。
論文 参考訳（メタデータ） (2024-10-21T10:37:17Z) - Hierarchical Recurrent Adapters for Efficient Multi-Task Adaptation of Large Speech Models [12.230087530720652]
本稿では,大規模マルチタスク適応シナリオにおいて,より効率的なアダプタモジュールを提案する。
アダプタは単一の共有コントローラネットワークと複数のタスクレベルのアダプタヘッドで構成されている。
論文 参考訳（メタデータ） (2024-03-25T17:21:56Z) - Efficient Adapter Tuning of Pre-trained Speech Models for Automatic
Speaker Verification [38.20393847192532]
自己教師型音声モデルは、下流の様々な音声タスクにおいて印象的な性能を示した。
大量の計算とストレージオーバーヘッドのため、微調整は事実上不可能になる。
話者検証タスクに自己教師付き音声モデルを適用するための効果的なアダプタフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-01T05:32:14Z) - Efficient Adaptation of Large Vision Transformer via Adapter
Re-Composing [8.88477151877883]
高容量事前学習モデルはコンピュータビジョンにおける問題解決に革命をもたらした。
本稿では,効率的な事前学習モデル適応に対処する新しい適応型再コンパイル(ARC)戦略を提案する。
提案手法は適応パラメータの再利用可能性について考察し,パラメータ共有方式を提案する。
論文 参考訳（メタデータ） (2023-10-10T01:04:15Z) - MerA: Merging Pretrained Adapters For Few-Shot Learning [71.44422347502409]
モデル融合により,事前学習したアダプタを単一モデルに効率的に組み込むことができるtextbftextttMerging Pretrained Adapters (MerA)を提案する。
2つのPLMの実験では、MerAはシングルアダプタとAdapterFusionの両方と比較して大幅に改善されている。
論文 参考訳（メタデータ） (2023-08-30T12:10:17Z) - Revisiting the Parameter Efficiency of Adapters from the Perspective of
Precision Redundancy [17.203320079872952]
コンピュータビジョンにおける現在の最先端の結果は、部分的に微調整された大規模な事前学習された視覚モデルに依存している。
モデルサイズが指数関数的に増大するにつれて、従来のフル微調整はストレージと送信オーバーヘッドを増大させる。
本稿では,タスク固有の細調整ネットワークを格納するために必要な最小限のサイズに到達し,アダプタをさらに効率的にする方法を検討する。
論文 参考訳（メタデータ） (2023-07-31T17:22:17Z) - AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large
Language Models [119.7093605087114]
大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。
これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。
パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
論文 参考訳（メタデータ） (2022-05-24T23:41:22Z) - Adaptable Adapters [74.65986170056945]
最先端のNLPモデルには1億から1兆のパラメータが含まれる。
適応アダプタは異なる層と異なる入力データに対して異なるアクティベーション関数を含む。
適応型アダプタは,標準アダプタアーキテクチャを用いてオンパー性能を実現する。
論文 参考訳（メタデータ） (2022-05-03T14:59:27Z) - AdapterDrop: On the Efficiency of Adapters in Transformers [53.845909603631945]
大規模に事前訓練されたトランスフォーマーモデルは、微調整に計算コストがかかり、推論に時間がかかり、大きなストレージ要求がある。
最近のアプローチでは、より小さなモデルをトレーニングし、モデルサイズを動的に削減し、軽量アダプタをトレーニングすることで、これらの欠点に対処している。
論文 参考訳（メタデータ） (2020-10-22T17:49:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。