論文の概要: Adapters Strike Back

• arxiv url: http://arxiv.org/abs/2406.06820v1
• Date: Mon, 10 Jun 2024 22:07:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 19:56:14.444263
• Title: Adapters Strike Back
• Title（参考訳）: Adapters Strike Back
• Authors: Jan-Martin O. Steitz, Stefan Roth,
• Abstract要約: 我々は、アダプタ、内部構造、および様々な実装選択について詳細に研究する。 我々は、Adapter+と呼ばれる具体的かつ改良されたアダプタアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 10.490880056507198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapters provide an efficient and lightweight mechanism for adapting trained transformer models to a variety of different tasks. However, they have often been found to be outperformed by other adaptation mechanisms, including low-rank adaptation. In this paper, we provide an in-depth study of adapters, their internal structure, as well as various implementation choices. We uncover pitfalls for using adapters and suggest a concrete, improved adapter architecture, called Adapter+, that not only outperforms previous adapter implementations but surpasses a number of other, more complex adaptation mechanisms in several challenging settings. Despite this, our suggested adapter is highly robust and, unlike previous work, requires little to no manual intervention when addressing a novel scenario. Adapter+ reaches state-of-the-art average accuracy on the VTAB benchmark, even without a per-task hyperparameter optimization.
• Abstract（参考訳）: アダプタは、トレーニングされたトランスフォーマーモデルをさまざまなタスクに適応するための、効率的で軽量なメカニズムを提供する。 しかし、これらは低ランク適応を含む他の適応機構よりも優れていることがしばしば見出されている。 本稿では,アダプタとその内部構造,実装選択について詳細に検討する。 アダプタを使用する際の落とし穴を明らかにし、Adapter+と呼ばれる具体的な改良されたアダプタアーキテクチャを提案する。 それにもかかわらず、我々の提案するアダプタは非常に堅牢であり、新しいシナリオに取り組む際には、以前の作業とは異なり、手動による介入はほとんど必要としない。 Adapter+は、タスクごとのハイパーパラメータ最適化がなくても、VTABベンチマークで最先端の平均精度に達する。

関連論文リスト

• Stylus: Automatic Adapter Selection for Diffusion Models [81.90482700433822]
  本稿では,プロンプトのキーワードに基づいて,タスク固有のアダプタを効率的に選択し,自動生成するStylusを紹介する。 Stylus氏はまず、改善された記述と埋め込みでアダプタを要約し、関連するアダプタを検索し、さらにプロンプトのキーワードに基づいてアダプタを組み立てる3段階のアプローチを概説している。
  論文  参考訳（メタデータ） (2024-04-29T17:59:16Z)
• Hierarchical Recurrent Adapters for Efficient Multi-Task Adaptation of Large Speech Models [12.230087530720652]
  本稿では,大規模マルチタスク適応シナリオにおいて,より効率的なアダプタモジュールを提案する。 アダプタは単一の共有コントローラネットワークと複数のタスクレベルのアダプタヘッドで構成されている。
  論文  参考訳（メタデータ） (2024-03-25T17:21:56Z)
• MoSA: Mixture of Sparse Adapters for Visual Efficient Tuning [20.68925288222065]
  スパースアダプタの混合(英: Mixture of Sparse Adapters, MoSA)は、新しいアダプタチューニング法である。 MoSAは、余分な計算ストレージオーバーヘッドを伴わずに、標準よりも大幅にパフォーマンスが向上する。 MoSAは、他のAdapter Tuningメソッド、および他のベースラインを大きなマージンで一貫して上回っている。
  論文  参考訳（メタデータ） (2023-12-05T17:50:55Z)
• Selective Feature Adapter for Dense Vision Transformers [30.409313135985528]
  選択的機能アダプタ(SFA)は、様々な密集タスクにわたる完全な微調整モデルよりも同等または優れたパフォーマンスを達成する。 SFAは外部アダプタと内部アダプタで構成され、トランスフォーマーモデル上で順次操作される。 実験により、双対アダプタモジュールであるSFAは、高密度視覚タスクにおける最良のトレードオフを達成するために不可欠であることが示されている。
  論文  参考訳（メタデータ） (2023-10-03T07:17:58Z)
• MerA: Merging Pretrained Adapters For Few-Shot Learning [71.44422347502409]
  モデル融合により,事前学習したアダプタを単一モデルに効率的に組み込むことができるtextbftextttMerging Pretrained Adapters (MerA)を提案する。 2つのPLMの実験では、MerAはシングルアダプタとAdapterFusionの両方と比較して大幅に改善されている。
  論文  参考訳（メタデータ） (2023-08-30T12:10:17Z)
• AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large Language Models [119.7093605087114]
  大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。 これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。 パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2022-05-24T23:41:22Z)
• Adaptable Adapters [74.65986170056945]
  最先端のNLPモデルには1億から1兆のパラメータが含まれる。 適応アダプタは異なる層と異なる入力データに対して異なるアクティベーション関数を含む。 適応型アダプタは,標準アダプタアーキテクチャを用いてオンパー性能を実現する。
  論文  参考訳（メタデータ） (2022-05-03T14:59:27Z)
• AdapterBias: Parameter-efficient Token-dependent Representation Shift for Adapters in NLP Tasks [55.705355299065474]
  数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。 近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。 本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
  論文  参考訳（メタデータ） (2022-04-30T16:49:41Z)
• AdapterDrop: On the Efficiency of Adapters in Transformers [53.845909603631945]
  大規模に事前訓練されたトランスフォーマーモデルは、微調整に計算コストがかかり、推論に時間がかかり、大きなストレージ要求がある。 最近のアプローチでは、より小さなモデルをトレーニングし、モデルサイズを動的に削減し、軽量アダプタをトレーニングすることで、これらの欠点に対処している。
  論文  参考訳（メタデータ） (2020-10-22T17:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。