論文の概要: Adapters: A Unified Library for Parameter-Efficient and Modular Transfer Learning

• arxiv url: http://arxiv.org/abs/2311.11077v1
• Date: Sat, 18 Nov 2023 13:53:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 12:30:32.321336
• Title: Adapters: A Unified Library for Parameter-Efficient and Modular Transfer Learning
• Title（参考訳）: Adapters: パラメータ効率とモジュール移動学習のための統一ライブラリ
• Authors: Clifton Poth, Hannah Sterz, Indraneil Paul, Sukannya Purkayastha, Leon Engl\"ander, Timo Imhof, Ivan Vuli\'c, Sebastian Ruder, Iryna Gurevych, Jonas Pfeiffer
• Abstract要約: 本稿では,大規模言語モデルにおけるパラメータ効率とモジュール移動学習を統一したオープンソースのライブラリであるAdaptersを紹介する。 10の多様なアダプタメソッドを統一インターフェースに統合することにより、Adaptersは使いやすさとフレキシブルな設定を提供する。
• 参考スコア（独自算出の注目度）: 109.25673110120906
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce Adapters, an open-source library that unifies parameter-efficient and modular transfer learning in large language models. By integrating 10 diverse adapter methods into a unified interface, Adapters offers ease of use and flexible configuration. Our library allows researchers and practitioners to leverage adapter modularity through composition blocks, enabling the design of complex adapter setups. We demonstrate the library's efficacy by evaluating its performance against full fine-tuning on various NLP tasks. Adapters provides a powerful tool for addressing the challenges of conventional fine-tuning paradigms and promoting more efficient and modular transfer learning. The library is available via https://adapterhub.ml/adapters.
• Abstract（参考訳）: 本稿では,大規模言語モデルにおけるパラメータ効率とモジュール移動学習を統合するオープンソースライブラリであるAdaptersを紹介する。 10の多様なアダプタメソッドを統一インターフェースに統合することで、アダプタは使いやすさと柔軟性を提供する。 このライブラリにより、研究者や実践者はコンポジションブロックを通じてアダプタのモジュラリティを活用でき、複雑なアダプタのセットアップを実現できる。 各種nlpタスクの微調整に対する性能評価を行い,本ライブラリの有効性を実証した。 Adaptersは、従来の微調整パラダイムの課題に対処し、より効率的でモジュール化されたトランスファー学習を促進する強力なツールを提供する。 ライブラリはhttps://adapterhub.ml/adaptersから利用できる。

関連論文リスト

• MergeRepair: An Exploratory Study on Merging Task-Specific Adapters in Code LLMs for Automated Program Repair [5.006064616335817]
  大規模言語モデル(LLM)は、いくつかのソフトウェア開発関連のタスクで優れたパフォーマンスを示している。 本研究は,Code LLMにおける連続的なマージとマージアダプタの機能について実験的に検討する。
  論文  参考訳（メタデータ） (2024-08-18T18:45:48Z)
• Towards Modular LLMs by Building and Reusing a Library of LoRAs [64.43376695346538]
  マルチタスクデータに対して最適なアダプタライブラリを構築する方法について検討する。 モデルベースクラスタリング(MBC)を導入し,パラメータの類似性に基づいてタスクをグループ化する手法を提案する。 ライブラリを再使用するために,最も関連性の高いアダプタの動的選択を可能にする新しいゼロショットルーティング機構であるArrowを提案する。
  論文  参考訳（メタデータ） (2024-05-18T03:02:23Z)
• LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of Large Language Models [75.25782573728677]
  本稿では,言語モデル(LLM)のPEFT(Adapter-based parameter- efficient fine-tuning)のためのフレームワークを提案する。 このフレームワークには、LLaMA、BLOOM、GPT-Jといった最先端のオープンアクセスLLMや、シリーズアダプタ、パラレルアダプタ、Promptベースの学習、Reparametrizationベースのメソッドなどの広く使われているアダプタが含まれている。 本研究では,2つの異なる推論タスク,算術的推論と常識推論の14種類のデータセットに対するアダプタの有効性を評価する。
  論文  参考訳（メタデータ） (2023-04-04T16:31:37Z)
• AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large Language Models [119.7093605087114]
  大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。 これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。 パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2022-05-24T23:41:22Z)
• Adaptable Adapters [74.65986170056945]
  最先端のNLPモデルには1億から1兆のパラメータが含まれる。 適応アダプタは異なる層と異なる入力データに対して異なるアクティベーション関数を含む。 適応型アダプタは,標準アダプタアーキテクチャを用いてオンパー性能を実現する。
  論文  参考訳（メタデータ） (2022-05-03T14:59:27Z)
• AdapterHub Playground: Simple and Flexible Few-Shot Learning with Adapters [34.86139827292556]
  事前訓練された言語モデルのオープンアクセスの普及は、最先端自然言語処理(NLP)研究の民主化につながった。 これにより、NLP以外の人たちでも、そのようなモデルを使用して、特定のユースケースに適応することが可能になります。 本研究では,一行のコードを書かずに事前学習したモデルを活用できるツールを提供することで,このギャップを克服することを目指している。
  論文  参考訳（メタデータ） (2021-08-18T11:56:01Z)
• What and Where: Learn to Plug Adapters via NAS for Multi-Domain Learning [15.204498046112194]
  本稿では,ニューラルネットワーク検索(NAS)を用いたデータ駆動型アダプタプラグ方式を提案する。 また,異なるドメインに対する効果的なアダプタモジュール構造を自動的に発見するNAS駆動学習方式において,アダプタ構造設計のためのNAS適応モジュールを提案する。
  論文  参考訳（メタデータ） (2020-07-24T09:12:37Z)
• AdapterHub: A Framework for Adapting Transformers [148.6877231725939]
  AdapterHubは、さまざまなタスクや言語のためのトレーニング済みアダプタの動的"スティッチイン"を可能にするフレームワークである。 我々のフレームワークは、タスク固有のモデルの共有にスケーラブルで簡単にアクセスできる。
  論文  参考訳（メタデータ） (2020-07-15T15:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。