論文の概要: AdapterHub Playground: Simple and Flexible Few-Shot Learning with Adapters

• arxiv url: http://arxiv.org/abs/2108.08103v1
• Date: Wed, 18 Aug 2021 11:56:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-19 14:44:47.548297
• Title: AdapterHub Playground: Simple and Flexible Few-Shot Learning with Adapters
• Title（参考訳）: AdapterHub Playground: シンプルでフレキシブルなFew-Shot Learning with Adapters
• Authors: Tilman Beck, Bela Bohlender, Christina Viehmann, Vincent Hane, Yanik Adamson, Jaber Khuri, Jonas Brossmann, Jonas Pfeiffer, Iryna Gurevych
• Abstract要約: 事前訓練された言語モデルのオープンアクセスの普及は、最先端自然言語処理(NLP)研究の民主化につながった。 これにより、NLP以外の人たちでも、そのようなモデルを使用して、特定のユースケースに適応することが可能になります。 本研究では,一行のコードを書かずに事前学習したモデルを活用できるツールを提供することで,このギャップを克服することを目指している。
• 参考スコア（独自算出の注目度）: 34.86139827292556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The open-access dissemination of pretrained language models through online repositories has led to a democratization of state-of-the-art natural language processing (NLP) research. This also allows people outside of NLP to use such models and adapt them to specific use-cases. However, a certain amount of technical proficiency is still required which is an entry barrier for users who want to apply these models to a certain task but lack the necessary knowledge or resources. In this work, we aim to overcome this gap by providing a tool which allows researchers to leverage pretrained models without writing a single line of code. Built upon the parameter-efficient adapter modules for transfer learning, our AdapterHub Playground provides an intuitive interface, allowing the usage of adapters for prediction, training and analysis of textual data for a variety of NLP tasks. We present the tool's architecture and demonstrate its advantages with prototypical use-cases, where we show that predictive performance can easily be increased in a few-shot learning scenario. Finally, we evaluate its usability in a user study. We provide the code and a live interface at https://adapter-hub.github.io/playground.
• Abstract（参考訳）: オンラインリポジトリによる事前学習言語モデルのオープンアクセスの普及は、最先端自然言語処理(NLP)研究の民主化につながった。 これはまた、nlp以外の人々がそのようなモデルを使い、特定のユースケースにそれらを適用できるようにする。 しかし、特定のタスクにこれらのモデルを適用したいが必要な知識やリソースを欠いているユーザーにとっては、ある程度の技術的熟練度が必要である。 本研究では,一行のコードを書かずに事前学習したモデルを活用できるツールを提供することで,このギャップを克服することを目指している。 AdapterHub Playgroundは、転送学習のためのパラメータ効率のよいアダプタモジュールをベースとして、直感的なインターフェースを提供し、さまざまなNLPタスクのためのテキストデータの予測、トレーニング、分析にアダプタを使用することができます。 我々は,このツールのアーキテクチャを紹介するとともに,そのアドバンテージをプロトタイプのユースケースで示し,数ショット学習シナリオにおいて予測性能が容易に向上できることを示す。 最後に,ユーザスタディにおけるユーザビリティを評価する。 コードとライブインターフェースはhttps://adapter-hub.github.io/playground.com/で提供しています。

関連論文リスト

• EduNLP: Towards a Unified and Modularized Library for Educational Resources [78.8523961816045]
  我々はEduNLPという,統一された,モジュール化された,広範なライブラリを紹介し,教育資源の理解に焦点をあてる。 このライブラリでは、ワークフロー全体を4つのキーモジュールに分離し、データ構成、処理、モデル実装、モデル評価など、一貫したインターフェースを提供します。 現在のバージョンでは、主に4つのカテゴリから10の典型的なモデルを提供し、教育領域における5つのダウンストリーム評価タスクを、ユーザの使用に対して8つの被験者に提供します。
  論文  参考訳（メタデータ） (2024-06-03T12:45:40Z)
• Make Prompts Adaptable: Bayesian Modeling for Vision-Language Prompt Learning with Data-Dependent Prior [14.232144691524528]
  最近のVision-Language Pretrainedモデルは、多くの下流タスクのバックボーンとなっている。 MLEトレーニングは、トレーニングデータにおいて、コンテキストベクトルを過度に適合する画像特徴に導くことができる。 本稿では,素早い学習のためのベイズ的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-01-09T10:15:59Z)
• Adapters: A Unified Library for Parameter-Efficient and Modular Transfer Learning [109.25673110120906]
  本稿では,大規模言語モデルにおけるパラメータ効率とモジュール移動学習を統一したオープンソースのライブラリであるAdaptersを紹介する。 10の多様なアダプタメソッドを統一インターフェースに統合することにより、Adaptersは使いやすさとフレキシブルな設定を提供する。
  論文  参考訳（メタデータ） (2023-11-18T13:53:26Z)
• Adaptive Parameterization of Deep Learning Models for Federated Learning [85.82002651944254]
  Federated Learningは、分散形式でディープニューラルネットワークをトレーニングする方法を提供する。 トレーニング中にモデルパラメータや勾配を定期的に交換する必要があるため、通信オーバーヘッドが発生する。 本稿では,フェデレートラーニングのための並列適応器を提案する。
  論文  参考訳（メタデータ） (2023-02-06T17:30:33Z)
• CHAPTER: Exploiting Convolutional Neural Network Adapters for Self-supervised Speech Models [62.60723685118747]
  自己教師付き学習(SSL)は、ラベルのないデータから表現を学習するための強力な技術である。 特徴抽出器にCNNアダプタを適用し,SSL音声モデルに特化して設計された効率的なチューニング手法を提案する。 特徴抽出器にCNNを追加することで、感情や話者のタスクへの適応が促進されることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-12-01T08:50:12Z)
• On The Cross-Modal Transfer from Natural Language to Code through Adapter Modules [0.0]
  ソフトウェア工学におけるアダプタを用いた知識伝達について検討する。 C/C++、Python、Javaの3つのプログラミング言語が、アダプタに最適な設定に関する広範な実験とともに研究されている。 私たちの結果は、より小さなモデルを構築するための新しい方向を開くことができます。
  論文  参考訳（メタデータ） (2022-04-19T04:18:02Z)
• Exploiting Adapters for Cross-lingual Low-resource Speech Recognition [52.40623653290499]
  言語間の言語適応は、複数のリッチリソース言語を活用して低リソースターゲット言語のためのモデルを構築するという問題を解決することを目的としている。 パラメータ効率のよい言語間音声適応のための複数のアダプタの性能を調べるためのアダプタを提案する。
  論文  参考訳（メタデータ） (2021-05-18T08:30:37Z)
• EXPATS: A Toolkit for Explainable Automated Text Scoring [2.299617836036273]
  ユーザが様々なATSモデルを迅速に開発、実験できるオープンソースフレームワークであるEXPATSについて紹介する。 また、このツールキットはLanguage Interpretability Tool(LIT)とシームレスに統合できるため、モデルとその予測を解釈および視覚化できます。
  論文  参考訳（メタデータ） (2021-04-07T19:29:06Z)
• AdapterHub: A Framework for Adapting Transformers [148.6877231725939]
  AdapterHubは、さまざまなタスクや言語のためのトレーニング済みアダプタの動的"スティッチイン"を可能にするフレームワークである。 我々のフレームワークは、タスク固有のモデルの共有にスケーラブルで簡単にアクセスできる。
  論文  参考訳（メタデータ） (2020-07-15T15:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。