論文の概要: What and Where: Learn to Plug Adapters via NAS for Multi-Domain Learning
- arxiv url: http://arxiv.org/abs/2007.12415v2
- Date: Tue, 18 May 2021 13:54:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 05:55:32.281784
- Title: What and Where: Learn to Plug Adapters via NAS for Multi-Domain Learning
- Title（参考訳）: マルチドメイン学習のためのNASを介してアダプタをプラグインすること
- Authors: Hanbin Zhao, Hao Zeng, Xin Qin, Yongjian Fu, Hui Wang, Bourahla Omar,
and Xi Li
- Abstract要約: 本稿では,ニューラルネットワーク検索(NAS)を用いたデータ駆動型アダプタプラグ方式を提案する。
また,異なるドメインに対する効果的なアダプタモジュール構造を自動的に発見するNAS駆動学習方式において,アダプタ構造設計のためのNAS適応モジュールを提案する。
- 参考スコア（独自算出の注目度）: 15.204498046112194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As an important and challenging problem, multi-domain learning (MDL)
typically seeks for a set of effective lightweight domain-specific adapter
modules plugged into a common domain-agnostic network. Usually, existing ways
of adapter plugging and structure design are handcrafted and fixed for all
domains before model learning, resulting in the learning inflexibility and
computational intensiveness. With this motivation, we propose to learn a
data-driven adapter plugging strategy with Neural Architecture Search (NAS),
which automatically determines where to plug for those adapter modules.
Furthermore, we propose a NAS-adapter module for adapter structure design in a
NAS-driven learning scheme, which automatically discovers effective adapter
module structures for different domains. Experimental results demonstrate the
effectiveness of our MDL model against existing approaches under the conditions
of comparable performance.
- Abstract（参考訳）: 重要かつ困難な問題として、マルチドメイン学習(MDL)は一般的に、共通のドメインに依存しないネットワークにプラグインされた、効果的な軽量なドメイン固有アダプタモジュールのセットを探している。
通常、既存のアダプタプラグと構造設計の方法は、モデル学習の前にすべてのドメインに対して手作りで固定され、学習の柔軟性と計算集約性をもたらす。
このモチベーションにより,neural architecture search (nas) を用いたデータ駆動アダプタ接続戦略を学習し,アダプタモジュールの接続先を自動的に決定する。
さらに、NAS駆動学習方式におけるアダプタ構造設計のためのNAS-adapterモジュールを提案し、異なるドメインに対する効果的なアダプタモジュール構造を自動的に発見する。
実験結果は,mdlモデルが既存手法と同等の性能条件下での有効性を示す。
関連論文リスト
- Plug-and-Play Transformer Modules for Test-Time Adaptation [54.80435317208111]
PLUTO: Plug-and-pLay modUlar Test-time Domain AdatiOn戦略を紹介する。
私たちは、それぞれ異なるソースドメインに特化した、大規模なモジュールセットを事前訓練します。
単一の推論コールで複数の最も関連性の高いソースドメインを利用する。
論文 参考訳（メタデータ） (2024-01-06T00:24:50Z) - Adapters: A Unified Library for Parameter-Efficient and Modular Transfer
Learning [109.25673110120906]
本稿では,大規模言語モデルにおけるパラメータ効率とモジュール移動学習を統一したオープンソースのライブラリであるAdaptersを紹介する。
10の多様なアダプタメソッドを統一インターフェースに統合することにより、Adaptersは使いやすさとフレキシブルな設定を提供する。
論文 参考訳（メタデータ） (2023-11-18T13:53:26Z) - Divide and Adapt: Active Domain Adaptation via Customized Learning [56.79144758380419]
対象インスタンスを成層化可能な4つのカテゴリに分割する新しいADAフレームワークであるDiaNA(Divide-and-Adapt)を提案する。
不確実性とドメイン性に基づく新しいデータ分割プロトコルにより、DiaNAは最も有利なサンプルを正確に認識することができる。
の精神のおかげで、DiaNAはドメインギャップの大きなバリエーションでデータを処理できる。
論文 参考訳（メタデータ） (2023-07-21T14:37:17Z) - AdapterSoup: Weight Averaging to Improve Generalization of Pretrained
Language Models [127.04370753583261]
事前訓練された言語モデル(PLM)は、大規模なコーパスで訓練されるが、しばしば特定のドメインに特化する必要がある。
解決策は、テスト時に新しいドメインに関連ドメインアダプタを使用することである。
本稿では、異なるドメインでトレーニングされたアダプタの重量空間平均化を行うAdapterSoupを紹介する。
論文 参考訳（メタデータ） (2023-02-14T13:09:23Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - Adaptable Adapters [74.65986170056945]
最先端のNLPモデルには1億から1兆のパラメータが含まれる。
適応アダプタは異なる層と異なる入力データに対して異なるアクティベーション関数を含む。
適応型アダプタは,標準アダプタアーキテクチャを用いてオンパー性能を実現する。
論文 参考訳（メタデータ） (2022-05-03T14:59:27Z) - Model-agnostic Multi-Domain Learning with Domain-Specific Adapters for
Action Recognition [0.0]
提案手法は,バックボーンネットワークのドメイン非依存層の層間にドメイン固有アダプタを挿入する。
分類ヘッドのみを切り替えるマルチヘッドネットワークとは異なり、我々のモデルはヘッドだけでなく、複数のドメインに普遍的な特徴表現を学習するためのアダプタも切り替える。
論文 参考訳（メタデータ） (2022-04-15T00:02:13Z) - AdapterHub Playground: Simple and Flexible Few-Shot Learning with
Adapters [34.86139827292556]
事前訓練された言語モデルのオープンアクセスの普及は、最先端自然言語処理(NLP)研究の民主化につながった。
これにより、NLP以外の人たちでも、そのようなモデルを使用して、特定のユースケースに適応することが可能になります。
本研究では,一行のコードを書かずに事前学習したモデルを活用できるツールを提供することで,このギャップを克服することを目指している。
論文 参考訳（メタデータ） (2021-08-18T11:56:01Z) - Network Architecture Search for Domain Adaptation [11.24426822697648]
ドメイン適応のための最適なネットワークアーキテクチャを導出するために、微分可能なニューラルアーキテクチャ探索を利用する原理的フレームワークであるNeural Architecture Search for Domain Adaptation (NASDA)を提案する。
我々は、NASDAがいくつかのドメイン適応ベンチマークで最先端の性能をもたらすことを実験的に実証した。
論文 参考訳（メタデータ） (2020-08-13T06:15:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。