論文の概要: Efficiently Tuned Parameters are Task Embeddings
- arxiv url: http://arxiv.org/abs/2210.11705v1
- Date: Fri, 21 Oct 2022 03:19:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 13:14:11.483893
- Title: Efficiently Tuned Parameters are Task Embeddings
- Title（参考訳）: 効率的な調整パラメータはタスク埋め込みである
- Authors: Wangchunshu Zhou and Canwen Xu and Julian McAuley
- Abstract要約: 中間タスク転送は、適切に選択されたソースデータセットによる幅広いNLPタスクの恩恵を受けることができる。
すべての中間変換の組み合わせを実験することは、計算的に不可能である。
本稿では,これらのパラメータをオフザシェルフタスクの埋め込みとして効率的に調整することを提案する。
- 参考スコア（独自算出の注目度）: 26.587153525003636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Intermediate-task transfer can benefit a wide range of NLP tasks with
properly selected source datasets. However, it is computationally infeasible to
experiment with all intermediate transfer combinations, making choosing a
useful source task a challenging problem. In this paper, we anticipate that
task-specific parameters updated in parameter-efficient tuning methods are
likely to encode task-specific information. Therefore, such parameters can be
predictive for inter-task transferability. Thus, we propose to exploit these
efficiently tuned parameters as off-the-shelf task embeddings for the efficient
selection of source datasets for intermediate-task transfer. We experiment with
11 text classification tasks and 11 question answering tasks. Experimental
results show that our approach can consistently outperform existing inter-task
transferability prediction methods while being conceptually simple and
computationally efficient. Our analysis also reveals that the ability of
efficiently tuned parameters on transferability prediction is disentangled with
their in-task performance. This allows us to use parameters from early
checkpoints as task embeddings to further improve efficiency.
- Abstract（参考訳）: 中間タスク転送は、適切に選択されたソースデータセットを持つ幅広いnlpタスクに役立つ。
しかしながら、すべての中間転送の組み合わせを実験することは計算上不可能であり、有用なソースタスクを選択することは難しい問題である。
本稿では,パラメータ効率調整法で更新されたタスク固有パラメータが,タスク固有情報を符号化する可能性が高いことを予想する。
したがって、このようなパラメータはタスク間の転送可能性を予測することができる。
そこで本研究では,これらのパラメータをオフザシェルフタスク埋め込みとして利用して,中間タスク転送のための効率的なソースデータセットの選択を行う。
11のテキスト分類タスクと11の質問応答タスクを実験した。
実験結果から,提案手法は概念的に単純かつ計算効率が良く,既存のタスク間転送可能性予測手法を一貫して上回ることを示す。
また, 伝達可能性予測におけるパラメータを効率的に調整する能力は, タスク内性能と無関係であることが判明した。
これにより、早期チェックポイントからのパラメータをタスク埋め込みとして使用することで、効率をさらに向上できます。
関連論文リスト
- Exploring the Effectiveness and Consistency of Task Selection in Intermediate-Task Transfer Learning [21.652389166495407]
転送性能は、異なるソースタスク間で大きなばらつきを示し、種を訓練する。
埋め込みのない方法やテキスト埋め込みと比較して、微調整された重みで構築されたタスク埋め込みは、タスク転送可能性をよりよく見積もることができる。
本稿では,内部積探索の最大化によるトークンの相互類似度の測定手法を提案する。
論文 参考訳（メタデータ） (2024-07-23T07:31:43Z) - Jointly Reparametrized Multi-Layer Adaptation for Efficient and Private
Tuning [32.69028093984526]
本稿では,複数のトランス層にタスク固有のパラメータを導入する新しい言語トランスフォーマー微調整手法を提案する。
GLUEタスクの完全な微調整性能の5%以内で、タスク毎のパラメータは4,100にも満たない。
本手法は,プライバシ制約のトレーニングにおいて,最近のいくつかのファインタニング手法と比較して,最適あるいは同等のユーティリティを実現する。
論文 参考訳（メタデータ） (2023-05-30T17:55:06Z) - Revisit Parameter-Efficient Transfer Learning: A Two-Stage Paradigm [21.747744343882392]
PETLは、大量のデータに事前訓練された大きなモデルを、タスク固有の限られたデータで下流タスクに効率的に適応することを目的としている。
本稿では,事前学習されたモデルがまずターゲット分布に整列する,新しい2段階のパラダイムを提案する。
提案手法は,19の下流タスクの平均精度で最先端性能を実現する。
論文 参考訳（メタデータ） (2023-03-14T13:50:31Z) - Divergence-Based Domain Transferability for Zero-Shot Classification [78.55044112903148]
事前訓練されたニューラルネットワークモデルから学習パターンを転送することで、さまざまな言語ベースのタスクにおける効果が大幅に向上することが示されている。
中間タスクが目的タスクと十分に関係している場合、中間タスクのさらなるチューニングにより、さらなるパフォーマンス上のメリットが示される。
しかし、関連するタスクの特定方法はオープンな問題であり、効果的なタスクの組み合わせをブルートフォースで探すのは非常に高価である。
論文 参考訳（メタデータ） (2023-02-11T16:04:38Z) - Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient
Multi-task Knowledge Sharing [53.399742232323895]
ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。
異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。
パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
論文 参考訳（メタデータ） (2022-05-24T10:48:33Z) - Identifying Suitable Tasks for Inductive Transfer Through the Analysis
of Feature Attributions [78.55044112903148]
我々は、単一タスクモデル間のニューラルネットワークアクティベーションの比較を通じて、タスクペアが相補的になるかどうかを予測するために、説明可能性技術を使用する。
提案手法により,TREC-IS 2020-Aデータセットでは,正のクラスF1の0.034の削減に留まらず,最大83.5%のトレーニング時間を短縮することが可能である。
論文 参考訳（メタデータ） (2022-02-02T15:51:07Z) - What to Pre-Train on? Efficient Intermediate Task Selection [46.15624815492324]
中間タスクの微調整は、多くのNLPタスク間で大きな転送ゲインを達成している。
この研究で我々はまず、アダプタ設定で同様のシーケンシャルな微調整ゲインが達成できることを確かめる。
次に,提案手法を統合し,中間転送学習に有効なタスクを効率的に特定する。
論文 参考訳（メタデータ） (2021-04-16T17:31:18Z) - Efficient Continual Adaptation for Generative Adversarial Networks [97.20244383723853]
GAN(Generative Adversarial Network)に対する連続学習手法を提案する。
我々のアプローチは、グローバルパラメータとタスク固有のパラメータのセットを学習することに基づいている。
機能マップ変換に基づくアプローチは,最先端のgans手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-03-06T05:09:37Z) - Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。
diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
論文 参考訳（メタデータ） (2020-12-14T12:34:01Z) - Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
本研究では,33のNLPタスク間の伝達可能性について検討した。
以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。
また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
論文 参考訳（メタデータ） (2020-05-02T09:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。