論文の概要: Exploring the Effectiveness and Consistency of Task Selection in Intermediate-Task Transfer Learning
- arxiv url: http://arxiv.org/abs/2407.16245v1
- Date: Tue, 23 Jul 2024 07:31:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 18:16:07.943675
- Title: Exploring the Effectiveness and Consistency of Task Selection in Intermediate-Task Transfer Learning
- Title（参考訳）: 中間者移行学習におけるタスク選択の有効性と一貫性の探索
- Authors: Pin-Jie Lin, Miaoran Zhang, Marius Mosbach, Dietrich Klakow,
- Abstract要約: 転送性能は、異なるソースタスク間で大きなばらつきを示し、種を訓練する。
埋め込みのない方法やテキスト埋め込みと比較して、微調整された重みで構築されたタスク埋め込みは、タスク転送可能性をよりよく見積もることができる。
本稿では,内部積探索の最大化によるトークンの相互類似度の測定手法を提案する。
- 参考スコア（独自算出の注目度）: 21.652389166495407
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Identifying beneficial tasks to transfer from is a critical step toward successful intermediate-task transfer learning. In this work, we experiment with 130 source-target task combinations and demonstrate that the transfer performance exhibits severe variance across different source tasks and training seeds, highlighting the crucial role of intermediate-task selection in a broader context. We compare four representative task selection methods in a unified setup, focusing on their effectiveness and consistency. Compared to embedding-free methods and text embeddings, task embeddings constructed from fine-tuned weights can better estimate task transferability by improving task prediction scores from 2.59% to 3.96%. Despite their strong performance, we observe that the task embeddings do not consistently demonstrate superiority for tasks requiring reasoning abilities. Furthermore, we introduce a novel method that measures pairwise token similarity using maximum inner product search, leading to the highest performance in task prediction. Our findings suggest that token-wise similarity is better predictive for predicting transferability compared to averaging weights.
- Abstract（参考訳）: 移行に有効なタスクを特定することは、中間タスクの移行学習を成功させるための重要なステップである。
本研究は,130のソースターゲットタスクの組み合わせを実験し,転送性能が異なるソースタスク間で重大なばらつきを示し,より広い文脈で中間タスク選択が果たす重要な役割を強調した。
我々は,4つのタスク選択手法を統一的な構成で比較し,その有効性と整合性に着目した。
埋め込みのない方法やテキスト埋め込みと比較して、微調整された重みで構築されたタスク埋め込みは、タスク予測スコアを2.59%から3.96%に改善することで、タスク転送可能性を改善することができる。
高い性能にもかかわらず、タスクの埋め込みは推論能力を必要とするタスクに対して常に優位性を示すものではない。
さらに,内部積探索の最大化によるトークンの相互類似度の測定手法を導入し,タスク予測における高い性能を実現する。
以上の結果から,トークンの類似性は平均重みよりも伝達率の予測に有効であることが示唆された。
関連論文リスト
- Instruction Matters: A Simple yet Effective Task Selection for Optimized Instruction Tuning of Specific Tasks [51.15473776489712]
本稿では,命令情報のみを利用してタスクを識別する,シンプルで効果的なタスク選択手法を提案する。
提案手法は,タスク間のペア転送可能性の複雑な測定や,対象タスクのためのデータサンプルの作成を必要とする従来の手法に比べて,はるかに効率的である。
実験の結果、命令のみに選択されたタスクセットのトレーニングにより、P3、Big-Bench、NIV2、Big-Bench Hardといったベンチマークのパフォーマンスが大幅に改善された。
論文 参考訳（メタデータ） (2024-04-25T08:49:47Z) - Understanding the Transferability of Representations via Task-Relatedness [8.425690424016986]
本稿では,事前学習したモデルの下流タスクへの表現の伝達可能性について,その参照タスクとの関連性の観点から分析する。
最先端の事前学習モデルを用いた実験は、様々な視覚や言語タスクにおける伝達可能性の説明におけるタスク関連性の有効性を示す。
論文 参考訳（メタデータ） (2023-07-03T08:06:22Z) - Divergence-Based Domain Transferability for Zero-Shot Classification [78.55044112903148]
事前訓練されたニューラルネットワークモデルから学習パターンを転送することで、さまざまな言語ベースのタスクにおける効果が大幅に向上することが示されている。
中間タスクが目的タスクと十分に関係している場合、中間タスクのさらなるチューニングにより、さらなるパフォーマンス上のメリットが示される。
しかし、関連するタスクの特定方法はオープンな問題であり、効果的なタスクの組み合わせをブルートフォースで探すのは非常に高価である。
論文 参考訳（メタデータ） (2023-02-11T16:04:38Z) - Identifying Suitable Tasks for Inductive Transfer Through the Analysis
of Feature Attributions [78.55044112903148]
我々は、単一タスクモデル間のニューラルネットワークアクティベーションの比較を通じて、タスクペアが相補的になるかどうかを予測するために、説明可能性技術を使用する。
提案手法により,TREC-IS 2020-Aデータセットでは,正のクラスF1の0.034の削減に留まらず,最大83.5%のトレーニング時間を短縮することが可能である。
論文 参考訳（メタデータ） (2022-02-02T15:51:07Z) - Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。
本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文 参考訳（メタデータ） (2021-11-09T18:49:45Z) - Measuring and Harnessing Transference in Multi-Task Learning [58.48659733262734]
マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。
情報伝達や伝達のダイナミクスを、トレーニングを通して分析する。
論文 参考訳（メタデータ） (2020-10-29T08:25:43Z) - Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
本研究では,33のNLPタスク間の伝達可能性について検討した。
以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。
また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
論文 参考訳（メタデータ） (2020-05-02T09:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。