論文の概要: Identifying Suitable Tasks for Inductive Transfer Through the Analysis
of Feature Attributions
- arxiv url: http://arxiv.org/abs/2202.01096v1
- Date: Wed, 2 Feb 2022 15:51:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-03 15:22:21.560972
- Title: Identifying Suitable Tasks for Inductive Transfer Through the Analysis
of Feature Attributions
- Title（参考訳）: 特徴属性分析による帰納的伝達に適したタスクの同定
- Authors: Alexander J. Hepburn, Richard McCreadie
- Abstract要約: 我々は、単一タスクモデル間のニューラルネットワークアクティベーションの比較を通じて、タスクペアが相補的になるかどうかを予測するために、説明可能性技術を使用する。
提案手法により,TREC-IS 2020-Aデータセットでは,正のクラスF1の0.034の削減に留まらず,最大83.5%のトレーニング時間を短縮することが可能である。
- 参考スコア（独自算出の注目度）: 78.55044112903148
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Transfer learning approaches have shown to significantly improve performance
on downstream tasks. However, it is common for prior works to only report where
transfer learning was beneficial, ignoring the significant trial-and-error
required to find effective settings for transfer. Indeed, not all task
combinations lead to performance benefits, and brute-force searching rapidly
becomes computationally infeasible. Hence the question arises, can we predict
whether transfer between two tasks will be beneficial without actually
performing the experiment? In this paper, we leverage explainability techniques
to effectively predict whether task pairs will be complementary, through
comparison of neural network activation between single-task models. In this
way, we can avoid grid-searches over all task and hyperparameter combinations,
dramatically reducing the time needed to find effective task pairs. Our results
show that, through this approach, it is possible to reduce training time by up
to 83.5% at a cost of only 0.034 reduction in positive-class F1 on the TREC-IS
2020-A dataset.
- Abstract（参考訳）: トランスファーラーニングアプローチは、下流タスクのパフォーマンスを大幅に改善することを示した。
しかし、転送学習が有益である場合にのみ報告されることは、転送のための効果的な設定を見つけるのに必要な重要な試行錯誤を無視しることが一般的である。
実際、すべてのタスクの組み合わせがパフォーマンス上のメリットをもたらすわけではない。
したがって、実際に実験を行うことなく、2つのタスク間の転送が有益かどうかを予測できるだろうか?
本稿では,単一タスクモデル間のニューラルネットワークアクティベーションの比較により,タスクペアが補完的になるかどうかを効果的に予測するために,説明可能性手法を活用する。
このようにして、すべてのタスクとハイパーパラメータの組み合わせでグリッド検索を避けることができ、効果的なタスクペアを見つけるのに必要な時間を劇的に削減できます。
提案手法により,TREC-IS 2020-Aデータセットでは,正のクラスF1の0.034の削減に留まらず,最大83.5%のトレーニング時間を短縮することが可能である。
関連論文リスト
- Exploring the Effectiveness and Consistency of Task Selection in Intermediate-Task Transfer Learning [21.652389166495407]
転送性能は、異なるソースタスク間で大きなばらつきを示し、種を訓練する。
埋め込みのない方法やテキスト埋め込みと比較して、微調整された重みで構築されたタスク埋め込みは、タスク転送可能性をよりよく見積もることができる。
本稿では,内部積探索の最大化によるトークンの相互類似度の測定手法を提案する。
論文 参考訳（メタデータ） (2024-07-23T07:31:43Z) - Divergence-Based Domain Transferability for Zero-Shot Classification [78.55044112903148]
事前訓練されたニューラルネットワークモデルから学習パターンを転送することで、さまざまな言語ベースのタスクにおける効果が大幅に向上することが示されている。
中間タスクが目的タスクと十分に関係している場合、中間タスクのさらなるチューニングにより、さらなるパフォーマンス上のメリットが示される。
しかし、関連するタスクの特定方法はオープンな問題であり、効果的なタスクの組み合わせをブルートフォースで探すのは非常に高価である。
論文 参考訳（メタデータ） (2023-02-11T16:04:38Z) - ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。
複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。
ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
論文 参考訳（メタデータ） (2023-01-30T02:27:02Z) - Transferability-Guided Cross-Domain Cross-Task Transfer Learning [21.812715282796255]
本稿では,F-OTCEとJC-OTCEの2つの新しい転送可能性指標を提案する。
F-OTCEは、まずソースとターゲットの分布間の最適輸送問題を解くことで、転送可能性を推定する。
JC-OTCEは、OT問題にラベル距離を含めることで、F-OTCEの転送性を向上させる。
論文 参考訳（メタデータ） (2022-07-12T13:06:16Z) - Efficiently Identifying Task Groupings for Multi-Task Learning [55.80489920205404]
マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。
マルチタスク学習モデルにおいて、どのタスクを一緒にトレーニングすべきかを選択するアプローチを提案する。
本手法は,全タスクを協調学習し,タスクの勾配が他のタスクの損失に影響を及ぼす影響を定量化する。
論文 参考訳（メタデータ） (2021-09-10T02:01:43Z) - On-edge Multi-task Transfer Learning: Model and Practice with
Data-driven Task Allocation [20.20889051697198]
マルチタスク・トランスファー・ラーニング(MTL)におけるタスク・アロケーションは,NP完全Knapsack問題の変種であることを示す。
我々は,データ駆動型協調作業割当(DCTA)アプローチを提案し,高い計算効率でTATIMを解く。
我々のDCTAは処理時間の3.24倍を削減し、TATIMを解く際の最先端技術と比較して48.4%の省エネを図っている。
論文 参考訳（メタデータ） (2021-07-06T08:24:25Z) - Frustratingly Easy Transferability Estimation [64.42879325144439]
本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。
TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。
10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
論文 参考訳（メタデータ） (2021-06-17T10:27:52Z) - Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
本研究では,33のNLPタスク間の伝達可能性について検討した。
以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。
また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
論文 参考訳（メタデータ） (2020-05-02T09:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。