論文の概要: Analysis of Task Transferability in Large Pre-trained Classifiers
- arxiv url: http://arxiv.org/abs/2307.00823v1
- Date: Mon, 3 Jul 2023 08:06:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 13:57:14.829600
- Title: Analysis of Task Transferability in Large Pre-trained Classifiers
- Title(参考訳): 大規模事前学習型分類器におけるタスク転送性の解析
- Authors: Akshay Mehra, Yunbei Zhang, and Jihun Hamm
- Abstract要約: 対象タスクに対して,最終線形層のみを微調整した場合に,分類タスクのパフォーマンスの伝達を解析する。
本稿では,クラス事前分布,ラベル,特徴空間を変更することで,ソース分布(および分類器)を変換するタスク伝達解析手法を提案する。
我々は、最先端の事前訓練モデルを用いて大規模な実証研究を行い、転送可能性の予測における境界と最適化の有効性を実証した。
- 参考スコア(独自算出の注目度): 11.517862889784293
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transfer learning transfers the knowledge acquired by a model from a source
task to multiple downstream target tasks with minimal fine-tuning. The success
of transfer learning at improving performance, especially with the use of large
pre-trained models has made transfer learning an essential tool in the machine
learning toolbox. However, the conditions under which the performance is
transferable to downstream tasks are not understood very well. In this work, we
analyze the transfer of performance for classification tasks, when only the
last linear layer of the source model is fine-tuned on the target task. We
propose a novel Task Transfer Analysis approach that transforms the source
distribution (and classifier) by changing the class prior distribution, label,
and feature spaces to produce a new source distribution (and classifier) and
allows us to relate the loss of the downstream task (i.e., transferability) to
that of the source task. Concretely, our bound explains transferability in
terms of the Wasserstein distance between the transformed source and downstream
task's distribution, conditional entropy between the label distributions of the
two tasks, and weighted loss of the source classifier on the source task.
Moreover, we propose an optimization problem for learning the transforms of the
source task to minimize the upper bound on transferability. We perform a
large-scale empirical study by using state-of-the-art pre-trained models and
demonstrate the effectiveness of our bound and optimization at predicting
transferability. The results of our experiments demonstrate how factors such as
task relatedness, pretraining method, and model architecture affect
transferability.
- Abstract(参考訳): 伝達学習は、モデルによって得られた知識を、最小限の微調整で、ソースタスクから下流ターゲットタスクに転送する。
パフォーマンス向上におけるトランスファー学習の成功、特に大規模事前学習モデルの利用により、トランスファー学習は機械学習ツールボックスにおいて必須のツールとなった。
しかし、性能が下流のタスクに伝達可能な条件はよく理解されていない。
本研究は,対象タスクに対して,ソースモデルの最後の線形層のみを微調整した場合に,分類タスクのパフォーマンスの伝達を解析する。
本稿では,クラス事前分布,ラベル,特徴空間を変更してソース分布(および分類器)を変換して新しいソース分布(および分類器)を生成し,下流タスクの損失(すなわち伝達可能性)をソースタスクの損失と関連付けるタスク伝達解析手法を提案する。
具体的には,変換元と下流タスクの分布間のワッサースタイン距離,2つのタスクのラベル分布間の条件エントロピー,ソースタスクにおけるソース分類器の重み付き損失について解説する。
さらに,トランスファー可能性の上限を最小化するために,ソースタスクの変換を学習するための最適化問題を提案する。
最先端の事前学習モデルを用いて大規模実験を行い,提案手法の有効性と伝達可能性の予測における最適化を実証した。
実験の結果,タスク関連性,事前学習方法,モデルアーキテクチャなどの要因が伝達可能性に与える影響を実証した。
関連論文リスト
- Robust Transfer Learning with Unreliable Source Data [13.276850367115333]
対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。
本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
論文 参考訳(メタデータ) (2023-10-06T21:50:21Z) - Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。
最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。
このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
論文 参考訳(メタデータ) (2023-03-02T17:32:11Z) - Towards Estimating Transferability using Hard Subsets [25.86053764521497]
HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。
HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。
複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
論文 参考訳(メタデータ) (2023-01-17T14:50:18Z) - An Information-Theoretic Approach to Transferability in Task Transfer
Learning [16.05523977032659]
タスク転送学習は、訓練済みのモデルを用いて関連するタスクの監督コストを削減する画像処理アプリケーションで一般的な手法である。
分類問題において、あるタスクから別のタスクへ変換された表現のパフォーマンスを推定する新しい計量 H-score を提案する。
論文 参考訳(メタデータ) (2022-12-20T08:47:17Z) - Transferability Estimation Based On Principal Gradient Expectation [68.97403769157117]
クロスタスク転送性は、自己整合性を維持しながら転送結果と互換性がある。
既存の転送可能性メトリクスは、ソースとターゲットタスクを会話することで、特定のモデルに基づいて推定される。
本稿では,タスク間の転送可能性を評価するための簡易かつ効果的な手法であるPGEを提案する。
論文 参考訳(メタデータ) (2022-11-29T15:33:02Z) - An Exploration of Data Efficiency in Intra-Dataset Task Transfer for
Dialog Understanding [65.75873687351553]
本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。
非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
論文 参考訳(メタデータ) (2022-10-21T04:36:46Z) - Frustratingly Easy Transferability Estimation [64.42879325144439]
本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。
TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。
10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
論文 参考訳(メタデータ) (2021-06-17T10:27:52Z) - Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。
私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。
提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文 参考訳(メタデータ) (2020-09-24T15:40:55Z) - Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
本研究では,33のNLPタスク間の伝達可能性について検討した。
以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。
また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
論文 参考訳(メタデータ) (2020-05-02T09:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。