論文の概要: Analysis of Task Transferability in Large Pre-trained Classifiers
- arxiv url: http://arxiv.org/abs/2307.00823v1
- Date: Mon, 3 Jul 2023 08:06:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 13:57:14.829600
- Title: Analysis of Task Transferability in Large Pre-trained Classifiers
- Title（参考訳）: 大規模事前学習型分類器におけるタスク転送性の解析
- Authors: Akshay Mehra, Yunbei Zhang, and Jihun Hamm
- Abstract要約: 対象タスクに対して,最終線形層のみを微調整した場合に,分類タスクのパフォーマンスの伝達を解析する。
本稿では,クラス事前分布,ラベル,特徴空間を変更することで,ソース分布(および分類器)を変換するタスク伝達解析手法を提案する。
我々は、最先端の事前訓練モデルを用いて大規模な実証研究を行い、転送可能性の予測における境界と最適化の有効性を実証した。
- 参考スコア（独自算出の注目度）: 11.517862889784293
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transfer learning transfers the knowledge acquired by a model from a source
task to multiple downstream target tasks with minimal fine-tuning. The success
of transfer learning at improving performance, especially with the use of large
pre-trained models has made transfer learning an essential tool in the machine
learning toolbox. However, the conditions under which the performance is
transferable to downstream tasks are not understood very well. In this work, we
analyze the transfer of performance for classification tasks, when only the
last linear layer of the source model is fine-tuned on the target task. We
propose a novel Task Transfer Analysis approach that transforms the source
distribution (and classifier) by changing the class prior distribution, label,
and feature spaces to produce a new source distribution (and classifier) and
allows us to relate the loss of the downstream task (i.e., transferability) to
that of the source task. Concretely, our bound explains transferability in
terms of the Wasserstein distance between the transformed source and downstream
task's distribution, conditional entropy between the label distributions of the
two tasks, and weighted loss of the source classifier on the source task.
Moreover, we propose an optimization problem for learning the transforms of the
source task to minimize the upper bound on transferability. We perform a
large-scale empirical study by using state-of-the-art pre-trained models and
demonstrate the effectiveness of our bound and optimization at predicting
transferability. The results of our experiments demonstrate how factors such as
task relatedness, pretraining method, and model architecture affect
transferability.
- Abstract（参考訳）: 伝達学習は、モデルによって得られた知識を、最小限の微調整で、ソースタスクから下流ターゲットタスクに転送する。
パフォーマンス向上におけるトランスファー学習の成功、特に大規模事前学習モデルの利用により、トランスファー学習は機械学習ツールボックスにおいて必須のツールとなった。
しかし、性能が下流のタスクに伝達可能な条件はよく理解されていない。
本研究は,対象タスクに対して,ソースモデルの最後の線形層のみを微調整した場合に,分類タスクのパフォーマンスの伝達を解析する。
本稿では,クラス事前分布,ラベル,特徴空間を変更してソース分布(および分類器)を変換して新しいソース分布(および分類器)を生成し,下流タスクの損失(すなわち伝達可能性)をソースタスクの損失と関連付けるタスク伝達解析手法を提案する。
具体的には,変換元と下流タスクの分布間のワッサースタイン距離,2つのタスクのラベル分布間の条件エントロピー,ソースタスクにおけるソース分類器の重み付き損失について解説する。
さらに,トランスファー可能性の上限を最小化するために,ソースタスクの変換を学習するための最適化問題を提案する。
最先端の事前学習モデルを用いて大規模実験を行い,提案手法の有効性と伝達可能性の予測における最適化を実証した。
実験の結果,タスク関連性,事前学習方法,モデルアーキテクチャなどの要因が伝達可能性に与える影響を実証した。
関連論文リスト
- Exploring the Effectiveness and Consistency of Task Selection in Intermediate-Task Transfer Learning [21.652389166495407]
転送性能は、異なるソースタスク間で大きなばらつきを示し、種を訓練する。
埋め込みのない方法やテキスト埋め込みと比較して、微調整された重みで構築されたタスク埋め込みは、タスク転送可能性をよりよく見積もることができる。
本稿では,内部積探索の最大化によるトークンの相互類似度の測定手法を提案する。
論文 参考訳（メタデータ） (2024-07-23T07:31:43Z) - Towards Estimating Transferability using Hard Subsets [25.86053764521497]
HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。
HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。
複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
論文 参考訳（メタデータ） (2023-01-17T14:50:18Z) - An Information-Theoretic Approach to Transferability in Task Transfer
Learning [16.05523977032659]
タスク転送学習は、訓練済みのモデルを用いて関連するタスクの監督コストを削減する画像処理アプリケーションで一般的な手法である。
分類問題において、あるタスクから別のタスクへ変換された表現のパフォーマンスを推定する新しい計量 H-score を提案する。
論文 参考訳（メタデータ） (2022-12-20T08:47:17Z) - An Exploration of Data Efficiency in Intra-Dataset Task Transfer for
Dialog Understanding [65.75873687351553]
本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。
非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
論文 参考訳（メタデータ） (2022-10-21T04:36:46Z) - Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。
タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。
我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文 参考訳（メタデータ） (2022-10-12T15:02:04Z) - SynBench: Task-Agnostic Benchmarking of Pretrained Representations using
Synthetic Data [78.21197488065177]
近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。
本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
論文 参考訳（メタデータ） (2022-10-06T15:25:00Z) - Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
本研究では,33のNLPタスク間の伝達可能性について検討した。
以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。
また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
論文 参考訳（メタデータ） (2020-05-02T09:39:36Z) - Intermediate-Task Transfer Learning with Pretrained Models for Natural
Language Understanding: When and Why Does It Work? [44.88358841370665]
特定の目標タスクに対して、中間タスクトレーニングが有益である時期と理由についてはあまり理解されていない。
110の中間目標タスクの組み合わせで事前学習したRoBERTaモデルを大規模に検討する。
高いレベルの推論と推論能力を必要とする中間タスクが最善である傾向が観察された。
論文 参考訳（メタデータ） (2020-05-01T21:49:34Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。