論文の概要: Understanding the Transferability of Representations via Task-Relatedness

• arxiv url: http://arxiv.org/abs/2307.00823v2
• Date: Mon, 28 Oct 2024 21:21:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 20:19:49.209479
• Title: Understanding the Transferability of Representations via Task-Relatedness
• Title（参考訳）: タスク関連性による表現の伝達可能性の理解
• Authors: Akshay Mehra, Yunbei Zhang, Jihun Hamm,
• Abstract要約: 本稿では,事前学習したモデルの下流タスクへの表現の伝達可能性について,その参照タスクとの関連性の観点から分析する。 最先端の事前学習モデルを用いた実験は、様々な視覚や言語タスクにおける伝達可能性の説明におけるタスク関連性の有効性を示す。
• 参考スコア（独自算出の注目度）: 8.425690424016986
• License:
• Abstract: The growing popularity of transfer learning, due to the availability of models pre-trained on vast amounts of data, makes it imperative to understand when the knowledge of these pre-trained models can be transferred to obtain high-performing models on downstream target tasks. However, the exact conditions under which transfer learning succeeds in a cross-domain cross-task setting are still poorly understood. To bridge this gap, we propose a novel analysis that analyzes the transferability of the representations of pre-trained models to downstream tasks in terms of their relatedness to a given reference task. Our analysis leads to an upper bound on transferability in terms of task-relatedness, quantified using the difference between the class priors, label sets, and features of the two tasks. Our experiments using state-of-the-art pre-trained models show the effectiveness of task-relatedness in explaining transferability on various vision and language tasks. The efficient computability of task-relatedness even without labels of the target task and its high correlation with the model's accuracy after end-to-end fine-tuning on the target task makes it a useful metric for transferability estimation. Our empirical results of using task-relatedness to select the best pre-trained model from a model zoo for a target task highlight its utility for practical problems.
• Abstract（参考訳）: 大量のデータで事前学習されたモデルが利用可能であることから、トランスファーラーニングの人気が高まっているため、これらの事前学習されたモデルの知識が下流ターゲットタスクで高いパフォーマンスのモデルを得るためにいつ移行できるかを理解することが不可欠である。 しかし、トランスファーラーニングがクロスドメインのクロスタスク設定で成功する正確な条件はまだ理解されていない。 このギャップを埋めるために、与えられた参照タスクと関連性の観点から、事前学習したモデルの下流タスクへの表現の伝達可能性を分析する新しい分析法を提案する。 我々の分析は,2つのタスクのクラス先行,ラベルセット,特徴の差を用いて定量化した,タスク関連性の観点からの転送可能性の上限に導かれる。 最先端の事前学習モデルを用いた実験は、様々な視覚や言語タスクにおける伝達可能性の説明におけるタスク関連性の有効性を示す。 目的タスクのラベルがなくてもタスク関連性の効率的な計算可能性と、目的タスクの終端微調整後のモデルの精度との高い相関は、転送可能性推定に有用な指標となる。 課題関連性を用いて,目標タスクのためのモデル動物園から最高の事前学習モデルを選択した経験的結果から,実用上の問題に対するその有用性を強調した。

関連論文リスト

• Exploring the Effectiveness and Consistency of Task Selection in Intermediate-Task Transfer Learning [21.652389166495407]
  転送性能は、異なるソースタスク間で大きなばらつきを示し、種を訓練する。 埋め込みのない方法やテキスト埋め込みと比較して、微調整された重みで構築されたタスク埋め込みは、タスク転送可能性をよりよく見積もることができる。 本稿では,内部積探索の最大化によるトークンの相互類似度の測定手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T07:31:43Z)
• Towards Estimating Transferability using Hard Subsets [25.86053764521497]
  HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。 HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。 複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
  論文  参考訳（メタデータ） (2023-01-17T14:50:18Z)
• An Information-Theoretic Approach to Transferability in Task Transfer Learning [16.05523977032659]
  タスク転送学習は、訓練済みのモデルを用いて関連するタスクの監督コストを削減する画像処理アプリケーションで一般的な手法である。 分類問題において、あるタスクから別のタスクへ変換された表現のパフォーマンスを推定する新しい計量 H-score を提案する。
  論文  参考訳（メタデータ） (2022-12-20T08:47:17Z)
• An Exploration of Data Efficiency in Intra-Dataset Task Transfer for Dialog Understanding [65.75873687351553]
  本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。 非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
  論文  参考訳（メタデータ） (2022-10-21T04:36:46Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• SynBench: Task-Agnostic Benchmarking of Pretrained Representations using Synthetic Data [78.21197488065177]
  近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。 本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
  論文  参考訳（メタデータ） (2022-10-06T15:25:00Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)
• Intermediate-Task Transfer Learning with Pretrained Models for Natural Language Understanding: When and Why Does It Work? [44.88358841370665]
  特定の目標タスクに対して、中間タスクトレーニングが有益である時期と理由についてはあまり理解されていない。 110の中間目標タスクの組み合わせで事前学習したRoBERTaモデルを大規模に検討する。 高いレベルの推論と推論能力を必要とする中間タスクが最善である傾向が観察された。
  論文  参考訳（メタデータ） (2020-05-01T21:49:34Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。