論文の概要: Meta-learning Transferable Representations with a Single Target Domain

• arxiv url: http://arxiv.org/abs/2011.01418v1
• Date: Tue, 3 Nov 2020 01:57:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 05:27:27.371314
• Title: Meta-learning Transferable Representations with a Single Target Domain
• Title（参考訳）: 単一ターゲットドメインによるメタラーニング転送可能表現
• Authors: Hong Liu, Jeff Z. HaoChen, Colin Wei, Tengyu Ma
• Abstract要約: 微調整とジョイントトレーニングは、下流タスクの精度を常に向上させるわけではない。 伝達可能な特徴を学習するためのメタ表現学習(MeRLin)を提案する。 MeRLinは、様々な実世界のビジョンとNLP転送学習ベンチマークにおいて、従来の最先端のトランスファー学習アルゴリズムを実証的に上回っている。
• 参考スコア（独自算出の注目度）: 46.83481356352768
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works found that fine-tuning and joint training---two popular approaches for transfer learning---do not always improve accuracy on downstream tasks. First, we aim to understand more about when and why fine-tuning and joint training can be suboptimal or even harmful for transfer learning. We design semi-synthetic datasets where the source task can be solved by either source-specific features or transferable features. We observe that (1) pre-training may not have incentive to learn transferable features and (2) joint training may simultaneously learn source-specific features and overfit to the target. Second, to improve over fine-tuning and joint training, we propose Meta Representation Learning (MeRLin) to learn transferable features. MeRLin meta-learns representations by ensuring that a head fit on top of the representations with target training data also performs well on target validation data. We also prove that MeRLin recovers the target ground-truth model with a quadratic neural net parameterization and a source distribution that contains both transferable and source-specific features. On the same distribution, pre-training and joint training provably fail to learn transferable features. MeRLin empirically outperforms previous state-of-the-art transfer learning algorithms on various real-world vision and NLP transfer learning benchmarks.
• Abstract（参考訳）: 近年の研究では、微調整と共同学習が、下流タスクの精度を常に向上させるわけではない。 まず, 微調整と関節訓練が転帰学習に最適か有害かについて, より深く理解することを目的とする。 我々は、ソースタスクがソース固有の特徴または転送可能な特徴によって解決できる半合成データセットを設計する。 1) 転置可能な特徴を学習するインセンティブが与えられず, (2) 共同訓練はソース固有の特徴を学習し, 目標に過度に適合する可能性がある。 第2に,微調整と合同学習の両立を改善するために,メタ表現学習(merlin)を提案する。 MeRLinメタ学習表現は、目標トレーニングデータによる表現の上部にヘッドが収まることを保証し、目標検証データでも良好に動作する。 また,MeRLinは2次ニューラルネットパラメータ化と,転送可能な特徴とソース固有の特徴の両方を含むソース分布を用いて,目的の地中構造モデルを復元することを示した。 同じ分布において、事前訓練と共同訓練は確実に伝達可能な特徴を学習できない。 MeRLinは、様々な実世界のビジョンとNLP転送学習ベンチマークにおいて、従来の最先端のトランスファー学習アルゴリズムを実証的に上回っている。

関連論文リスト

• Selectivity Drives Productivity: Efficient Dataset Pruning for Enhanced Transfer Learning [66.20311762506702]
  データセットプルーニング(DP)は、データ効率を改善する効果的な方法として登場した。 本稿では,ラベルマッピングと特徴マッピングという2つの新しいDP手法を提案する。 ダウンストリーム性能を犠牲にすることなく、ソースデータクラスを最大40%まで刈り取ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-13T00:07:49Z)
• Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
  本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。 主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。 本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-06-06T02:24:41Z)
• Omni-Training for Data-Efficient Deep Learning [80.28715182095975]
  近年の進歩により、適切に訓練されたモデルが重要な特性であるトランスファービリティを持つことが明らかとなった。 事前訓練とメタトレーニングの厳密な組み合わせは、どちらの種類のトランスファー可能性も達成できない。 このことが提案されているOmni-Trainingフレームワークを,データ効率のよいディープラーニングに動機付けている。
  論文  参考訳（メタデータ） (2021-10-14T16:30:36Z)
• Adversarial Training Helps Transfer Learning via Better Representations [17.497590668804055]
  Transfer Learningは、ソースデータに事前トレーニングされたモデルを活用して、ターゲット設定に効率的に適応することを目的としている。 最近の研究は、情報源データにおける敵対的訓練が、新しいドメインへのモデル転送能力を向上させることを実証的に実証している。 本研究は, 情報源データにおける対角的学習により, より優れた表現が生成されることを示し, この表現を微調整することで, 対象データのより正確な予測が可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-18T15:41:07Z)
• The Common Intuition to Transfer Learning Can Win or Lose: Case Studies for Linear Regression [26.5147705530439]
  本稿では,学習対象パラメータと学習対象パラメータとの距離を正規化した線形回帰最適化として,対象タスクへの伝達学習アプローチを定義する。 十分関連するタスクに対して、最適に調整された転送学習手法が最適に調整されたリッジ回帰法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-09T18:46:01Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)
• Minimax Lower Bounds for Transfer Learning with Linear and One-hidden Layer Neural Networks [27.44348371795822]
  転送学習の限界を特徴付けるための統計的ミニマックスフレームワークを開発する。 ラベル付きソース数とターゲットデータの関数として,任意のアルゴリズムで達成可能なターゲット一般化誤差に対して,低いバウンドを導出する。
  論文  参考訳（メタデータ） (2020-06-16T22:49:26Z)
• Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep Character Recognition [2.320417845168326]
  ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。 1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。 本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
  論文  参考訳（メタデータ） (2020-01-02T14:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。