論文の概要: Head2Toe: Utilizing Intermediate Representations for Better Transfer Learning

• arxiv url: http://arxiv.org/abs/2201.03529v1
• Date: Mon, 10 Jan 2022 18:40:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-11 15:29:48.804252
• Title: Head2Toe: Utilizing Intermediate Representations for Better Transfer Learning
• Title（参考訳）: Head2Toe: 中間表現を活用した伝達学習
• Authors: Utku Evci, Vincent Dumoulin, Hugo Larochelle, Michael C. Mozer
• Abstract要約: 転送学習手法は、データリッチソースドメイン上で事前訓練されたモデルを用いて、データスカースターゲットドメインのパフォーマンスを向上させることを目的としている。 本稿では,ソースモデルのすべての層から特徴を抽出し,対象領域の分類ヘッドを訓練する手法であるHead2Toeを提案する。
• 参考スコア（独自算出の注目度）: 31.171051511744636
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer-learning methods aim to improve performance in a data-scarce target domain using a model pretrained on a data-rich source domain. A cost-efficient strategy, linear probing, involves freezing the source model and training a new classification head for the target domain. This strategy is outperformed by a more costly but state-of-the-art method -- fine-tuning all parameters of the source model to the target domain -- possibly because fine-tuning allows the model to leverage useful information from intermediate layers which is otherwise discarded by the later pretrained layers. We explore the hypothesis that these intermediate layers might be directly exploited. We propose a method, Head-to-Toe probing (Head2Toe), that selects features from all layers of the source model to train a classification head for the target-domain. In evaluations on the VTAB-1k, Head2Toe matches performance obtained with fine-tuning on average while reducing training and storage cost hundred folds or more, but critically, for out-of-distribution transfer, Head2Toe outperforms fine-tuning.
• Abstract（参考訳）: 転送学習手法は、データリッチソースドメイン上で事前訓練されたモデルを用いて、データスカースターゲットドメインのパフォーマンスを向上させることを目的としている。 コスト効率のよい戦略である線形探索では、ソースモデルを凍結し、ターゲットドメインの新しい分類ヘッドをトレーニングする。 この戦略は、コストがかかるが最先端のメソッド -- ソースモデルのすべてのパラメータをターゲットドメインに微調整する -- により、パフォーマンスが向上する。 これらの中間層を直接利用できるという仮説を探求する。 本稿では,ソースモデルのすべての層から特徴を抽出し,対象領域の分類ヘッドを訓練する手法であるHead2Toeを提案する。 vtab-1kの評価では、head2toeは、トレーニングやストレージコストを100倍以上削減しながら、平均的な微調整で得られるパフォーマンスにマッチする。

関連論文リスト

• Open Domain Generalization with a Single Network by Regularization Exploiting Pre-trained Features [37.518025833882334]
  Open Domain Generalization(ODG)は、分散シフトとカテゴリシフトを扱うため、困難なタスクである。 これまでの作業では複数のソース特化ネットワークを使用しており、コストが高い。 本稿では,単一ネットワークのみを用いてODGを処理できる手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:22:10Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
  ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。 近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。 本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
  論文  参考訳（メタデータ） (2022-04-24T12:22:19Z)
• Source-Free Open Compound Domain Adaptation in Semantic Segmentation [99.82890571842603]
  SF-OCDAでは、ターゲットモデルを学習するために、ソース事前訓練されたモデルとターゲットデータのみが利用可能である。 そこで我々は,Cross-Patch Style Swap (CPSS)を提案する。 提案手法は,C-Drivingデータセット上で最先端の結果を生成する。
  論文  参考訳（メタデータ） (2021-06-07T08:38:41Z)
• Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer [137.36099660616975]
  Unsupervised Adapt Adaptation (UDA) は、関連性のある異なるラベル付きソースドメインから新しいラベルなしターゲットドメインへの知識の転送を目標としている。 既存のudaメソッドの多くはソースデータへのアクセスを必要としており、プライバシ上の懸念からデータが機密で共有できない場合は適用できない。 本稿では、ソースデータにアクセスする代わりに、トレーニング済みの分類モデルのみを用いて現実的な設定に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2020-12-14T07:28:50Z)
• Domain Adaptation Using Class Similarity for Robust Speech Recognition [24.951852740214413]
  本稿では,クラス類似性を用いたディープニューラルネットワーク(DNN)音響モデルの新しい適応法を提案する。 実験の結果, アクセントと雑音適応の両タスクにおいて, ワンホットラベルを用いた微調整よりも優れていた。
  論文  参考訳（メタデータ） (2020-11-05T12:26:43Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Generalized Zero and Few-Shot Transfer for Facial Forgery Detection [3.8073142980733]
  フォージェリ検出の文脈でゼロおよび少数ショット転送の問題に対処する新しいトランスファー学習手法を提案する。 従来の分類や最先端のドメイン適応/ファウショット学習手法と比較して,この学習戦略は驚くほど効果的である。
  論文  参考訳（メタデータ） (2020-06-21T18:10:52Z)
• Towards Fair Cross-Domain Adaptation via Generative Learning [50.76694500782927]
  ドメイン適応(DA)は、よくラベル付けされたソースドメイン上でトレーニングされたモデルを、異なる分散に横たわる未ラベルのターゲットドメインに適応することを目的としています。 本研究では,新規な生成的Few-shot Cross-Domain Adaptation (GFCA) アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-03-04T23:25:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。