論文の概要: Rethinking supervised pre-training for better downstream transferring

• arxiv url: http://arxiv.org/abs/2110.06014v1
• Date: Tue, 12 Oct 2021 13:57:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-13 13:08:54.503184
• Title: Rethinking supervised pre-training for better downstream transferring
• Title（参考訳）: 下流転送改善のための教師付き事前訓練の再考
• Authors: Yutong Feng, Jianwen Jiang, Mingqian Tang, Rong Jin, Yue Gao
• Abstract要約: 本稿では,Leave-One-Out K-Nearest-Neighbor(LOOK)に基づく教師付き事前学習手法を提案する。 上流タスクをオーバーフィットさせる問題は、各イメージにクラスラベルを共有することだけを要求することで解決される。 提案手法を大規模データセットに対して効率的に実装する手法を開発した。
• 参考スコア（独自算出の注目度）: 46.09030708111374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The pretrain-finetune paradigm has shown outstanding performance on many applications of deep learning, where a model is pre-trained on a upstream large dataset (e.g. ImageNet), and is then fine-tuned to different downstream tasks. Though for most cases, the pre-training stage is conducted based on supervised methods, recent works on self-supervised pre-training have shown powerful transferability and even outperform supervised pre-training on multiple downstream tasks. It thus remains an open question how to better generalize supervised pre-training model to downstream tasks. In this paper, we argue that the worse transferability of existing supervised pre-training methods arise from the negligence of valuable intra-class semantic difference. This is because these methods tend to push images from the same class close to each other despite of the large diversity in their visual contents, a problem to which referred as "overfit of upstream tasks". To alleviate this problem, we propose a new supervised pre-training method based on Leave-One-Out K-Nearest-Neighbor, or LOOK for short. It relieves the problem of overfitting upstream tasks by only requiring each image to share its class label with most of its k nearest neighbors, thus allowing each class to exhibit a multi-mode distribution and consequentially preserving part of intra-class difference for better transferring to downstream tasks. We developed efficient implementation of the proposed method that scales well to large datasets. Experimental studies on multiple downstream tasks show that LOOK outperforms other state-of-the-art methods for supervised and self-supervised pre-training.
• Abstract（参考訳）: プレトレイン-ファインチューンパラダイムは、上流の大きなデータセット(例えばImageNet)でモデルを事前トレーニングし、異なる下流タスクに微調整する、ディープラーニングの多くのアプリケーションで優れたパフォーマンスを示している。 ほとんどの場合、事前訓練は教師付き手法に基づいて行われるが、近年の自己指導型事前訓練の研究は、強力な伝達性を示し、複数の下流タスクにおいて監督型事前訓練よりも優れている。 したがって、教師付き事前トレーニングモデルをダウンストリームタスクにもっとよく一般化する方法は、まだ疑問の余地がない。 本稿では,既存の教師付き事前学習手法の伝達可能性の悪さが,クラス内意味差の無視から生じることを論じる。 これは、これらの手法が視覚内容の多様さにもかかわらず、同じクラスから画像を押し合う傾向があるためであり、これは「上流タスクの過度化」と呼ばれる問題である。 この問題を軽減するために,Leave-One-Out K-Nearest-Neighbor(LOOK)に基づく教師付き事前学習手法を提案する。 アップストリームタスクのオーバーフィットは、各イメージがクラスラベルをほとんどの近辺で共有することだけを要求することで軽減されるため、各クラスがマルチモードの分散を示し、クラス内の差分の一部を連続的に保持することで、ダウンストリームタスクへのより良い転送を可能にします。 提案手法を大規模データセットに対して効率的に実装する手法を開発した。 複数の下流タスクに関する実験的研究は、LOOKが教師付きおよび自己教師付き事前訓練のための他の最先端の手法よりも優れていることを示している。

関連論文リスト

• Task-Robust Pre-Training for Worst-Case Downstream Adaptation [62.05108162160981]
  プレトレーニングは下流のタスクに移行することで大きな成功を収めた。 本稿では,下流タスクに対する一様性能を保証するモデルについて,事前学習について考察する。
  論文  参考訳（メタデータ） (2023-06-21T07:43:23Z)
• On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training [72.8087629914444]
  教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。 トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
  論文  参考訳（メタデータ） (2023-05-20T16:23:50Z)
• Multi-Level Contrastive Learning for Dense Prediction Task [59.591755258395594]
  本稿では,高密度予測タスクのための領域レベルの特徴表現を効率よく学習するための,MCL(Multi-Level Contrastive Learning for Dense Prediction Task)を提案する。 本手法は, 局所化, スケールの整合性, 認識の3つの要因に動機付けられている。 提案手法は,様々なデータセットにおける最近の最先端の手法よりも有意なマージンを有する。
  論文  参考訳（メタデータ） (2023-04-04T17:59:04Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• Task-Customized Self-Supervised Pre-training with Scalable Dynamic Routing [76.78772372631623]
  セルフ教師付き事前トレーニングの一般的な実践は、できるだけ多くのデータを使用することである。 しかし、特定のダウンストリームタスクでは、事前トレーニングで無関係なデータを含むと、ダウンストリームのパフォーマンスが低下する可能性がある。 異なるタスクのための事前トレーニングで、異なるダウンストリームタスクにカスタマイズされたデータセットを使用することは、重荷であり、実現不可能である。
  論文  参考訳（メタデータ） (2022-05-26T10:49:43Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)
• Self-Supervised Prototypical Transfer Learning for Few-Shot Classification [11.96734018295146]
  自己教師ありトランスファー学習アプローチ ProtoTransferは、数ショットタスクにおいて、最先端の教師なしメタラーニング手法より優れている。 ドメインシフトを用いた数ショットの実験では、我々のアプローチは教師付きメソッドに匹敵する性能を持つが、ラベルの桁数は桁違いである。
  論文  参考訳（メタデータ） (2020-06-19T19:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。