論文の概要: What makes instance discrimination good for transfer learning?

• arxiv url: http://arxiv.org/abs/2006.06606v2
• Date: Tue, 19 Jan 2021 15:45:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 14:07:44.077756
• Title: What makes instance discrimination good for transfer learning?
• Title（参考訳）: 転校学習になぜインスタンス識別がよいのか?
• Authors: Nanxuan Zhao and Zhirong Wu and Rynson W.H. Lau and Stephen Lin
• Abstract要約: 転送学習において,インスタンス識別の事前訓練がどのような効果があるかを検討する。 転送で本当に重要なのは、ハイレベルな表現ではなく、低レベルで中レベルの表現です。 教師付き事前訓練は、模範的なアプローチに従うことで強化することができる。
• 参考スコア（独自算出の注目度）: 82.79808902674282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive visual pretraining based on the instance discrimination pretext task has made significant progress. Notably, recent work on unsupervised pretraining has shown to surpass the supervised counterpart for finetuning downstream applications such as object detection and segmentation. It comes as a surprise that image annotations would be better left unused for transfer learning. In this work, we investigate the following problems: What makes instance discrimination pretraining good for transfer learning? What knowledge is actually learned and transferred from these models? From this understanding of instance discrimination, how can we better exploit human annotation labels for pretraining? Our findings are threefold. First, what truly matters for the transfer is low-level and mid-level representations, not high-level representations. Second, the intra-category invariance enforced by the traditional supervised model weakens transferability by increasing task misalignment. Finally, supervised pretraining can be strengthened by following an exemplar-based approach without explicit constraints among the instances within the same category.
• Abstract（参考訳）: インスタンス識別プリテキストタスクに基づくコントラスト的視覚前訓練は大きな進歩を遂げている。 特に、教師なし事前トレーニングに関する最近の研究は、オブジェクト検出やセグメンテーションのような下流アプリケーションの微調整のための教師なしプリトレーニングよりも優れていることが示されている。 画像アノテーションが、転送学習に役に立たない方がよいのは驚きだ。 本研究は, 移行学習において, インスタンス識別が事前学習に有効である理由について考察する。 これらのモデルから実際に学んだ知識は何か? このインスタンス識別の理解から、事前学習にどのように人間のアノテーションラベルを活用すればよいか? 私たちの発見は3倍です。 まず、転送が本当に重要であるのは、低レベル表現と中レベル表現であり、高レベル表現ではない。 第2に、従来の教師付きモデルによるカテゴリー内不変性は、タスクのミスアライメントを増大させることで、転送可能性の低下を図っている。 最後に、教師付き事前訓練は、同じカテゴリ内のインスタンス間の明示的な制約なしに、模範に基づくアプローチに従うことで強化することができる。

関連論文リスト

• Discriminability-Transferability Trade-Off: An Information-Theoretic Perspective [17.304811383730417]
  この研究は、典型的な教師付き学習課題における深部表現の識別可能性と伝達性について同時に考察する。 情報・ブートネック理論の観点から、識別可能性と伝達可能性の非互換性は、入力情報の過剰圧縮によるものであることを示す。
  論文  参考訳（メタデータ） (2022-03-08T06:16:33Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Improving Transferability of Representations via Augmentation-Aware Self-Supervision [117.15012005163322]
  AugSelfは、ランダムに強化された2つのサンプル間の拡張パラメータの違いを学習する補助的な自己教師型損失である。 私たちの直感は、AugSelfが学習表現における拡張認識情報の保存を奨励していることです。 AugSelfは、最新の最先端の表現学習手法に、無視できる追加のトレーニングコストで簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2021-11-18T10:43:50Z)
• Does Pretraining for Summarization Require Knowledge Transfer? [27.297137706355173]
  ランダムに選択した文字n-gramの事前学習は,実コーパスで事前学習したモデルの性能とほぼ一致していることを示す。 この研究は上流のコーパスを排除するという約束を守り、攻撃的な言語、偏見、著作権問題に対する懸念を和らげる可能性がある。
  論文  参考訳（メタデータ） (2021-09-10T15:54:15Z)
• Improve Unsupervised Pretraining for Few-label Transfer [80.58625921631506]
  本稿では,対象データセットに微調整用のラベル付きサンプルがほとんどない場合,この結論は成立しない可能性がある。 実アプリケーションのための新しいプログレッシブな数ラベル転送アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-07-26T17:59:56Z)
• Training GANs with Stronger Augmentations via Contrastive Discriminator [80.8216679195]
  本稿では,gan判別器にコントラスト表現学習方式を導入する。 この「融合」により、識別者は訓練の不安定さを増すことなく、より強力な増強に対処できる。 実験の結果,contratd付きganはfidを一貫して改善し,データ拡張を組み込んだ他の手法と比較した。
  論文  参考訳（メタデータ） (2021-03-17T16:04:54Z)
• Are Fewer Labels Possible for Few-shot Learning? [81.89996465197392]
  ごく限られたデータとラベルのため、わずかなショット学習は難しい。 近年のBiT (Big Transfer) 研究は、異なる領域における大規模ラベル付きデータセットの事前トレーニングによって、少数ショット学習が大きな恩恵を受けることを示した。 本稿では,ファインチューニングにおけるクラスタリングと固有サンプルの共進化を活かし,ショット学習の削減を図る。
  論文  参考訳（メタデータ） (2020-12-10T18:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。