論文の概要: Tradeoffs Between Contrastive and Supervised Learning: An Empirical Study

• arxiv url: http://arxiv.org/abs/2112.05340v1
• Date: Fri, 10 Dec 2021 05:19:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-13 14:07:08.616357
• Title: Tradeoffs Between Contrastive and Supervised Learning: An Empirical Study
• Title（参考訳）: コントラストと教師付き学習のトレードオフ--実証的研究
• Authors: Ananya Karthik, Mike Wu, Noah Goodman, Alex Tamkin
• Abstract要約: コントラスト学習はコンピュータビジョンにおいてかなりの進歩を遂げており、下流のデータセットの教師付き事前トレーニングよりも優れています。 まず、十分に少ない事前訓練予算の下で、ImageNetの教師付き事前トレーニングは、8つの多様な画像分類データセットにおいて、同等のコントラストモデルより一貫して優れています。 第2に,事前学習の予算が大きくなると,教師付き学習が普及するタスクが特定される。
• 参考スコア（独自算出の注目度）: 9.520526500374842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning has made considerable progress in computer vision, outperforming supervised pretraining on a range of downstream datasets. However, is contrastive learning the better choice in all situations? We demonstrate two cases where it is not. First, under sufficiently small pretraining budgets, supervised pretraining on ImageNet consistently outperforms a comparable contrastive model on eight diverse image classification datasets. This suggests that the common practice of comparing pretraining approaches at hundreds or thousands of epochs may not produce actionable insights for those with more limited compute budgets. Second, even with larger pretraining budgets we identify tasks where supervised learning prevails, perhaps because the object-centric bias of supervised pretraining makes the model more resilient to common corruptions and spurious foreground-background correlations. These results underscore the need to characterize tradeoffs of different pretraining objectives across a wider range of contexts and training regimes.
• Abstract（参考訳）: コントラスト学習はコンピュータビジョンにおいてかなりの進歩を遂げ、ダウンストリームデータセットの教師付き事前トレーニングを上回っている。 しかし、対照的な学習はあらゆる状況においてより良い選択なのか? そうでない2つのケースを示します。 まず、十分に小さな事前訓練予算の下では、imagenetでの教師付き事前訓練は、8つの多様な画像分類データセット上の比較モデルよりも一貫して優れています。 これは、何百、何千というエポックで事前学習アプローチを比較する一般的なプラクティスは、計算予算がより限られている人々にとって、実行可能な洞察を生み出すものではないことを示唆している。 第二に、もっと大きな事前トレーニング予算であっても、教師付き事前トレーニングのオブジェクト中心のバイアスによって、共通の腐敗やスプリアスフォアグラウンド-バックグラウンド相関に対してより弾力性があるため、教師付き学習が普及するタスクを特定します。 これらの結果は、異なる事前学習目標のトレードオフを、より広い範囲のコンテキストとトレーニング体制で特徴づける必要性を強調している。

関連論文リスト

• On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training [72.8087629914444]
  教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。 トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
  論文  参考訳（メタデータ） (2023-05-20T16:23:50Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• An Empirical Investigation of the Role of Pre-training in Lifelong Learning [21.995593026269578]
  複数のタスクを逐次学習する際の破滅的忘れの影響を,ジェネリック事前学習が暗黙的に軽減することを示す。 本研究では、この現象を損失景観を解析し、トレーニング済みの重みがより広いミニマへと導くことで忘れやすいように見えることを明らかにする。
  論文  参考訳（メタデータ） (2021-12-16T19:00:55Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Rethinking supervised pre-training for better downstream transferring [46.09030708111374]
  本稿では,Leave-One-Out K-Nearest-Neighbor(LOOK)に基づく教師付き事前学習手法を提案する。 上流タスクをオーバーフィットさせる問題は、各イメージにクラスラベルを共有することだけを要求することで解決される。 提案手法を大規模データセットに対して効率的に実装する手法を開発した。
  論文  参考訳（メタデータ） (2021-10-12T13:57:38Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Imbalanced Adversarial Training with Reweighting [33.51820466479575]
  学習データセットが不均衡である場合、逆向きに訓練されたモデルは、表現不足のクラスでは、はるかにパフォーマンスが悪くなる可能性があることを示す。 従来の再重み付け戦略は、敵の訓練の不均衡問題に対処する効果を失う可能性がある。 本研究では,不均衡シナリオ下での対人訓練を容易にするために,SRAT(Separable Reweighted Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2021-07-28T20:51:36Z)
• On the Robustness of Pretraining and Self-Supervision for a Deep Learning-based Analysis of Diabetic Retinopathy [70.71457102672545]
  糖尿病網膜症における訓練方法の違いによる影響を比較検討した。 本稿では,定量的性能,学習した特徴表現の統計,解釈可能性,画像歪みに対する頑健性など,さまざまな側面について検討する。 以上の結果から,ImageNet事前学習モデルでは,画像歪みに対する性能,一般化,堅牢性が著しく向上していることが示唆された。
  論文  参考訳（メタデータ） (2021-06-25T08:32:45Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Supervision Accelerates Pre-training in Contrastive Semi-Supervised Learning of Visual Representations [12.755943669814236]
  そこで我々は,SNCEtという半教師付きロスを提案する。これは,自己教師型インスタンス単位のプリテキストタスクに加えて,異なるクラスの例を区別することを目的としている。 ImageNetでは、SNCEtは従来のコントラッシブアプローチの半教師付き学習精度と一致させることができる。 私たちの主な洞察は、事前トレーニング中に少量のラベル付きデータを利用するだけでなく、微調整中にも重要な信号を提供するということです。
  論文  参考訳（メタデータ） (2020-06-18T18:44:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。