論文の概要: Self-supervised Pre-training with Hard Examples Improves Visual Representations

• arxiv url: http://arxiv.org/abs/2012.13493v2
• Date: Mon, 4 Jan 2021 01:21:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 04:39:35.365670
• Title: Self-supervised Pre-training with Hard Examples Improves Visual Representations
• Title（参考訳）: ハードケースによる自己教師型事前トレーニングによる視覚表現の改善
• Authors: Chunyuan Li, Xiujun Li, Lei Zhang, Baolin Peng, Mingyuan Zhou, Jianfeng Gao
• Abstract要約: 自己教師付き事前学習(ssp)は、ランダムな画像変換を用いて視覚表現学習のためのトレーニングデータを生成する。 まず,既存のSSPメソッドを擬似ラベル予測学習として統合するモデリングフレームワークを提案する。 そこで本研究では,疑似ラベルの予測が難しい学習例をランダムな画像変換で生成するデータ拡張手法を提案する。
• 参考スコア（独自算出の注目度）: 110.23337264762512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised pre-training (SSP) employs random image transformations to generate training data for visual representation learning. In this paper, we first present a modeling framework that unifies existing SSP methods as learning to predict pseudo-labels. Then, we propose new data augmentation methods of generating training examples whose pseudo-labels are harder to predict than those generated via random image transformations. Specifically, we use adversarial training and CutMix to create hard examples (HEXA) to be used as augmented views for MoCo-v2 and DeepCluster-v2, leading to two variants HEXA_{MoCo} and HEXA_{DCluster}, respectively. In our experiments, we pre-train models on ImageNet and evaluate them on multiple public benchmarks. Our evaluation shows that the two new algorithm variants outperform their original counterparts, and achieve new state-of-the-art on a wide range of tasks where limited task supervision is available for fine-tuning. These results verify that hard examples are instrumental in improving the generalization of the pre-trained models.
• Abstract（参考訳）: 自己教師付き事前学習(ssp)は、ランダムな画像変換を用いて視覚表現学習のためのトレーニングデータを生成する。 本稿では,既存のSSP手法を擬似ラベル予測学習として統合したモデリングフレームワークを提案する。 次に,擬似ラベルがランダムな画像変換によって生成されたものよりも予測が難しい訓練例を生成するための新しいデータ拡張手法を提案する。 具体的には、adversarial trainingとcutmixを使用して、moco-v2とdeepcluster-v2の拡張ビューとして使用するためのハードサンプル(hexa)を作成しました。 実験では,imagenet上でモデルを事前学習し,複数の公開ベンチマークで評価した。 評価の結果,この2つのアルゴリズムは,従来のアルゴリズムよりも優れており,タスクの監督が制限されるような幅広いタスクにおいて,新たな最先端を実現することができた。 これらの結果は、厳密な例が事前訓練されたモデルの一般化に有効であることを示す。

関連論文リスト

• From Prototypes to General Distributions: An Efficient Curriculum for Masked Image Modeling [11.634154932876719]
  Masked Image Modelingは視覚表現学習のための強力な自己教師型学習パラダイムとして登場した。 本稿では,原典例からデータセットのより複雑なバリエーションまで,学習プロセスの進行を構造化する,プロトタイプ駆動型カリキュラム学習フレームワークを提案する。 本研究は, 自己指導型視覚学習において, トレーニング事例の順序を慎重に制御することが重要な役割を担っていることを示唆している。
  論文  参考訳（メタデータ） (2024-11-16T03:21:06Z)
• Learning Augmentation Policies from A Model Zoo for Time Series Forecasting [58.66211334969299]
  本稿では,強化学習に基づく学習可能なデータ拡張手法であるAutoTSAugを紹介する。 限界サンプルを学習可能なポリシーで強化することにより、AutoTSAugは予測性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-09-10T07:34:19Z)
• Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation [105.23631749213729]
  低データ体制における教師なし事前学習のための新しい手法を提案する。 最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。 提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
  論文  参考訳（メタデータ） (2024-05-22T06:48:43Z)
• Beyond Random Augmentations: Pretraining with Hard Views [40.88518237601708]
  Hard View Pretraining (HVP)は、SSL事前トレーニング中にモデルをより難しく、より困難なサンプルに公開する学習不要の戦略である。 HVPは、100と300のエポック事前学習において、ImageNetの平均で1%の線形評価精度の向上を実現している。
  論文  参考訳（メタデータ） (2023-10-05T23:09:19Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• FewGAN: Generating from the Joint Distribution of a Few Images [95.6635227371479]
  本稿では,新しい,高品質で多様な画像を生成するための生成モデルFewGANを紹介する。 FewGANは、第1の粗いスケールで量子化を適用した階層的なパッチGANであり、その後、より微細なスケールで残った完全畳み込みGANのピラミッドが続く。 大規模な実験では、FewGANは定量的にも定性的にも基線より優れていることが示されている。
  論文  参考訳（メタデータ） (2022-07-18T07:11:28Z)
• Toward Learning Robust and Invariant Representations with Alignment Regularization and Data Augmentation [76.85274970052762]
  本論文はアライメント正則化の選択肢の増大を動機としている。 我々は、ロバスト性および不変性の次元に沿って、いくつかの人気のある設計選択のパフォーマンスを評価する。 我々はまた、現実的と考える仮定の下で経験的な研究を補完するために、アライメント正則化の挙動を正式に分析する。
  論文  参考訳（メタデータ） (2022-06-04T04:29:19Z)
• MixSiam: A Mixture-based Approach to Self-supervised Representation Learning [33.52892899982186]
  近年,ラベルのないデータから視覚表現を学習する過程が顕著に進展している。 従来のシアムネットワークに対する混合型アプローチであるMixSiamを提案する。
  論文  参考訳（メタデータ） (2021-11-04T08:12:47Z)
• Mean Embeddings with Test-Time Data Augmentation for Ensembling of Representations [8.336315962271396]
  表現のアンサンブルを考察し、MeTTA(Test-time augmentation)を用いた平均埋め込みを提案する。 MeTTAは、教師付きモデルと自己教師付きモデルの両方において、ImageNetの線形評価の質を大幅に向上させる。 我々は、より高品質な表現を推論するためにアンサンブルの成功を広めることが、多くの新しいアンサンブルアプリケーションを開く重要なステップであると信じている。
  論文  参考訳（メタデータ） (2021-06-15T10:49:46Z)
• Adaptive Consistency Regularization for Semi-Supervised Transfer Learning [31.66745229673066]
  我々は,半教師付き学習と移動学習を共同で検討し,より実践的で競争的なパラダイムへと導いた。 事前学習した重みとラベルなしの目標サンプルの両方の価値をよりよく活用するために、適応整合正則化を導入する。 提案手法は,Pseudo Label,Mean Teacher,MixMatchといった,最先端の半教師付き学習技術より優れた適応整合性正規化を実現する。
  論文  参考訳（メタデータ） (2021-03-03T05:46:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。