論文の概要: Self-supervised Pre-training with Hard Examples Improves Visual
Representations
- arxiv url: http://arxiv.org/abs/2012.13493v2
- Date: Mon, 4 Jan 2021 01:21:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-25 04:39:35.365670
- Title: Self-supervised Pre-training with Hard Examples Improves Visual
Representations
- Title(参考訳): ハードケースによる自己教師型事前トレーニングによる視覚表現の改善
- Authors: Chunyuan Li, Xiujun Li, Lei Zhang, Baolin Peng, Mingyuan Zhou,
Jianfeng Gao
- Abstract要約: 自己教師付き事前学習(ssp)は、ランダムな画像変換を用いて視覚表現学習のためのトレーニングデータを生成する。
まず,既存のSSPメソッドを擬似ラベル予測学習として統合するモデリングフレームワークを提案する。
そこで本研究では,疑似ラベルの予測が難しい学習例をランダムな画像変換で生成するデータ拡張手法を提案する。
- 参考スコア(独自算出の注目度): 110.23337264762512
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised pre-training (SSP) employs random image transformations to
generate training data for visual representation learning. In this paper, we
first present a modeling framework that unifies existing SSP methods as
learning to predict pseudo-labels. Then, we propose new data augmentation
methods of generating training examples whose pseudo-labels are harder to
predict than those generated via random image transformations. Specifically, we
use adversarial training and CutMix to create hard examples (HEXA) to be used
as augmented views for MoCo-v2 and DeepCluster-v2, leading to two variants
HEXA_{MoCo} and HEXA_{DCluster}, respectively. In our experiments, we pre-train
models on ImageNet and evaluate them on multiple public benchmarks. Our
evaluation shows that the two new algorithm variants outperform their original
counterparts, and achieve new state-of-the-art on a wide range of tasks where
limited task supervision is available for fine-tuning. These results verify
that hard examples are instrumental in improving the generalization of the
pre-trained models.
- Abstract(参考訳): 自己教師付き事前学習(ssp)は、ランダムな画像変換を用いて視覚表現学習のためのトレーニングデータを生成する。
本稿では,既存のSSP手法を擬似ラベル予測学習として統合したモデリングフレームワークを提案する。
次に,擬似ラベルがランダムな画像変換によって生成されたものよりも予測が難しい訓練例を生成するための新しいデータ拡張手法を提案する。
具体的には、adversarial trainingとcutmixを使用して、moco-v2とdeepcluster-v2の拡張ビューとして使用するためのハードサンプル(hexa)を作成しました。
実験では,imagenet上でモデルを事前学習し,複数の公開ベンチマークで評価した。
評価の結果,この2つのアルゴリズムは,従来のアルゴリズムよりも優れており,タスクの監督が制限されるような幅広いタスクにおいて,新たな最先端を実現することができた。
これらの結果は、厳密な例が事前訓練されたモデルの一般化に有効であることを示す。
関連論文リスト
- Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-03T07:45:53Z) - Instance-Conditioned GAN Data Augmentation for Representation Learning [29.36473147430433]
DA_IC-GANは、学習可能なデータ拡張モジュールで、ほとんどの最先端のトレーニングレシピと組み合わせて、棚外で使用することができる。
DA_IC-GAN は最大容量モデルで 1%p から 2%p の精度を向上できることを示す。
また,DA_IC-GANを自己指導型トレーニングレシピと組み合わせることで,いくつかの設定で1%pの精度向上が達成できることを示す。
論文 参考訳(メタデータ) (2023-03-16T22:45:43Z) - FewGAN: Generating from the Joint Distribution of a Few Images [95.6635227371479]
本稿では,新しい,高品質で多様な画像を生成するための生成モデルFewGANを紹介する。
FewGANは、第1の粗いスケールで量子化を適用した階層的なパッチGANであり、その後、より微細なスケールで残った完全畳み込みGANのピラミッドが続く。
大規模な実験では、FewGANは定量的にも定性的にも基線より優れていることが示されている。
論文 参考訳(メタデータ) (2022-07-18T07:11:28Z) - Toward Learning Robust and Invariant Representations with Alignment
Regularization and Data Augmentation [76.85274970052762]
本論文はアライメント正則化の選択肢の増大を動機としている。
我々は、ロバスト性および不変性の次元に沿って、いくつかの人気のある設計選択のパフォーマンスを評価する。
我々はまた、現実的と考える仮定の下で経験的な研究を補完するために、アライメント正則化の挙動を正式に分析する。
論文 参考訳(メタデータ) (2022-06-04T04:29:19Z) - MixSiam: A Mixture-based Approach to Self-supervised Representation
Learning [33.52892899982186]
近年,ラベルのないデータから視覚表現を学習する過程が顕著に進展している。
従来のシアムネットワークに対する混合型アプローチであるMixSiamを提案する。
論文 参考訳(メタデータ) (2021-11-04T08:12:47Z) - Mean Embeddings with Test-Time Data Augmentation for Ensembling of
Representations [8.336315962271396]
表現のアンサンブルを考察し、MeTTA(Test-time augmentation)を用いた平均埋め込みを提案する。
MeTTAは、教師付きモデルと自己教師付きモデルの両方において、ImageNetの線形評価の質を大幅に向上させる。
我々は、より高品質な表現を推論するためにアンサンブルの成功を広めることが、多くの新しいアンサンブルアプリケーションを開く重要なステップであると信じている。
論文 参考訳(メタデータ) (2021-06-15T10:49:46Z) - Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。
正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
論文 参考訳(メタデータ) (2021-04-07T17:59:06Z) - Adaptive Consistency Regularization for Semi-Supervised Transfer
Learning [31.66745229673066]
我々は,半教師付き学習と移動学習を共同で検討し,より実践的で競争的なパラダイムへと導いた。
事前学習した重みとラベルなしの目標サンプルの両方の価値をよりよく活用するために、適応整合正則化を導入する。
提案手法は,Pseudo Label,Mean Teacher,MixMatchといった,最先端の半教師付き学習技術より優れた適応整合性正規化を実現する。
論文 参考訳(メタデータ) (2021-03-03T05:46:39Z) - Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。
G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。
分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
論文 参考訳(メタデータ) (2020-04-24T06:12:10Z) - ImageBERT: Cross-modal Pre-training with Large-scale Weak-supervised
Image-Text Data [9.3935916515127]
画像-テキスト共同埋め込みのための視覚教師付き事前学習モデルである ImageBERT を導入する。
我々のモデルはTransformerベースのモデルであり、入力として異なるモダリティを取り、それらの関係をモデル化する。
論文 参考訳(メタデータ) (2020-01-22T11:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。