論文の概要: Learn by Challenging Yourself: Contrastive Visual Representation
Learning with Hard Sample Generation
- arxiv url: http://arxiv.org/abs/2202.06464v1
- Date: Mon, 14 Feb 2022 02:41:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 15:44:24.306768
- Title: Learn by Challenging Yourself: Contrastive Visual Representation
Learning with Hard Sample Generation
- Title（参考訳）: 自己満足で学ぶ:ハードサンプル生成による対照的な視覚表現学習
- Authors: Yawen Wu, Zhepeng Wang, Dewen Zeng, Yiyu Shi, Jingtong Hu
- Abstract要約: コントラシブラーニング(CL)トレーニングのデータ効率を改善するための2つのフレームワークを提案する。
最初のアプローチは、メインモデルのためのハードサンプルを生成する。
ジェネレータは、ハードサンプルを動的にカスタマイズするために、メインモデルと共同で学習される。
共同学習では、正の対の硬さは、その類似性を減少させることで徐々に増大する。
- 参考スコア（独自算出の注目度）: 16.3860181959878
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning (CL), a self-supervised learning approach, can
effectively learn visual representations from unlabeled data. However, CL
requires learning on vast quantities of diverse data to achieve good
performance, without which the performance of CL will greatly degrade. To
tackle this problem, we propose a framework with two approaches to improve the
data efficiency of CL training by generating beneficial samples and joint
learning. The first approach generates hard samples for the main model. The
generator is jointly learned with the main model to dynamically customize hard
samples based on the training state of the main model. With the progressively
growing knowledge of the main model, the generated samples also become harder
to constantly encourage the main model to learn better representations.
Besides, a pair of data generators are proposed to generate similar but
distinct samples as positive pairs. In joint learning, the hardness of a
positive pair is progressively increased by decreasing their similarity. In
this way, the main model learns to cluster hard positives by pulling the
representations of similar yet distinct samples together, by which the
representations of similar samples are well-clustered and better
representations can be learned. Comprehensive experiments show superior
accuracy and data efficiency of the proposed methods over the state-of-the-art
on multiple datasets. For example, about 5% accuracy improvement on
ImageNet-100 and CIFAR-10, and more than 6% accuracy improvement on CIFAR-100
are achieved for linear classification. Besides, up to 2x data efficiency for
linear classification and up to 5x data efficiency for transfer learning are
achieved.
- Abstract（参考訳）: 自己教師付き学習アプローチであるコントラスト学習(CL)は、ラベルのないデータから視覚表現を効果的に学習することができる。
しかし、CLは優れた性能を得るために大量の多様なデータを学ぶ必要があり、CLの性能は大幅に低下する。
この問題に対処するために,有用なサンプルと共同学習を生成することにより,CLトレーニングのデータ効率を向上させるための2つのフレームワークを提案する。
最初のアプローチは、メインモデルのためのハードサンプルを生成する。
生成器はメインモデルと共同で学習し、メインモデルのトレーニング状態に基づいてハードサンプルを動的にカスタマイズする。
メインモデルの知識が徐々に増大するにつれ、生成されたサンプルは、メインモデルにより良い表現を学ぶよう常に促すのも難しくなります。
さらに、類似しているが異なるサンプルを正のペアとして生成するために、2つのデータジェネレータが提案されている。
共同学習において、正対の硬さは、その類似性を減少させることで徐々に増大する。
このようにして、主モデルは、類似の異なるサンプルの表現をまとめることで、ハードポジティをクラスタリングすることを学び、類似のサンプルの表現はよくクラスタ化され、より良い表現が学べる。
総合的な実験により、複数のデータセットの最先端技術よりも提案手法の精度とデータ効率が優れていることが示された。
例えば、imagenet-100とcifar-10では約5%精度が向上し、線形分類では6%以上精度が向上した。
さらに、線形分類のための最大2倍のデータ効率と、転送学習のための最大5倍のデータ効率を達成する。
関連論文リスト
- Data Augmentation for Sparse Multidimensional Learning Performance Data Using Generative AI [17.242331892899543]
学習パフォーマンスデータは、適応学習における正しい解答や問題解決の試みを記述している。
学習性能データは、適応的なアイテム選択のため、ほとんどの実世界のアプリケーションでは、非常にスパースな(80%(sim)90%の欠落)傾向にある。
本稿では,学習者のデータの分散性に対処するために,学習者のデータを拡張するための体系的フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-24T00:25:07Z) - Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning [47.02160072880698]
モデル自体が等しくあるいはそれ以上に効果的であるサブセットを積極的にサンプリングできる自己進化メカニズムを導入します。
データサンプリング技術の鍵は、選択したサブセットの多様性の向上にあります。
3つのデータセットとベンチマークにわたる大規模な実験は、DiverseEvolの有効性を示している。
論文 参考訳（メタデータ） (2023-11-14T14:10:40Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot
Text Classification Tasks [75.42002070547267]
テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。
モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
論文 参考訳（メタデータ） (2023-05-22T23:43:23Z) - Feature Weaken: Vicinal Data Augmentation for Classification [1.7013938542585925]
モデルトレーニングと同一のコサイン類似性を持つビジナルデータ分布を構築するためにFeature Weakenを用いている。
この研究は、モデルの分類性能と一般化を改善するだけでなく、モデルの訓練を安定させ、モデルの収束を加速させる。
論文 参考訳（メタデータ） (2022-11-20T11:00:23Z) - Efficient Classification with Counterfactual Reasoning and Active
Learning [4.708737212700907]
CCRALと呼ばれる手法は、因果推論と、元のトレーニングサンプルの反事実サンプルの学習と、不確実性の領域に基づいて有用な反事実サンプルを選択するアクティブラーニングを組み合わせたものである。
実験の結果, CCRALは精度とAUCの点で, ベースラインよりも有意に優れた性能を示した。
論文 参考訳（メタデータ） (2022-07-25T12:03:40Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳（メタデータ） (2021-06-09T12:02:29Z) - Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。
本手法は画像内情報と画像間情報の両方を利用する。
トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
論文 参考訳（メタデータ） (2021-04-01T08:09:26Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳（メタデータ） (2020-07-11T10:57:45Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。