論文の概要: Contrastive Learning with Stronger Augmentations

• arxiv url: http://arxiv.org/abs/2104.07713v1
• Date: Thu, 15 Apr 2021 18:40:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 09:16:31.056716
• Title: Contrastive Learning with Stronger Augmentations
• Title（参考訳）: 強化強化によるコントラスト学習
• Authors: Xiao Wang, Guo-Jun Qi
• Abstract要約: 本論文では,現在のコントラスト学習のアプローチを補完する,より強い拡張(A)によるコントラスト学習という汎用フレームワークを提案する。 ここでは、表現バンク上の弱強調画像と強拡張画像との間の分布のばらつきを利用して、強拡張クエリの検索を監督する。 実験では、強力な画像からの情報により、パフォーマンスが大幅に向上します。
• 参考スコア（独自算出の注目度）: 63.42057690741711
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representation learning has significantly been developed with the advance of contrastive learning methods. Most of those methods have benefited from various data augmentations that are carefully designated to maintain their identities so that the images transformed from the same instance can still be retrieved. However, those carefully designed transformations limited us to further explore the novel patterns exposed by other transformations. Meanwhile, as found in our experiments, the strong augmentations distorted the images' structures, resulting in difficult retrieval. Thus, we propose a general framework called Contrastive Learning with Stronger Augmentations~(CLSA) to complement current contrastive learning approaches. Here, the distribution divergence between the weakly and strongly augmented images over the representation bank is adopted to supervise the retrieval of strongly augmented queries from a pool of instances. Experiments on the ImageNet dataset and downstream datasets showed the information from the strongly augmented images can significantly boost the performance. For example, CLSA achieves top-1 accuracy of 76.2% on ImageNet with a standard ResNet-50 architecture with a single-layer classifier fine-tuned, which is almost the same level as 76.5% of supervised results. The code and pre-trained models are available in https://github.com/maple-research-lab/CLSA.
• Abstract（参考訳）: 表現学習は、対照的な学習方法の進歩とともに著しく発展してきた。 これらの手法の多くは、同一のインスタンスから変換された画像を取得することができるように、IDを維持するために慎重に指定されている様々なデータ拡張の恩恵を受けている。 しかし、これら慎重に設計された変換は、他の変換によって露呈される新しいパターンをさらに探求することを制限する。 一方、我々の実験で見られるように、強い増強によって画像の構造が歪められ、検索が困難になった。 そこで本研究では,現在のコントラスト学習アプローチを補完するContrastive Learning with Stronger Augmentations~(CLSA)という一般的なフレームワークを提案する。 ここでは、表現バンク上の弱強調画像と強強調画像との分布ばらつきを利用して、インスタンスプールからの強拡張クエリの検索を監督する。 ImageNetデータセットと下流データセットの実験では、強化された画像からの情報がパフォーマンスを大幅に向上することを示した。 例えば、CLSAは1層の分類器を微調整した標準のResNet-50アーキテクチャでImageNetで76.2%というトップ1の精度を達成した。 コードと事前学習されたモデルはhttps://github.com/maple-research-lab/clsaで入手できる。

関連論文リスト

• Synergy and Diversity in CLIP: Enhancing Performance Through Adaptive Backbone Ensembling [58.50618448027103]
  コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。 本稿では,CLIPを訓練した視覚バックボーンの違いについて検討する。 方法によって、最高の単一のバックボーンよりも39.1%の精度が著しく向上する。
  論文  参考訳（メタデータ） (2024-05-27T12:59:35Z)
• Transformer-based Clipped Contrastive Quantization Learning for Unsupervised Image Retrieval [15.982022297570108]
  教師なし画像検索は、与えられたクエリ画像の類似画像を取得するために、任意のレベルなしに重要な視覚的特徴を学習することを目的としている。 本稿では,パッチベースの処理により局所的なコンテキストを持つTransformerを用いて,画像のグローバルコンテキストを符号化するTransClippedCLRモデルを提案する。 提案したクリップ付きコントラスト学習の結果は、バニラコントラスト学習と同一のバックボーンネットワークと比較して、すべてのデータセットで大幅に改善されている。
  論文  参考訳（メタデータ） (2024-01-27T09:39:11Z)
• Feature transforms for image data augmentation [74.12025519234153]
  画像分類において、多くの拡張アプローチは単純な画像操作アルゴリズムを利用する。 本研究では,14種類の拡張アプローチを組み合わせて生成した画像を追加することで,データレベルでのアンサンブルを構築する。 事前トレーニングされたResNet50ネットワークは、各拡張メソッドから派生した画像を含むトレーニングセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2022-01-24T14:12:29Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• AugNet: End-to-End Unsupervised Visual Representation Learning with Image Augmentation [3.6790362352712873]
  我々は、未ラベル画像の集合から画像特徴を学習するための新しいディープラーニングトレーニングパラダイムであるAugNetを提案する。 実験により,低次元空間における画像の表現が可能であることを実証した。 多くのディープラーニングベースの画像検索アルゴリズムとは異なり、我々のアプローチは外部アノテーション付きデータセットへのアクセスを必要としない。
  論文  参考訳（メタデータ） (2021-06-11T09:02:30Z)
• With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations [87.72779294717267]
  対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。 提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
  論文  参考訳（メタデータ） (2021-04-29T17:56:08Z)
• MetaAugment: Sample-Aware Data Augmentation Policy Learning [20.988767360529362]
  我々は、サンプル再重み付け問題として定式化することで、サンプル認識データ拡張ポリシーを効率的に学習する。 拡張ポリシーネットワークは、変換と対応する拡張画像とを入力とし、重みを出力してタスクネットワークで計算された拡張画像損失を調整する。 トレーニング段階では、タスクネットワークは強化訓練画像の重み付け損失を最小限に抑え、ポリシーネットワークはメタラーニングによる検証セット上のタスクネットワークの損失を最小限にする。
  論文  参考訳（メタデータ） (2020-12-22T15:19:27Z)
• FeatMatch: Feature-Based Augmentation for Semi-Supervised Learning [64.32306537419498]
  本稿では,複雑な変換を多様に生成する特徴量に基づく改良・拡張手法を提案する。 これらの変換は、クラスタリングを通じて抽出したクラス内およびクラス間の両方の情報も利用します。 提案手法は,大規模データセットにスケールアップしながら,より小さなデータセットに対して,現在の最先端技術に匹敵するものであることを実証する。
  論文  参考訳（メタデータ） (2020-07-16T17:55:31Z)
• Learning Test-time Augmentation for Content-based Image Retrieval [42.188013259368766]
  オフザシェルフ畳み込みニューラルネットワークは、多くの画像検索タスクにおいて優れた結果をもたらす。 既存の画像検索手法では、ターゲットデータ特有のバリエーションに適応するために、事前訓練されたネットワークを微調整または修正する必要がある。 本手法は, テスト時に強調した画像から抽出した特徴を, 強化学習を通じて学習したポリシーに則って集約することにより, 既製の特徴の分散を促進させる。
  論文  参考訳（メタデータ） (2020-02-05T05:08:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。