論文の概要: Un-Mix: Rethinking Image Mixtures for Unsupervised Visual Representation Learning

• arxiv url: http://arxiv.org/abs/2003.05438v5
• Date: Thu, 17 Feb 2022 14:56:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 14:33:02.820890
• Title: Un-Mix: Rethinking Image Mixtures for Unsupervised Visual Representation Learning
• Title（参考訳）: un-mix: 教師なし視覚表現学習のための画像混合再考
• Authors: Zhiqiang Shen and Zechun Liu and Zhuang Liu and Marios Savvides and Trevor Darrell and Eric Xing
• Abstract要約: 近年の先進的な教師なし学習手法では,同じ画像から2つの「ビュー」を学習表現として比較するために,サイムズ様の枠組みを用いている。 この研究は、教師なし学習においてラベル空間上の距離の概念を巻き込み、正対と負対のソフトな類似度をモデルに認識させることを目的としている。 その概念的単純さにもかかわらず、この解 -- 教師なし画像混合(Un-Mix)により、変換された入力と対応する新しいラベル空間からより微妙でより堅牢で一般化された表現を学習できることを実証的に示す。
• 参考スコア（独自算出の注目度）: 108.999497144296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recently advanced unsupervised learning approaches use the siamese-like framework to compare two "views" from the same image for learning representations. Making the two views distinctive is a core to guarantee that unsupervised methods can learn meaningful information. However, such frameworks are sometimes fragile on overfitting if the augmentations used for generating two views are not strong enough, causing the over-confident issue on the training data. This drawback hinders the model from learning subtle variance and fine-grained information. To address this, in this work we aim to involve the distance concept on label space in the unsupervised learning and let the model be aware of the soft degree of similarity between positive or negative pairs through mixing the input data space, to further work collaboratively for the input and loss spaces. Despite its conceptual simplicity, we show empirically that with the solution -- Unsupervised image mixtures (Un-Mix), we can learn subtler, more robust and generalized representations from the transformed input and corresponding new label space. Extensive experiments are conducted on CIFAR-10, CIFAR-100, STL-10, Tiny ImageNet and standard ImageNet with popular unsupervised methods SimCLR, BYOL, MoCo V1&V2, SwAV, etc. Our proposed image mixture and label assignment strategy can obtain consistent improvement by 1~3% following exactly the same hyperparameters and training procedures of the base methods. Code is publicly available at https://github.com/szq0214/Un-Mix.
• Abstract（参考訳）: 最近の教師なし学習のアプローチでは、同じイメージから2つの"ビュー"を比較して表現を学習する。 2つのビューを区別させることは、教師なしのメソッドが意味のある情報を学習できることを保証するためのコアである。 しかし、このようなフレームワークは、2つのビューを生成するのに使用される拡張が不十分な場合、オーバーフィッティングに脆弱な場合があり、トレーニングデータに過度な問題が発生する。 この欠点は、微妙な分散ときめ細かい情報を学ぶことを妨げる。 そこで本研究では,ラベル空間上の距離概念を教師なし学習に含め,入力データ空間を混合することにより,正対と負対のソフトな類似度をモデルに認識させ,入力空間と損失空間を協調的に扱うことを目的とする。 その概念的単純さにもかかわらず、この解 -- 教師なし画像混合(Un-Mix)により、変換された入力と対応する新しいラベル空間からより微妙でより堅牢で一般化された表現を学習できることを示す。 CIFAR-10、CIFAR-100、STL-10、Tiny ImageNet、および一般的な教師なし手法SimCLR、BYOL、MoCo V1&V2、SwaVなどを用いて、広範囲にわたる実験を行った。 提案する画像混合とラベル割当戦略は,ベース手法の全く同じハイパーパラメータとトレーニング手順に従って,1～3%の一貫した改善が得られる。 コードはhttps://github.com/szq0214/un-mixで公開されている。

関連論文リスト

• $\mathbb{X}$-Sample Contrastive Loss: Improving Contrastive Learning with Sample Similarity Graphs [62.565573316667276]
  サンプルが他者とどのように関連しているかを符号化する目的を開発する。 クラスやテキストのキャプション記述における類似性に基づいて視覚モデルを訓練する。 我々の目標は、特に低いデータ体制でうまく機能しているようで、CLIPが16.8%、ImageNet Realが18.1%だった。
  論文  参考訳（メタデータ） (2024-07-25T15:38:16Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Inter-Instance Similarity Modeling for Contrastive Learning [22.56316444504397]
  視覚変換器(ViT)におけるコントラスト学習のための新しい画像混合手法であるPatchMixを提案する。 既存のサンプルミキシング手法と比較して、我々のPatchMixは2つ以上の画像を柔軟に効率的に混ぜることができる。 提案手法は,ImageNet-1KとCIFARの両方のデータセットにおいて,従来の最先端技術よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2023-06-21T13:03:47Z)
• Mix-up Self-Supervised Learning for Contrast-agnostic Applications [33.807005669824136]
  コントラストに依存しないアプリケーションのための,最初の混合型自己教師型学習フレームワークを提案する。 クロスドメイン・ミックスアップに基づく画像間の低分散に対処し、画像再構成と透明性予測に基づくプレテキストタスクを構築する。
  論文  参考訳（メタデータ） (2022-04-02T16:58:36Z)
• Crafting Better Contrastive Views for Siamese Representation Learning [20.552194081238248]
  提案するContrastiveCropは,シームズ表現学習のための作物を効果的に生成する。 完全に教師なしの方法で、トレーニングプロセス内に意味を意識したオブジェクトローカライゼーション戦略を提案する。 プラグインとフレームワークに依存しないモジュールとして、ContrastiveCropはSimCLR、MoCo、BYOL、SimSiamを0.4%の精度で改善している。
  論文  参考訳（メタデータ） (2022-02-07T15:09:00Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• AugNet: End-to-End Unsupervised Visual Representation Learning with Image Augmentation [3.6790362352712873]
  我々は、未ラベル画像の集合から画像特徴を学習するための新しいディープラーニングトレーニングパラダイムであるAugNetを提案する。 実験により,低次元空間における画像の表現が可能であることを実証した。 多くのディープラーニングベースの画像検索アルゴリズムとは異なり、我々のアプローチは外部アノテーション付きデータセットへのアクセスを必要としない。
  論文  参考訳（メタデータ） (2021-06-11T09:02:30Z)
• Delving into Inter-Image Invariance for Unsupervised Visual Representations [108.33534231219464]
  画像間不変学習の役割をよりよく理解するための研究を提案する。 オンラインラベルはオフラインラベルよりも早く収束する。 半硬な負のサンプルは、硬い負のサンプルよりも信頼性が高く、偏りがない。
  論文  参考訳（メタデータ） (2020-08-26T17:44:23Z)
• Unsupervised Learning of Visual Features by Contrasting Cluster Assignments [57.33699905852397]
  ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。 本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。 我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
  論文  参考訳（メタデータ） (2020-06-17T14:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。