論文の概要: Center-wise Local Image Mixture For Contrastive Representation Learning

• arxiv url: http://arxiv.org/abs/2011.02697v3
• Date: Mon, 18 Oct 2021 02:15:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 12:06:15.459977
• Title: Center-wise Local Image Mixture For Contrastive Representation Learning
• Title（参考訳）: コントラスト表現学習のための中心的局所画像混合
• Authors: Hao Li, Xiaopeng Zhang, Hongkai Xiong
• Abstract要約: インスタンス識別列車モデルに基づくコントラスト学習は、アンカーサンプルの異なる変換を他のサンプルと区別する。 本稿では,データセット内の他のサンプルからの正値を用いた新しいコントラスト学習手法であるCLIMを提案する。 ResNet-50に対する線形評価で75.5%のトップ1精度に達し、わずか1%のラベルで微調整された場合、59.3%のトップ1精度を得る。
• 参考スコア（独自算出の注目度）: 37.806687971373954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning based on instance discrimination trains model to discriminate different transformations of the anchor sample from other samples, which does not consider the semantic similarity among samples. This paper proposes a new kind of contrastive learning method, named CLIM, which uses positives from other samples in the dataset. This is achieved by searching local similar samples of the anchor, and selecting samples that are closer to the corresponding cluster center, which we denote as center-wise local image selection. The selected samples are instantiated via an data mixture strategy, which performs as a smoothing regularization. As a result, CLIM encourages both local similarity and global aggregation in a robust way, which we find is beneficial for feature representation. Besides, we introduce \emph{multi-resolution} augmentation, which enables the representation to be scale invariant. We reach 75.5% top-1 accuracy with linear evaluation over ResNet-50, and 59.3% top-1 accuracy when fine-tuned with only 1% labels.
• Abstract（参考訳）: インスタンス識別トレインに基づくコントラスト学習は、サンプル間の意味的類似性を考慮していない他のサンプルとアンカーサンプルの異なる変換を識別するモデルである。 本稿では,データセット内の他のサンプルからの正値を用いた新しいコントラスト学習手法であるCLIMを提案する。 これは、アンカーのローカルに類似したサンプルを検索し、対応するクラスタセンターに近いサンプルを選択することで実現されます。 選択されたサンプルは、スムーズな正規化として機能するデータ混合戦略を介してインスタンス化される。 結果として、CLIMは局所的な類似性とグローバルアグリゲーションの両方を堅牢な方法で奨励する。 さらに,emph{multi- resolution}拡張を導入し,その表現をスケール不変にすることができる。 ResNet-50に対する線形評価で75.5%のトップ1精度に達し、わずか1%のラベルで微調整すると59.3%のトップ1精度が得られる。

関連論文リスト

• CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
  本研究では,試料内およびサンプル間制約によるサンプルワイドアライメント問題として定式化できる,対照的な知識蒸留手法を提案する。 本手法は, 数値を考慮し, 同一試料中のロジット差を最小化する。 CIFAR-100, ImageNet-1K, MS COCOの3つのデータセットについて総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-04-22T11:52:40Z)
• Pairwise Similarity Distribution Clustering for Noisy Label Learning [0.0]
  ノイズラベル学習は、ノイズラベルを持つ大量のサンプルを使用してディープニューラルネットワークをトレーニングすることを目的としている。 トレーニングサンプルを1つのクリーンなセットと別のノイズのあるセットに分割する,単純で効果的なサンプル選択アルゴリズムを提案する。 CIFAR-10、CIFAR-100、Clothing1Mといった様々なベンチマークデータセットの実験結果は、最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-04-02T11:30:22Z)
• Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing [104.630875328668]
  ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。 両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
  論文  参考訳（メタデータ） (2021-12-16T11:27:48Z)
• With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations [87.72779294717267]
  対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。 提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
  論文  参考訳（メタデータ） (2021-04-29T17:56:08Z)
• Transform consistency for learning with noisy labels [9.029861710944704]
  単一のネットワークのみを用いてクリーンサンプルを同定する手法を提案する。 きれいなサンプルは元のイメージおよび変形したイメージのための一貫した予測に達することを好みます。 ノイズラベルの負の影響を軽減するために,オフラインのハードラベルとオンラインのソフトラベルを用いて分類損失を設計する。
  論文  参考訳（メタデータ） (2021-03-25T14:33:13Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Permuted AdaIN: Reducing the Bias Towards Global Statistics in Image Classification [97.81205777897043]
  近年の研究では、畳み込みニューラルネットワーク分類器は形状を犠牲にしてテクスチャを過度に依存していることが示されている。 一方、形状と局所像の区別は類似しているが異なるが、一方、グローバル画像統計は異なる。 提案手法は,pAdaIN (Permuted Adaptive Instance Normalization) と呼ばれ,画像分類器の隠蔽層におけるグローバル統計の表現を減少させる。
  論文  参考訳（メタデータ） (2020-10-09T16:38:38Z)
• Unsupervised Representation Learning by InvariancePropagation [34.53866045440319]
  本稿では,カテゴリーレベルの変分に不変な学習表現に焦点をあてる不変分散伝播を提案する。 バックボーンとしてResNet-50を用いると、ImageNetの線形分類では71.3%の精度で、1%のラベルだけで78.2%の精度で微調整できる。 また、Places205とPascal VOCの線形分類や、小規模データセットでの転送学習など、他の下流タスクにおける最先端のパフォーマンスも達成している。
  論文  参考訳（メタデータ） (2020-10-07T13:00:33Z)
• Conditional Negative Sampling for Contrastive Learning of Visual Representations [19.136685699971864]
  難解な負の選択、あるいは現在の例に類似した選択は、より強い表現をもたらす可能性があることを示す。 それぞれの正の周りの「リング」に、負を条件付きでサンプリングする相互情報推定器のファミリーを導入する。 これらの推定器は, 偏差が大きいが, NCEよりも分散度が低いことが証明された。
  論文  参考訳（メタデータ） (2020-10-05T14:17:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。