論文の概要: Improving memory banks for unsupervised learning with large mini-batch,
consistency and hard negative mining
- arxiv url: http://arxiv.org/abs/2102.04442v1
- Date: Mon, 8 Feb 2021 18:56:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-09 15:58:54.583615
- Title: Improving memory banks for unsupervised learning with large mini-batch,
consistency and hard negative mining
- Title（参考訳）: 大きなミニバッチ、一貫性、ハードネガティブマイニングによる教師なし学習のためのメモリバンクの改善
- Authors: Adrian Bulat and Enrique S\'anchez-Lozano and Georgios Tzimiropoulos
- Abstract要約: バニラメモリバンクをベースとした定式化では,3つの改良が加えられた。
我々は、同一サンプルの異なる拡張によって得られるロジットを、負のサンプルに対する差別を強制することなく、近くまで拡張することで得られるロジットを強制する。
インスタンス識別は、視覚的に類似したサンプルには意味がないため、メモリバンクを改善するための新しい近接アプローチを考案する。
- 参考スコア（独自算出の注目度）: 61.223064077782645
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An important component of unsupervised learning by instance-based
discrimination is a memory bank for storing a feature representation for each
training sample in the dataset. In this paper, we introduce 3 improvements to
the vanilla memory bank-based formulation which brings massive accuracy gains:
(a) Large mini-batch: we pull multiple augmentations for each sample within the
same batch and show that this leads to better models and enhanced memory bank
updates. (b) Consistency: we enforce the logits obtained by different
augmentations of the same sample to be close without trying to enforce
discrimination with respect to negative samples as proposed by previous
approaches. (c) Hard negative mining: since instance discrimination is not
meaningful for samples that are too visually similar, we devise a novel nearest
neighbour approach for improving the memory bank that gradually merges
extremely similar data samples that were previously forced to be apart by the
instance level classification loss. Overall, our approach greatly improves the
vanilla memory-bank based instance discrimination and outperforms all existing
methods for both seen and unseen testing categories with cosine similarity.
- Abstract（参考訳）: インスタンスベースの識別による教師なし学習の重要なコンポーネントは、データセットの各トレーニングサンプルの特徴表現を格納するメモリバンクである。
本稿では、バニラメモリバンクベースの定式化の3つの改善点について紹介する。(a) 大規模ミニバッチ: 同じバッチ内の各サンプルに対して複数の増分をプルし、これがより良いモデルとメモリバンクの更新の改善につながることを示す。
b) 整合性: 従来提案されていた陰性サンプルに対する差別を強制することなく, 同一試料の異なる拡張により得られるロジットを近接的に実施する。
c) ハード・ネガティブ・マイニング: インスタンスの識別は視覚的にあまり類似しないサンプルには意味がないため、インスタンスレベルの分類損失によって分離を余儀なくされた非常に類似したデータサンプルを徐々にマージするメモリバンクを改善するために、新しい近接するアプローチを考案する。
全体として、我々のアプローチはバニラメモリバンクベースのインスタンス識別を大幅に改善し、コサインの類似性で、見抜かれていないテストカテゴリの両方の既存のメソッドを上回っています。
関連論文リスト
- Memory Consistency Guided Divide-and-Conquer Learning for Generalized
Category Discovery [56.172872410834664]
一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。
メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。
本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-01-24T09:39:45Z) - Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning [59.44422468242455]
そこで我々はShrinkMatchと呼ばれる新しい手法を提案し、不確実なサンプルを学習する。
それぞれの不確実なサンプルに対して、元の Top-1 クラスを単に含むスランク類空間を適応的に求める。
次に、スランク空間における強と弱に強化された2つのサンプル間の整合正則化を課し、識別的表現を試みます。
論文 参考訳（メタデータ） (2023-08-13T14:05:24Z) - Augmentation Matters: A Simple-yet-Effective Approach to Semi-supervised
Semantic Segmentation [46.441263436298996]
本稿では,SSSの性能向上を目的としたデータ摂動に着目した,シンプルでクリーンなアプローチを提案する。
我々は、ランダムなデータ変換数を選択する、簡易なインテンシティベースの拡張を採用する。
また,ラベル付き情報をランダムに注入して,ラベルなしサンプルを適応的に増強する。
論文 参考訳（メタデータ） (2022-12-09T16:36:52Z) - Rethinking Clustering-Based Pseudo-Labeling for Unsupervised
Meta-Learning [146.11600461034746]
教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。
このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。
このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
論文 参考訳（メタデータ） (2022-09-27T19:04:36Z) - Memory Population in Continual Learning via Outlier Elimination [25.511380924335207]
破滅的な忘れは、新しいタスクを学ぶ際に学習したタスクを忘れる現象であり、継続的な学習アルゴリズムを開発する上で大きなハードルとなる。
忘れを緩和する一般的な方法は、新しいタスクのトレーニングで使用する前に学習したタスク例のサブセットを格納するメモリバッファを使用することである。
本稿では,ラベル同種サブポピュレーションからサンプルを選択することにより,メモリバッファ内の外れ値の識別と除去を行うメモリ・アウトレイラ除去法(MOE)を提案する。
論文 参考訳（メタデータ） (2022-07-04T00:09:33Z) - Memory Efficient Class-Incremental Learning for Image Classification [23.666101443616995]
クラス増分学習(class-incremental learning, CIL)は通常、新たに追加されたクラスが到着すると、共同分類モデルを更新する際に「破滅的な忘れる」問題に悩まされる。
本稿では,従来の実高忠実な模範サンプルよりも,補助的な低忠実な模範サンプルを維持することを提案する。
論文 参考訳（メタデータ） (2020-08-04T08:39:40Z) - Learning from Aggregate Observations [82.44304647051243]
本研究では,一組のインスタンスに監視信号が与えられる集合観察から学習する問題について検討する。
本稿では,多種多様な集合観測に適合する一般的な確率的枠組みを提案する。
単純な極大解は様々な微分可能なモデルに適用できる。
論文 参考訳（メタデータ） (2020-04-14T06:18:50Z) - Robust and On-the-fly Dataset Denoising for Image Classification [72.10311040730815]
On-the-fly Data Denoising (ODD)は、間違ったラベルの例に対して堅牢だが、通常のトレーニングと比べて計算オーバーヘッドはほぼゼロである。
ODDはWebVisionやClothing1Mといった現実世界のデータセットを含む、幅広いデータセットで最先端の結果を達成することができる。
論文 参考訳（メタデータ） (2020-03-24T03:59:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。