論文の概要: Prototype Memory for Large-scale Face Representation Learning
- arxiv url: http://arxiv.org/abs/2105.02103v1
- Date: Wed, 5 May 2021 15:08:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-06 13:33:50.092605
- Title: Prototype Memory for Large-scale Face Representation Learning
- Title（参考訳）: 大規模顔表現学習のためのプロトタイプメモリ
- Authors: Evgeny Smirnov, Nikita Garaev, Vasiliy Galyuk
- Abstract要約: softmaxベースのアプローチは、数百万人のデータセットには適していない。
プロトタイプメモリと呼ばれる新しい顔表現学習モデルを提案する。
人気の顔認識ベンチマークに関する広範な実験により,提案モデルの有効性を実証した。
- 参考スコア（独自算出の注目度）: 0.5524804393257919
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Face representation learning using datasets with massive number of identities
requires appropriate training methods. Softmax-based approach, currently the
state-of-the-art in face recognition, in its usual "full softmax" form is not
suitable for datasets with millions of persons. Several methods, based on the
"sampled softmax" approach, were proposed to remove this limitation. These
methods, however, have a set of disadvantages. One of them is a problem of
"prototype obsolescence": classifier weights (prototypes) of the rarely sampled
classes, receive too scarce gradients and become outdated and detached from the
current encoder state, resulting in an incorrect training signals. This problem
is especially serious in ultra-large-scale datasets. In this paper, we propose
a novel face representation learning model called Prototype Memory, which
alleviates this problem and allows training on a dataset of any size. Prototype
Memory consists of the limited-size memory module for storing recent class
prototypes and employs a set of algorithms to update it in appropriate way. New
class prototypes are generated on the fly using exemplar embeddings in the
current mini-batch. These prototypes are enqueued to the memory and used in a
role of classifier weights for usual softmax classification-based training. To
prevent obsolescence and keep the memory in close connection with encoder,
prototypes are regularly refreshed, and oldest ones are dequeued and disposed.
Prototype Memory is computationally efficient and independent of dataset size.
It can be used with various loss functions, hard example mining algorithms and
encoder architectures. We prove the effectiveness of the proposed model by
extensive experiments on popular face recognition benchmarks.
- Abstract（参考訳）: 膨大なIDを持つデータセットを用いた顔表現学習には適切なトレーニング方法が必要である。
softmaxベースのアプローチは、現在の顔認識における最先端技術であり、通常の"フルソフトマックス"形式は、数百万人のデータセットには適していない。
サンプルソフトマックス」アプローチに基づくいくつかの手法が提案され、この制限を取り除いた。
しかし、これらの方法にはいくつかの欠点がある。
その1つは"prototype obsolescence"の問題である: 希少なサンプルクラスの分類子重み (prototypes) は、あまりにも低い勾配を受け取り、現在のエンコーダ状態から時代遅れになり、分離し、不正確なトレーニング信号となる。
この問題は特に超大規模データセットでは深刻である。
本稿では,この問題を緩和し,任意のサイズのデータセットをトレーニング可能な,プロトタイプメモリという新しい顔表現学習モデルを提案する。
Prototype Memoryは、最近のクラスプロトタイプを格納するための制限サイズのメモリモジュールで構成されており、適切な方法で更新するために一連のアルゴリズムを使用している。
新しいクラスのプロトタイプは、現在のミニバッチにexemplar埋め込みを使用して、オンザフライで生成される。
これらのプロトタイプはメモリに列挙され、通常のソフトマックス分類に基づくトレーニングのための分類器重みの役割に使用される。
陳腐化を防止し、メモリをエンコーダと密接な関係に保つため、プロトタイプを定期的にリフレッシュし、最古のものをデキュートして配置する。
プロトタイプメモリは計算効率が高く、データセットサイズに依存しない。
様々な損失関数、ハードサンプルマイニングアルゴリズム、エンコーダアーキテクチャで使用することができる。
一般的な顔認識ベンチマークを用いた広範囲な実験により,提案モデルの有効性を実証する。
関連論文リスト
- Unicom: Universal and Compact Representation Learning for Image
Retrieval [65.96296089560421]
大規模LAION400Mを,CLIPモデルにより抽出された共同テキストと視覚的特徴に基づいて,100万の擬似クラスにクラスタリングする。
このような矛盾を緩和するために、我々は、マージンベースのソフトマックス損失を構築するために、ランダムにクラス間の部分的なプロトタイプを選択する。
提案手法は,複数のベンチマークにおいて,教師なし,教師なしの画像検索手法よりも優れていた。
論文 参考訳（メタデータ） (2023-04-12T14:25:52Z) - Learning Large Scale Sparse Models [6.428186644949941]
サンプルの数や特徴次元が数百万から数十億にも達する大規模環境でスパースモデルを学習することを検討する。
ラッソのようなスパースモデルをオンライン的に学習し、ランダムに選択されたサンプルが1つだけ露呈してスパース勾配を更新することを提案する。
これにより、メモリコストはサンプルサイズに依存しず、1つのサンプルの勾配評価が効率的となる。
論文 参考訳（メタデータ） (2023-01-26T06:29:49Z) - Incremental Online Learning Algorithms Comparison for Gesture and Visual
Smart Sensors [68.8204255655161]
本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。
以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
論文 参考訳（メタデータ） (2022-09-01T17:05:20Z) - Dynamic Prototype Mask for Occluded Person Re-Identification [88.7782299372656]
既存の手法では、目に見える部分を識別するために、余分なネットワークによって提供される身体の手がかりを利用することで、この問題に対処している。
2つの自己明快な事前知識に基づく新しい動的プロトタイプマスク(DPM)を提案する。
この条件下では、隠蔽された表現は、選択された部分空間において自然にうまく整列することができる。
論文 参考訳（メタデータ） (2022-07-19T03:31:13Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳（メタデータ） (2022-05-26T08:24:01Z) - Rethinking Semantic Segmentation: A Prototype View [126.59244185849838]
学習不可能なプロトタイプをベースとした非パラメトリックセマンティックセマンティックセマンティクスモデルを提案する。
我々のフレームワークは、いくつかのデータセットに対して魅力的な結果をもたらす。
この作業が、現在のデファクトセマンティックセグメンテーションモデル設計を再考することを期待しています。
論文 参考訳（メタデータ） (2022-03-28T21:15:32Z) - SSSE: Efficiently Erasing Samples from Trained Machine Learning Models [103.43466657962242]
サンプル消去のための効率的かつ効率的なアルゴリズムSSSEを提案する。
ある場合、SSSEは、許可されたデータだけで新しいモデルをスクラッチからトレーニングする最適な、しかし実用的でない金の標準と同様に、サンプルをほぼ消去することができる。
論文 参考訳（メタデータ） (2021-07-08T14:17:24Z) - Detecting Anomalies in Semantic Segmentation with Prototypes [23.999211737485812]
本稿では,プロトタイプ学習による異常セグメンテーションに対処することを提案する。
我々のアプローチは、過去の作品よりも大きな差で、新しい芸術の状態を達成している。
論文 参考訳（メタデータ） (2021-06-01T13:22:33Z) - One Line To Rule Them All: Generating LO-Shot Soft-Label Prototypes [0.0]
プロトタイプ生成メソッドは、トレーニングデータセットを正確に表現する小さな合成観測セットを作成することを目指している。
ソフトラベルをプロトタイプに割り当てることで、小さなプロトタイプセットが元のトレーニングデータセットを正確に表現できるようになります。
データ内のクラス数よりもプロトタイプが少ない場合でも、表現精度を維持したソフトラベルラインを生成するための新しいモジュラー方式を提案します。
論文 参考訳（メタデータ） (2021-02-15T20:21:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。