論文の概要: Partial FC: Training 10 Million Identities on a Single Machine
- arxiv url: http://arxiv.org/abs/2010.05222v2
- Date: Sat, 23 Jan 2021 05:25:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 14:01:31.165148
- Title: Partial FC: Training 10 Million Identities on a Single Machine
- Title（参考訳）: 一部FC:1台のマシンで1000万のアイデンティティをトレーニング
- Authors: Xiang An, Xuhan Zhu, Yang Xiao, Lan Wu, Ming Zhang, Yuan Gao, Bin Qin,
Debing Zhang, Ying Fu
- Abstract要約: ソフトマックスに基づく損失関数の最適化目標と大規模IDの訓練の難しさを分析した。
実験では、ソフトマックスに基づく損失関数に対して10%のランダムサンプリングクラスしか持たないトレーニングでは、精度の低下は示さない。
また、モデル精度とトレーニング効率を考慮した、非常に効率的な分散サンプリングアルゴリズムを実装した。
- 参考スコア（独自算出の注目度）: 23.7030637489807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Face recognition has been an active and vital topic among computer vision
community for a long time. Previous researches mainly focus on loss functions
used for facial feature extraction network, among which the improvements of
softmax-based loss functions greatly promote the performance of face
recognition. However, the contradiction between the drastically increasing
number of face identities and the shortage of GPU memories is gradually
becoming irreconcilable. In this paper, we thoroughly analyze the optimization
goal of softmax-based loss functions and the difficulty of training massive
identities. We find that the importance of negative classes in softmax function
in face representation learning is not as high as we previously thought. The
experiment demonstrates no loss of accuracy when training with only 10\%
randomly sampled classes for the softmax-based loss functions, compared with
training with full classes using state-of-the-art models on mainstream
benchmarks. We also implement a very efficient distributed sampling algorithm,
taking into account model accuracy and training efficiency, which uses only
eight NVIDIA RTX2080Ti to complete classification tasks with tens of millions
of identities. The code of this paper has been made available
https://github.com/deepinsight/insightface/tree/master/recognition/partial_fc.
- Abstract（参考訳）: 顔認識は長い間、コンピュータビジョンコミュニティの中で活発で重要なトピックであった。
これまでの研究は主に顔特徴抽出ネットワークにおける損失関数に着目し、ソフトマックスによる損失関数の改善は顔認識の性能を大きく向上させた。
しかし、顔のアイデンティティの急増とGPUメモリ不足との矛盾は徐々に解消されつつある。
本稿では,softmaxに基づく損失関数の最適化目標と,膨大なidのトレーニングの難しさを徹底的に解析する。
顔表現学習におけるソフトマックス関数における負のクラスの重要性は、以前考えていたほど高くはない。
実験では,ソフトマックスに基づく損失関数に対して,ランダムにサンプリングしたクラスが10\%のトレーニングでは精度が低下しないことを示した。
また、モデル精度とトレーニング効率を考慮して、非常に効率的な分散サンプリングアルゴリズムを実装し、わずか8つのNVIDIA RTX2080Tiを使用して、数千万のIDで分類タスクを完了させる。
この論文のコードはhttps://github.com/deepinsight/insightface/tree/master/recognition/partial_fcで利用可能である。
関連論文リスト
- Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。
我々はその2次情報を経験的フィッシャー行列を通して活用する。
ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
論文 参考訳（メタデータ） (2024-10-24T18:02:11Z) - X2-Softmax: Margin Adaptive Loss Function for Face Recognition [6.497884034818003]
我々は,X2-Softmaxという新しい角マージン損失を提案する。
X2-Softmax損失は適応的な角マージンを持ち、異なるクラス間の角度が大きくなるにつれて増加するマージンを提供する。
我々は、MS1Mv3データセット上でX2-Softmax損失でニューラルネットワークをトレーニングした。
論文 参考訳（メタデータ） (2023-12-08T10:27:47Z) - Toward High Quality Facial Representation Learning [58.873356953627614]
我々はMask Contrastive Face (MCF)と呼ばれる自己教師型事前学習フレームワークを提案する。
トレーニング済みの視覚バックボーンの特徴マップを監視項目として使用し、マスク画像モデリングに部分的にトレーニング済みのデコーダを使用する。
このモデルはAFLW-19顔アライメントの0.932 NME_diag$とLaPa顔解析の93.96 F1スコアを達成する。
論文 参考訳（メタデータ） (2023-09-07T09:11:49Z) - SubFace: Learning with Softmax Approximation for Face Recognition [3.262192371833866]
SubFaceは、サブスペース機能を利用して顔認識の性能を向上するソフトマックス近似法である。
本手法がバニラCNNベースラインの性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2022-08-24T12:31:08Z) - Meta Balanced Network for Fair Face Recognition [51.813457201437195]
我々は、データとアルゴリズムの両方の側面からバイアスを体系的に科学的に研究する。
本稿では,メタバランスネットワーク(MBN)と呼ばれるメタ学習アルゴリズムを提案する。
大規模な実験により、MBNは偏見を緩和し、顔認識において異なる肌のトーンを持つ人々に対してよりバランスの取れたパフォーマンスを学ぶことができた。
論文 参考訳（メタデータ） (2022-05-13T10:25:44Z) - Distinction Maximization Loss: Efficiently Improving Classification
Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply
Replacing the Loss and Calibrating [2.262407399039118]
我々は、DisMax損失を用いた決定論的深層ニューラルネットワークのトレーニングを提案する。
DisMaxは通常、分類精度、不確実性推定、推論効率、アウト・オブ・ディストリビューション検出において、全ての現在のアプローチを同時に上回る。
論文 参考訳（メタデータ） (2022-05-12T04:37:35Z) - ElasticFace: Elastic Margin Loss for Deep Face Recognition [6.865656740940772]
差別的な顔の特徴を学習することは、高いパフォーマンスの顔認識モデルを構築する上で大きな役割を果たす。
分類損失関数,ソフトマックス損失に対する一定のペナルティマージンを組み込むための最近の最先端の顔認識ソリューションを提案する。
本稿では,クラス分離性向上のための弾力的マージン損失( Elastic margin loss, ElasticFace)を提案する。
論文 参考訳（メタデータ） (2021-09-20T10:31:50Z) - Frequency-aware Discriminative Feature Learning Supervised by
Single-Center Loss for Face Forgery Detection [89.43987367139724]
顔の偽造検出は、コンピュータビジョンへの関心をますます高めている。
近年の業績は良好なものとなっているが、いまだに無視できない問題がある。
本稿では,新しい周波数認識型特徴学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-16T14:17:17Z) - Loss Function Search for Face Recognition [75.79325080027908]
最適な候補を自動的に獲得する報酬誘導探索法を開発した。
種々の顔認証ベンチマークの実験結果から,本手法の有効性が示された。
論文 参考訳（メタデータ） (2020-07-10T03:40:10Z) - Taming GANs with Lookahead-Minmax [63.90038365274479]
MNIST, SVHN, CIFAR-10, ImageNetによる実験結果から, Lookahead-minmaxとAdam, Exgradientの併用が明らかとなった。
30倍のパラメータと16倍のミニバッチを使用して、クラスラベルを使わずに12.19のFIDを得ることにより、CIFAR-10上でクラス依存のBigGANのパフォーマンスを上回ります。
論文 参考訳（メタデータ） (2020-06-25T17:13:23Z) - More Information Supervised Probabilistic Deep Face Embedding Learning [10.52667214402514]
確率ビューにおいて、マージンに基づくソフトマックスの損失を分析する。
この発見を裏付けるために、Linear-Auto-TS-Encoder (LATSE) と呼ばれる自動エンコーダアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-06-08T12:33:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。