論文の概要: Killing Two Birds with One Stone:Efficient and Robust Training of Face Recognition CNNs by Partial FC

• arxiv url: http://arxiv.org/abs/2203.15565v1
• Date: Mon, 28 Mar 2022 14:33:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 15:41:26.421217
• Title: Killing Two Birds with One Stone:Efficient and Robust Training of Face Recognition CNNs by Partial FC
• Title（参考訳）: 1石で2羽の鳥を殺す:部分fcによる顔認識cnnの効率的かつロバストな訓練
• Authors: Xiang An and Jiankang Deng and Jia Guo and Ziyong Feng and Xuhan Zhu and Jing Yang and Tongliang Liu
• Abstract要約: 部分FC (Partial FC) という,完全連結層 (FC) のスパース更新版を提案する。 各イテレーションにおいて、マージンベースのソフトマックス損失を計算するために、正のクラスセンターと負のクラスセンターのランダムなサブセットが選択される。 計算要求、クラス間衝突の確率、テールクラスセンターにおけるパッシブ更新の頻度は劇的に減少する。
• 参考スコア（独自算出の注目度）: 66.71660672526349
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning discriminative deep feature embeddings by using million-scale in-the-wild datasets and margin-based softmax loss is the current state-of-the-art approach for face recognition. However, the memory and computing cost of the Fully Connected (FC) layer linearly scales up to the number of identities in the training set. Besides, the large-scale training data inevitably suffers from inter-class conflict and long-tailed distribution. In this paper, we propose a sparsely updating variant of the FC layer, named Partial FC (PFC). In each iteration, positive class centers and a random subset of negative class centers are selected to compute the margin-based softmax loss. All class centers are still maintained throughout the whole training process, but only a subset is selected and updated in each iteration. Therefore, the computing requirement, the probability of inter-class conflict, and the frequency of passive update on tail class centers, are dramatically reduced. Extensive experiments across different training data and backbones (e.g. CNN and ViT) confirm the effectiveness, robustness and efficiency of the proposed PFC. The source code is available at \https://github.com/deepinsight/insightface/tree/master/recognition.
• Abstract（参考訳）: 百万規模のインザワイルドデータセットとマージンベースのソフトマックス損失を用いたディープラーニングの深層特徴埋め込みは、顔認識の現在の最先端のアプローチである。 しかし、Fully Connected (FC)層のメモリと計算コストは、トレーニングセット内のIDの数まで線形にスケールする。 さらに、大規模なトレーニングデータは必然的にクラス間紛争とロングテール分布に苦しむ。 本稿では,PFC (Partial FC) という名前の FC 層を簡潔に更新する手法を提案する。 各イテレーションで正のクラスセンタと負のクラスセンタのランダムサブセットを選択し、マージンベースのソフトマックス損失を計算する。 すべてのクラスセンターはトレーニングプロセス全体を通して維持されるが、各イテレーションでサブセットのみが選択され更新される。 したがって、計算要求、クラス間競合の確率、テールクラスセンターにおけるパッシブ更新の頻度は劇的に減少する。 異なるトレーニングデータとバックボーン(cnnやvitなど)にまたがる広範な実験により、提案するpfcの有効性、堅牢性、効率性が確認された。 ソースコードはhttps://github.com/deepinsight/insightface/tree/master/recognitionで入手できる。

関連論文リスト

• Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
  我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。 我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-05-29T10:56:13Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Class Instance Balanced Learning for Long-Tailed Classification [0.0]
  ロングテール画像分類タスクは、トレーニングデータのクラス周波数における大きな不均衡を扱う。 従来のアプローチでは、クロスエントロピーとコントラスト学習を組み合わせることで、長いタスクのパフォーマンスが向上することが示されている。 学習バッチにおけるクラスインスタンスの頻度の関数として,クロスエントロピーと対照的な損失の相対的寄与を重み付けする新しいクラスインスタンス平衡損失(CIBL)を提案する。
  論文  参考訳（メタデータ） (2023-07-11T15:09:10Z)
• Addressing Class Variable Imbalance in Federated Semi-supervised Learning [10.542178602467885]
  我々は,クラス変数の不均衡を解決するために,FCVI(Federated Semi-supervised Learning for Class Variable Im Balance)を提案する。 FCVIは、クラス数の変化によるデータの不均衡を軽減するために使用される。 クライアントのプライバシを維持しながら,ベースライン方式よりもはるかに優れた手法であることが実証された。
  論文  参考訳（メタデータ） (2023-03-21T12:50:17Z)
• R-DFCIL: Relation-Guided Representation Learning for Data-Free Class Incremental Learning [64.7996065569457]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、新しい知識を学ぶ際に、破滅的な忘れ方に苦しむ。 近年のDFCIL研究は、従来のクラスのデータ合成のためのモデル反転のような手法を導入している。 本稿では、R-DFCILと呼ばれるDFCILのための関係誘導型表現学習(RRL)を提案する。
  論文  参考訳（メタデータ） (2022-03-24T14:54:15Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。