論文の概要: AttFC: Attention Fully-Connected Layer for Large-Scale Face Recognition with One GPU

• arxiv url: http://arxiv.org/abs/2503.06839v1
• Date: Mon, 10 Mar 2025 01:59:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:51:45.715088
• Title: AttFC: Attention Fully-Connected Layer for Large-Scale Face Recognition with One GPU
• Title（参考訳）: AttFC:1つのGPUによる大規模顔認識のためのアテンションフル接続層
• Authors: Zhuowen Zheng, Yain-Whar Si, Xiaochen Yuan, Junwei Duan, Ke Wang, Xiaofan Li, Xinyuan Zhang, Xueyuan Gong,
• Abstract要約: 本稿では,計算資源を大幅に削減できるアテンションフルコネクテッド(AttFC)層を提案する。 AttFCはアテンションローダを使用して生成クラスセンター(GCC)を生成し、動的クラスコンテナ(DCC)でクラスセンターを動的に保存する。 DCC はすべてのクラスセンターの小さな部分集合を FC に格納するだけなので、そのパラメータ数は FC 層よりもかなり少ない。
• 参考スコア（独自算出の注目度）: 9.586384882730798
• License:
• Abstract: Nowadays, with the advancement of deep neural networks (DNNs) and the availability of large-scale datasets, the face recognition (FR) model has achieved exceptional performance. However, since the parameter magnitude of the fully connected (FC) layer directly depends on the number of identities in the dataset. If training the FR model on large-scale datasets, the size of the model parameter will be excessively huge, leading to substantial demand for computational resources, such as time and memory. This paper proposes the attention fully connected (AttFC) layer, which could significantly reduce computational resources. AttFC employs an attention loader to generate the generative class center (GCC), and dynamically store the class center with Dynamic Class Container (DCC). DCC only stores a small subset of all class centers in FC, thus its parameter count is substantially less than the FC layer. Also, training face recognition models on large-scale datasets with one GPU often encounter out-of-memory (OOM) issues. AttFC overcomes this and achieves comparable performance to state-of-the-art methods.
• Abstract（参考訳）: 近年、ディープニューラルネットワーク(DNN)の進歩と大規模データセットの可用性により、顔認識(FR)モデルは優れたパフォーマンスを実現している。 しかし、完全に連結された(FC)層のパラメータ等級はデータセットのアイデンティティの数に依存している。 大規模データセット上でFRモデルをトレーニングする場合、モデルパラメータのサイズは過剰に巨大になり、時間やメモリなどの計算リソースの需要が大幅に増加する。 本稿では,計算資源を大幅に削減できるアテンションフルコネクテッド(AttFC)層を提案する。 AttFCはアテンションローダを使用して生成クラスセンター(GCC)を生成し、動的クラスコンテナ(DCC)でクラスセンターを動的に保存する。 DCC はすべてのクラスセンターの小さな部分集合を FC に格納するだけなので、そのパラメータ数は FC 層よりもかなり少ない。 また、1つのGPUで大規模なデータセット上で顔認識モデルをトレーニングすることは、しばしばメモリ外問題(OOM)に遭遇する。 AttFCはこれを克服し、最先端のメソッドに匹敵するパフォーマンスを達成する。

関連論文リスト

• Dataset Quantization [72.61936019738076]
  大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
  論文  参考訳（メタデータ） (2023-08-21T07:24:29Z)
• RFC-Net: Learning High Resolution Global Features for Medical Image Segmentation on a Computational Budget [4.712700480142554]
  本稿では,圧縮された計算空間における高解像度グローバルな特徴を学習するReceptive Field Chain Network (RFC-Net)を提案する。 提案実験により,RFC-Net が Kvasir および CVC-ClinicDB のPolyp セグメンテーションのベンチマークにおいて,最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-02-13T06:52:47Z)
• Visual Recognition with Deep Nearest Centroids [57.35144702563746]
  我々は、概念的にエレガントで驚くほど効果的な大規模視覚認識ネットワークである深部セントロイド(DNC)を考案した。 パラメトリックと比較すると、DNCは画像分類(CIFAR-10, ImageNet)に優れ、画像認識(ADE20K, Cityscapes)を大いに起動する。
  論文  参考訳（メタデータ） (2022-09-15T15:47:31Z)
• Killing Two Birds with One Stone:Efficient and Robust Training of Face Recognition CNNs by Partial FC [66.71660672526349]
  部分FC (Partial FC) という,完全連結層 (FC) のスパース更新版を提案する。 各イテレーションにおいて、マージンベースのソフトマックス損失を計算するために、正のクラスセンターと負のクラスセンターのランダムなサブセットが選択される。 計算要求、クラス間衝突の確率、テールクラスセンターにおけるパッシブ更新の頻度は劇的に減少する。
  論文  参考訳（メタデータ） (2022-03-28T14:33:21Z)
• R-DFCIL: Relation-Guided Representation Learning for Data-Free Class Incremental Learning [64.7996065569457]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、新しい知識を学ぶ際に、破滅的な忘れ方に苦しむ。 近年のDFCIL研究は、従来のクラスのデータ合成のためのモデル反転のような手法を導入している。 本稿では、R-DFCILと呼ばれるDFCILのための関係誘導型表現学習(RRL)を提案する。
  論文  参考訳（メタデータ） (2022-03-24T14:54:15Z)
• An Efficient Training Approach for Very Large Scale Face Recognition [34.57040695353513]
  より高速な顔分類(F$2$C)と呼ばれる超大規模顔データセットのための新しい訓練手法を提案する。 F$2$Cで最初にギャラリーネットとプローブネットを定義し、顔認識のための顔の特徴を抽出する。 動的クラスプールはFC層の代用と見なすことができ、そのサイズはFCよりもはるかに小さい。
  論文  参考訳（メタデータ） (2021-05-21T14:34:00Z)
• ProgressiveSpinalNet architecture for FC layers [0.0]
  ディープラーニングモデルでは、FC層は、以前の層から学んだ特徴に基づいて入力の分類に最も重要な役割を有する。 本稿では,これらのパラメータを大幅に削減し,性能を向上することを目的とする。 動機はSpinalNetや他の生物学的アーキテクチャからインスピレーションを得ています。
  論文  参考訳（メタデータ） (2021-03-21T11:54:50Z)
• Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
  最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。 少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。 これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
  論文  参考訳（メタデータ） (2020-08-04T10:41:32Z)
• Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
  クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。 本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。 我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
  論文  参考訳（メタデータ） (2020-03-23T08:05:41Z)
• AutoFCL: Automatically Tuning Fully Connected Layers for Handling Small Dataset [13.909484906513102]
  提案したAutoFCLモデルは,ベイズ最適化を用いてCNNのFC層の構造を自動学習する。 新しく学習された(ターゲットに依存しない)FC層の微調整は、最先端のパフォーマンスをもたらす。 提案したAutoFCL法は,CalTech-101とOxford-102 Flowersデータセット上で既存の手法より優れている。
  論文  参考訳（メタデータ） (2020-01-22T08:39:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。