論文の概要: PocketNet: Extreme Lightweight Face Recognition Network using Neural Architecture Search and Multi-Step Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2108.10710v1
• Date: Tue, 24 Aug 2021 13:19:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-25 14:16:34.822603
• Title: PocketNet: Extreme Lightweight Face Recognition Network using Neural Architecture Search and Multi-Step Knowledge Distillation
• Title（参考訳）: PocketNet: ニューラルネットワーク検索とマルチステップ知識蒸留を用いた極軽量顔認識ネットワーク
• Authors: Fadi Boutros, Patrick Siebke, Marcel Klemt, Naser Damer, Florian Kirchbuchner, Arjan Kuijper
• Abstract要約: 我々はニューラルアーキテクチャ検索を用いて、新しい顔認識モデル、すなわちPocketNetを開発した。 我々は,9つの異なるベンチマークにおいて,最近のコンパクト顔認証モデルとの比較実験を行った。 PocketNetsは9つの主要なベンチマークで、常に最先端(SOTA)の顔認識性能を向上してきた。
• 参考スコア（独自算出の注目度）: 5.858033242850427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have rapidly become the mainstream method for face recognition. However, deploying such models that contain an extremely large number of parameters to embedded devices or in application scenarios with limited memory footprint is challenging. In this work, we present an extremely lightweight and accurate face recognition solution. We utilize neural architecture search to develop a new family of face recognition models, namely PocketNet. We also propose to enhance the verification performance of the compact model by presenting a novel training paradigm based on knowledge distillation, namely the multi-step knowledge distillation. We present an extensive experimental evaluation and comparisons with the recent compact face recognition models on nine different benchmarks including large-scale evaluation benchmarks such as IJB-B, IJB-C, and MegaFace. PocketNets have consistently advanced the state-of-the-art (SOTA) face recognition performance on nine mainstream benchmarks when considering the same level of model compactness. With 0.92M parameters, our smallest network PocketNetS-128 achieved very competitive results to recent SOTA compacted models that contain more than 4M parameters. Training codes and pre-trained models are publicly released https://github.com/fdbtrs/PocketNet.
• Abstract（参考訳）: ディープニューラルネットワークは、顔認識の主流となっている。 しかし、組み込みデバイスやメモリフットプリントの少ないアプリケーションシナリオに非常に多くのパラメータを含むモデルをデプロイすることは困難である。 本研究では,極めて軽量かつ高精度な顔認識ソリューションを提案する。 我々はニューラルアーキテクチャ検索を用いて、新しい顔認識モデル、すなわちPocketNetを開発した。 また,多段階の知識蒸留という知識蒸留に基づく新しい学習パラダイムを提示することにより,コンパクトモデルの検証性能を向上させることを提案する。 我々は,IJB-B,IJB-C,MegaFaceなどの大規模評価ベンチマークを含む9つのベンチマークにおいて,最近のコンパクト顔認識モデルとの比較実験を行った。 pocketnetsは、同じレベルのモデルコンパクト性を考慮して、9つのメインストリームベンチマークで最先端の顔認識性能を一貫して向上させてきた。 0.92mのパラメータを持つネットワークpocketnets-128は、4m以上のパラメータを含む最近のsotaコンパクトモデルと非常に競争力のある結果を得た。 トレーニングコードと事前トレーニングされたモデルはhttps://github.com/fdbtrs/PocketNet.comで公開されている。

関連論文リスト

• Computer Vision Model Compression Techniques for Embedded Systems: A Survey [75.38606213726906]
  本稿では,コンピュータビジョンタスクに適用される主モデル圧縮技術について述べる。 本稿では,圧縮サブ領域の特性について述べるとともに,異なるアプローチを比較し,最適な手法を選択する方法について論じる。 初期の実装課題を克服する上で、研究者や新しい実践者を支援するためのコードも共有しています。
  論文  参考訳（メタデータ） (2024-08-15T16:41:55Z)
• GhostNetV3: Exploring the Training Strategies for Compact Models [41.63605520952545]
  コンパクトモデルのための強力なトレーニング戦略を導入する。 高性能コンパクトモデルの訓練には,再パラメータ化と知識蒸留の適切な設計が不可欠であることがわかった。 我々の戦略により、GhostNetV3 1.3$times$は269MのFLOPと14.46msのレイテンシで、トップ1の精度79.1%を達成する。
  論文  参考訳（メタデータ） (2024-04-17T09:33:31Z)
• SqueezerFaceNet: Reducing a Small Face Recognition CNN Even More Via Filter Pruning [55.84746218227712]
  我々は,100万パラメータ未満の軽量顔認識ネットワークであるSqueezerFaceNetを開発した。 性能を損なうことなく、さらに(最大40%)削減できることを示す。
  論文  参考訳（メタデータ） (2023-07-20T08:38:50Z)
• A Robust and Low Complexity Deep Learning Model for Remote Sensing Image Classification [1.9019295680940274]
  リモートセンシング画像分類(RSIC)のための頑健で低複雑性なディープラーニングモデルを提案する。 ベンチマークデータセットNWPU-RESISC45の広範な実験を行うことで、ロバストで低複雑さのモデルを実現する。
  論文  参考訳（メタデータ） (2022-11-05T06:14:30Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• LIDSNet: A Lightweight on-device Intent Detection model using Deep Siamese Network [2.624902795082451]
  LIDSNetは、デバイス上の意図を検出する新しい軽量なモデルである。 我々は,Samsung Galaxy S20デバイス上でのMobileBERTよりも,推論時に少なくとも41倍,30倍高速であることを示す。
  論文  参考訳（メタデータ） (2021-10-06T18:20:37Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)
• Real-time Denoising and Dereverberation with Tiny Recurrent U-Net [12.533488149023025]
  我々は,現在の最先端モデルの性能と一致する軽量オンライン推論モデルであるTiny Recurrent U-Net(TRU-Net)を提案する。 TRU-Netの量子化バージョンのサイズは362キロバイトであり、エッジデバイスにデプロイできるほど小さい。 客観評価と主観評価の両方の結果から,我々のモデルが現在の最先端モデルと競合する性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2021-02-05T14:46:41Z)
• The FaceChannel: A Fast & Furious Deep Neural Network for Facial Expression Recognition [71.24825724518847]
  顔の表情の自動認識(FER)の最先端モデルは、非常に深いニューラルネットワークに基づいており、訓練には効果的だがかなり高価である。 私たちは、一般的なディープニューラルネットワークよりもはるかに少ないパラメータを持つ軽量ニューラルネットワークであるFaceChannelを形式化します。 我々は、私たちのモデルがFERの現在の最先端技術に匹敵するパフォーマンスを達成する方法を実証する。
  論文  参考訳（メタデータ） (2020-09-15T09:25:37Z)
• The FaceChannel: A Light-weight Deep Neural Network for Facial Expression Recognition [71.24825724518847]
  FER自動化のための現在の最先端モデルは、訓練が難しい非常に深いニューラルネットワークに基づいている。 私たちは、一般的なディープニューラルネットワークよりもはるかに少ないパラメータを持つ軽量ニューラルネットワークであるFaceChannelを形式化します。 私たちは、FaceChannelが、FERの現在の最先端技術と比較して、同等の、たとえそうでなくても、パフォーマンスを実現する方法を示します。
  論文  参考訳（メタデータ） (2020-04-17T12:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。