論文の概要: MarginDistillation: distillation for margin-based softmax

• arxiv url: http://arxiv.org/abs/2003.02586v1
• Date: Thu, 5 Mar 2020 13:03:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 07:18:24.243963
• Title: MarginDistillation: distillation for margin-based softmax
• Title（参考訳）: マージン蒸留:マージン系ソフトマックスの蒸留
• Authors: David Svitov and Sergey Alyamkin
• Abstract要約: エッジデバイスのための顔識別タスクのために、マージンベースのソフトマックスでトレーニングされた軽量ニューラルネットワークモデルが導入された。 本稿では,顔認識タスクにおける他の既知の手法よりも優れた,軽量ニューラルネットワークアーキテクチャのための新しい蒸留手法を提案する。
• 参考スコア（独自算出の注目度）: 0.913755431537592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The usage of convolutional neural networks (CNNs) in conjunction with a margin-based softmax approach demonstrates a state-of-the-art performance for the face recognition problem. Recently, lightweight neural network models trained with the margin-based softmax have been introduced for the face identification task for edge devices. In this paper, we propose a novel distillation method for lightweight neural network architectures that outperforms other known methods for the face recognition task on LFW, AgeDB-30 and Megaface datasets. The idea of the proposed method is to use class centers from the teacher network for the student network. Then the student network is trained to get the same angles between the class centers and the face embeddings, predicted by the teacher network.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(convolutional neural networks, cnns)をマージンベースソフトマックス法と併用することで,顔認識問題に対する最先端の性能を示す。 近年,エッジデバイスの顔識別タスクにおいて,マージンベースソフトマックスを用いてトレーニングした軽量ニューラルネットワークモデルが導入された。 本稿では,lfw,agesb-30,megafaceデータセットの認識タスクにおいて,他の既知の手法に勝る軽量ニューラルネットワークアーキテクチャのための新しい蒸留法を提案する。 提案手法は,学生ネットワークにおける教師ネットワークからの授業センターの利用を目的としている。 そして、教師ネットワークによって予測される、生徒ネットワークを、クラスセンタと顔埋め込みとの間の同じ角度を得るように訓練する。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods [58.44819696433327]
  教師回帰モデルにおける2層ReLUニューラルネットワークのリスクについて検討する。 学生ネットワークは、どの解法よりも確実に優れていることがわかった。
  論文  参考訳（メタデータ） (2022-05-30T02:51:36Z)
• Neural Maximum A Posteriori Estimation on Unpaired Data for Motion Deblurring [87.97330195531029]
  本稿では、ニューラルネットワークをトレーニングし、失明したデータから視覚情報や鋭いコンテンツを復元するためのニューラルネットワークの最大Aポストエリオリ(NeurMAP)推定フレームワークを提案する。 提案されたNeurMAPは、既存のデブロアリングニューラルネットワークに対するアプローチであり、未使用データセット上のイメージデブロアリングネットワークのトレーニングを可能にする最初のフレームワークである。
  論文  参考訳（メタデータ） (2022-04-26T08:09:47Z)
• Facial Landmark Points Detection Using Knowledge Distillation-Based Neural Networks [5.665283675533069]
  本稿では,顔のランドマーク検出のための軽量な学生ネットワークを訓練するための新しい損失関数を提案する。 我々は,2つの教員ネットワーク,トレラント・Teacher と Tough-Teacher を学生ネットワークと組み合わせて利用する。 実験結果から,提案したアーキテクチャにより,より高精度な学習ネットワークが実現されることが示唆された。
  論文  参考訳（メタデータ） (2021-11-13T05:45:14Z)
• Multi-Branch Deep Radial Basis Function Networks for Facial Emotion Recognition [80.35852245488043]
  放射状基底関数(RBF)ユニットによって形成された複数の分岐で拡張されたCNNベースのアーキテクチャを提案する。 RBFユニットは、中間表現を用いて類似のインスタンスで共有される局所パターンをキャプチャする。 提案手法は,提案手法の競争力を高めるためのローカル情報の導入であることを示す。
  論文  参考訳（メタデータ） (2021-09-07T21:05:56Z)
• Facial expression and attributes recognition based on multi-task learning of lightweight neural networks [9.162936410696409]
  顔の識別と顔の属性の分類のための軽量畳み込みニューラルネットワークのマルチタスクトレーニングを検討する。 顔の表情を予測するためには,これらのネットワークを微調整する必要がある。 MobileNet、EfficientNet、RexNetアーキテクチャに基づくいくつかのモデルが提示される。
  論文  参考訳（メタデータ） (2021-03-31T14:21:04Z)
• Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
  本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。 勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。 実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-31T11:47:47Z)
• Few-Data Guided Learning Upon End-to-End Point Cloud Network for 3D Face Recognition [10.880181451789262]
  ポイントクラウドベースの3D顔認識のためのエンドツーエンドのディープラーニングネットワークであるSur3dNet-Faceを提案する。 Rank-1 Recognition Rate (RR1) は、FRGC v2.0データセットで98.85%、Bosphorusデータセットで99.33%である。
  論文  参考訳（メタデータ） (2021-03-31T09:26:14Z)
• The FaceChannel: A Fast & Furious Deep Neural Network for Facial Expression Recognition [71.24825724518847]
  顔の表情の自動認識(FER)の最先端モデルは、非常に深いニューラルネットワークに基づいており、訓練には効果的だがかなり高価である。 私たちは、一般的なディープニューラルネットワークよりもはるかに少ないパラメータを持つ軽量ニューラルネットワークであるFaceChannelを形式化します。 我々は、私たちのモデルがFERの現在の最先端技術に匹敵するパフォーマンスを達成する方法を実証する。
  論文  参考訳（メタデータ） (2020-09-15T09:25:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。