論文の概要: Knowledge Distillation from Ensemble of Offsets for Head Pose Estimation

• arxiv url: http://arxiv.org/abs/2108.09183v1
• Date: Fri, 20 Aug 2021 13:59:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-23 13:24:28.387167
• Title: Knowledge Distillation from Ensemble of Offsets for Head Pose Estimation
• Title（参考訳）: 頭部ポーズ推定のためのオフセットアンサンブルからの知識蒸留
• Authors: Andrey Sheka, Victor Samun
• Abstract要約: 本稿では,頭部ポーズを1つの画像から推定する手法を提案する。 この推定は、ニューラルネットワーク(NN)を2段階に分けて行う。 KD-ResNet152 は最良の結果であり、KD-ResNet18 は AFLW2000 データセットよりも優れた結果が得られる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper proposes a method for estimating the head pose from a single image. This estimation uses a neural network (NN) obtained in two stages. In the first stage, we trained the base NN, which has one regression head and four regression via classification (RvC) heads. We build the ensemble of offsets using small offsets of face bounding boxes. In the second stage, we perform knowledge distillation (KD) from the ensemble of offsets of the base NN into the final NN with one RvC head. On the main test protocol, the use of the offset ensemble improves the results of the base NN, and the KD improves the results from the offset ensemble. The KD improves the results by an average of 7.7\% compared to the non-ensemble version. The proposed NN on the main test protocol improves the state-of-the-art result on AFLW2000 and approaches, with only a minimal gap, the state-of-the-art result on BIWI. Our NN uses only head pose data, but the previous state-of-the-art model also uses facial landmarks during training. We have made publicly available trained NNs and face bounding boxes for the 300W-LP, AFLW, AFLW2000, and BIWI datasets. KD-ResNet152 has the best results, and KD-ResNet18 has a better result on the AFLW2000 dataset than any previous method.
• Abstract（参考訳）: 本稿では,頭部ポーズを単一画像から推定する手法を提案する。 この推定は、ニューラルネットワーク(NN)を2段階に分けて行う。 第一段階では1つの回帰ヘッドと4つの回帰ヘッドを持つベースNNを分類(RvC)ヘッドで訓練した。 顔境界ボックスの小さなオフセットを用いてオフセットのアンサンブルを構築する。 第2段階では、ベースNNのオフセットのアンサンブルから、RvCヘッド1つで最終NNへの知識蒸留(KD)を行う。 メインテストプロトコルでは、オフセットアンサンブルの使用によりベースnnの結果が改善され、kdはオフセットアンサンブルから結果が改善される。 kdは、ナンセンス版と比較して平均7.7\%で結果を改善する。 メインテストプロトコル上のNNは、AFLW2000の最先端結果を改善し、最小のギャップしか持たず、BIWIの最先端結果を改善する。 私たちのNNは頭ポーズデータのみを使用しますが、以前の最先端モデルはトレーニング中に顔のランドマークも使用しています。 我々は,300W-LP,AFLW,AFLW2000,BIWIデータセット用のトレーニングNNとフェイスバウンディングボックスを公開している。 KD-ResNet152 は最良の結果であり、KD-ResNet18 は AFLW2000 データセットよりも優れた結果が得られる。

関連論文リスト

• The Split Matters: Flat Minima Methods for Improving the Performance of GNNs [2.9443230571766854]
  グラフニューラルネットワーク(GNN)のトレーニングのための平らなミニマ法とそれらの組み合わせについて検討する。 我々は,異なる列車試験分割による,小規模かつ大規模な引用,共同購入,およびタンパク質データセットの実験を行った。 実験結果から, 列車分割がランダム化される場合, 平坦なミニマ法はGNNモデルの性能を2点以上向上できることがわかった。
  論文  参考訳（メタデータ） (2023-06-15T13:29:09Z)
• INK: Injecting kNN Knowledge in Nearest Neighbor Machine Translation [57.952478914459164]
  kNN-MTは、推論中に隣接する表現に基づいて予測を円滑にするための効果的なパラダイムを提供する。 我々は,kNN近傍の表現を少数の新しいパラメータで調整することで,表現空間を円滑にするための効果的なトレーニングフレームワークINKを提案する。 4つのベンチマークデータセットでの実験では、メソッドは1.99 COMETと1.0 BLEUの平均ゲインを達成し、0.02倍のメモリ空間と1.9倍の推論速度を持つ最先端のkNN-MTシステムより優れていた。
  論文  参考訳（メタデータ） (2023-06-10T08:39:16Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• An Improved Normed-Deformable Convolution for Crowd Counting [70.02434289611566]
  頭の中のCNN機能のスケール適応機能を活用するために、変形可能な畳み込みを提案する。 本論文では,改良されたノーマッド・デフォルマブル・コンボリューション(textiti.e.NDConv)を提案する。 本手法は,上海技術A,上海技術B,UCF_QNRF,UCF_CC_50データセットの最先端手法より優れている。
  論文  参考訳（メタデータ） (2022-06-16T10:56:26Z)
• Neural Optimization Kernel: Towards Robust Deep Learning [13.147925376013129]
  近年の研究では、ニューラルネットワーク(NN)とカーネルメソッドの関連性が示されている。 本稿では,カーネル(NOK)という新しいカーネルファミリーを提案する。 パラメータ化ディープNN(NOK)は,経験的リスクを低減し,有界一般化を同時に低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-11T00:34:55Z)
• Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
  kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
  論文  参考訳（メタデータ） (2021-05-27T09:27:42Z)
• "BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
  バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
  論文  参考訳（メタデータ） (2021-04-16T16:46:57Z)
• A Bop and Beyond: A Second Order Optimizer for Binarized Neural Networks [0.0]
  Binary Neural Networks (BNNs) の最適化は、実数値の重みをバイナライズ表現で近似することに依存している。 本稿では,第2の生モーメント推定を用いて第1の生モーメントを正規化し,しきい値との比較を行うアダム法と並行する手法を提案する。 提案した2つのバージョン – バイアス付きバージョンとバイアス修正バージョン – をそれぞれ独自のアプリケーションで提示する。
  論文  参考訳（メタデータ） (2021-04-11T22:20:09Z)
• Danish Fungi 2020 -- Not Just Another Image Recognition Dataset [0.0]
  デンマークのFungi 2020(DF20)という新しいきめ細かいデータセットとベンチマークを紹介します。 データセットはデンマークの菌類アトラスに提出された観測結果から構築されている。 df20はimagenetと重複しないため、imagenetの公開チェックポイントから微調整されたモデルの偏りのない比較が可能になる。
  論文  参考訳（メタデータ） (2021-03-18T09:33:11Z)
• Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
  追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。 すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。 本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:29:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。