論文の概要: In-situ animal behavior classification using knowledge distillation and fixed-point quantization

• arxiv url: http://arxiv.org/abs/2209.04130v1
• Date: Fri, 9 Sep 2022 06:07:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-12 12:30:22.418817
• Title: In-situ animal behavior classification using knowledge distillation and fixed-point quantization
• Title（参考訳）: 知識蒸留と固定点量子化を用いたその場動物行動分類
• Authors: Reza Arablouei, Liang Wang, Caitlin Phillips, Lachlan Currie, Jordan Yates, Greg Bishop-Hurley
• Abstract要約: 我々は、教師モデルとして残差ニューラルネットワーク(ResNet)として知られる、深く複雑な畳み込みニューラルネットワークを採用している。 我々は,開発したKDモデルについて,汎用の首輪および耳栓装置の組込みシステム上で,定量化および定量化の両バージョンを実装した。
• 参考スコア（独自算出の注目度）: 6.649514998517633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We explore the use of knowledge distillation (KD) for learning compact and accurate models that enable classification of animal behavior from accelerometry data on wearable devices. To this end, we take a deep and complex convolutional neural network, known as residual neural network (ResNet), as the teacher model. ResNet is specifically designed for multivariate time-series classification. We use ResNet to distil the knowledge of animal behavior classification datasets into soft labels, which consist of the predicted pseudo-probabilities of every class for each datapoint. We then use the soft labels to train our significantly less complex student models, which are based on the gated recurrent unit (GRU) and multilayer perceptron (MLP). The evaluation results using two real-world animal behavior classification datasets show that the classification accuracy of the student GRU-MLP models improves appreciably through KD, approaching that of the teacher ResNet model. To further reduce the computational and memory requirements of performing inference using the student models trained via KD, we utilize dynamic fixed-point quantization through an appropriate modification of the computational graphs of the models. We implement both unquantized and quantized versions of the developed KD-based models on the embedded systems of our purpose-built collar and ear tag devices to classify animal behavior in situ and in real time. The results corroborate the effectiveness of KD and quantization in improving the inference performance in terms of both classification accuracy and computational and memory efficiency.
• Abstract（参考訳）: ウェアラブルデバイス上での加速度計測データから動物行動の分類を可能にするコンパクトで正確なモデルを学ぶための知識蒸留(kd)の利用について検討する。 この目的のために,教師モデルとして残差ニューラルネットワーク(resnet)と呼ばれる,深く複雑な畳み込みニューラルネットワークを用いる。 ResNetは多変量時系列分類用に特別に設計されている。 resnetを用いて,動物行動分類データセットの知識をソフトラベルに分割し,各データポイントに対する各クラスの疑似確率を予測した。 次に, ソフトラベルを用いて, ゲートリカレントユニット (gru) と多層パーセプトロン (mlp) をベースとする, より複雑でない学生モデルの学習を行った。 2つの実世界の動物行動分類データセットを用いた評価結果から,gru-mlpモデルの分類精度はkdにより向上し,教師のresnetモデルに近づいた。 kdで学習した学生モデルを用いて推論を行うための計算とメモリの要求をさらに削減するために,モデルの計算グラフを適切に修正することで動的不動点量子化を行う。 動物行動の分類をリアルタイムに行うために, 開発したKDモデルと耳栓装置の組込みシステム上で, 定量化および定量化の両バージョンを実装した。 その結果、kdの有効性と量子化が、分類精度と計算量とメモリ効率の両面で推論性能の向上に寄与した。

関連論文リスト

• Measuring and Improving Attentiveness to Partial Inputs with Counterfactuals [91.59906995214209]
  我々は,新しい評価手法であるCAT(Facterfactual Attentiveness Test)を提案する。 CATは、入力の一部を別の例から別の例に置き換えることで、予測を変更する注意深いモデルを期待することで、反事実を使用する。 実験データの精度が向上する一方, GPT3 は実演回数の増加により注意力の低下がみられた。
  論文  参考訳（メタデータ） (2023-11-16T06:27:35Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• Deep Learning Models for Knowledge Tracing: Review and Empirical Evaluation [2.423547527175807]
  我々は,オープンで広く利用されているデータセットを用いた深層学習知識追跡(DLKT)モデルをレビューし,評価する。 評価されたDLKTモデルは、以前報告した結果の再現性と評価のために再実装されている。
  論文  参考訳（メタデータ） (2021-12-30T14:19:27Z)
• Animal Behavior Classification via Accelerometry Data and Recurrent Neural Networks [11.099308746733028]
  各種リカレントニューラルネットワーク(RNN)モデルを用いた加速度計測データを用いた動物行動の分類について検討した。 検討したモデルの分類性能と複雑性を評価する。 また、評価には2つの最先端畳み込みニューラルネットワーク(CNN)ベースの時系列分類モデルも含んでいる。
  論文  参考訳（メタデータ） (2021-11-24T23:28:25Z)
• Learning to Rectify for Robust Learning with Noisy Labels [25.149277009932423]
  分類ネットワークのトレーニング手順を適応的に修正するためのワープ確率推論(WarPI)を提案する。 雑音ラベルによる頑健な学習の4つのベンチマークでWarPIを評価し, 異種雑音下での新たな最先端の学習を実現する。
  論文  参考訳（メタデータ） (2021-11-08T02:25:50Z)
• Calibrating Class Activation Maps for Long-Tailed Visual Recognition [60.77124328049557]
  本稿では,CNNの長期分布からネットワーク学習を改善するための2つの効果的な修正を提案する。 まず,ネットワーク分類器の学習と予測を改善するために,CAMC (Class Activation Map) モジュールを提案する。 第2に,長期化問題における表現学習における正規化分類器の利用について検討する。
  論文  参考訳（メタデータ） (2021-08-29T05:45:03Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• Stochastic Precision Ensemble: Self-Knowledge Distillation for Quantized Deep Neural Networks [27.533162215182422]
  エッジデバイスへの展開のために、ディープニューラルネットワーク(QDNN)の量子化が活発に研究されている。 近年の研究では、量子化されたネットワークの性能を向上させるために知識蒸留(KD)法が採用されている。 本研究では,QDNN(SPEQ)のためのアンサンブルトレーニングを提案する。
  論文  参考訳（メタデータ） (2020-09-30T08:38:37Z)
• Supervised Learning in the Presence of Concept Drift: A modelling framework [5.22609266390809]
  非定常環境における教師あり学習の研究のためのモデリングフレームワークを提案する。 学習システムの例として、分類のためのプロトタイプベースの学習ベクトル量子化(LVQ)と回帰タスクのための浅層ニューラルネットワークをモデル化する。
  論文  参考訳（メタデータ） (2020-05-21T09:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。