論文の概要: Unified Anomaly Detection methods on Edge Device using Knowledge Distillation and Quantization

• arxiv url: http://arxiv.org/abs/2407.02968v1
• Date: Wed, 3 Jul 2024 10:04:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 14:45:33.560142
• Title: Unified Anomaly Detection methods on Edge Device using Knowledge Distillation and Quantization
• Title（参考訳）: 知識蒸留と量子化を用いたエッジデバイス上の統一異常検出法
• Authors: Sushovan Jena, Arya Pulkit, Kajal Singh, Anoushka Banerjee, Sharad Joshi, Ananth Ganesh, Dinesh Singh, Arnav Bhavsar,
• Abstract要約: 欠陥検出を用いたほとんどの異常検出アプローチでは、各クラスに個別のモデルを適用する必要がある1クラスモデルを採用している。 本研究では,統一型マルチクラス構成について検討する。 実験により,マルチクラスモデルは標準MVTec ADデータセットの1クラスモデルと同等に動作することが示された。
• 参考スコア（独自算出の注目度）: 4.6651371876849
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid advances in deep learning and smart manufacturing in Industry 4.0, there is an imperative for high-throughput, high-performance, and fully integrated visual inspection systems. Most anomaly detection approaches using defect detection datasets, such as MVTec AD, employ one-class models that require fitting separate models for each class. On the contrary, unified models eliminate the need for fitting separate models for each class and significantly reduce cost and memory requirements. Thus, in this work, we experiment with considering a unified multi-class setup. Our experimental study shows that multi-class models perform at par with one-class models for the standard MVTec AD dataset. Hence, this indicates that there may not be a need to learn separate object/class-wise models when the object classes are significantly different from each other, as is the case of the dataset considered. Furthermore, we have deployed three different unified lightweight architectures on the CPU and an edge device (NVIDIA Jetson Xavier NX). We analyze the quantized multi-class anomaly detection models in terms of latency and memory requirements for deployment on the edge device while comparing quantization-aware training (QAT) and post-training quantization (PTQ) for performance at different precision widths. In addition, we explored two different methods of calibration required in post-training scenarios and show that one of them performs notably better, highlighting its importance for unsupervised tasks. Due to quantization, the performance drop in PTQ is further compensated by QAT, which yields at par performance with the original 32-bit Floating point in two of the models considered.
• Abstract（参考訳）: 産業4.0におけるディープラーニングとスマートマニュファクチャリングの急速な進歩により、ハイスループット、ハイパフォーマンス、完全に統合された視覚検査システムに欠かせないものが存在する。 MVTec ADのような欠陥検出データセットを使用したほとんどの異常検出アプローチでは、各クラスに個別のモデルを適用する必要がある1クラスモデルを採用している。 それとは対照的に、統一モデルは各クラスに別々のモデルを適用する必要をなくし、コストとメモリの要求を大幅に削減する。 そこで本研究では,統一型マルチクラス構成について検討する。 実験により,マルチクラスモデルは標準MVTec ADデータセットの1クラスモデルと同等に動作することが示された。 したがって、このことは、考慮されたデータセットの場合のように、オブジェクトクラスが互いに著しく異なるときに、別々のオブジェクト/クラス-ワイズモデルを学ぶ必要がないことを示している。 さらに、CPUとエッジデバイス(NVIDIA Jetson Xavier NX)に3つの異なる統一軽量アーキテクチャをデプロイしました。 我々は、異なる精度で性能を向上するために、量子化対応トレーニング(QAT)と後学習量子化(PTQ)を比較しながら、エッジデバイスに展開するためのレイテンシとメモリ要件の観点から、量子化マルチクラス異常検出モデルを分析する。 さらに,訓練後のシナリオで必要とされる2つの異なるキャリブレーション手法について検討し,そのうちの1つは,教師なしタスクの重要性を強調した。 量子化により、PTQの性能低下はQATによりさらに補償され、2つのモデルにおいて元の32ビット浮動小数点と同等の性能が得られる。

関連論文リスト

• HM3: Heterogeneous Multi-Class Model Merging [0.0]
  本研究では,補助ガードレールモデルを単一多機能モデルに統合するためのトレーニングフリーモデルマージ手法について検討する。 異種ラベル空間とマルチクラス分類器をマージする簡単な手法として、異種多クラスモデルマージ(HM3)を提案する。 BERTをベースとしたガードモデルをマージする有望な結果が報告され、その一部はソースモデルよりも平均F1スコア高くなり、推論時間を最大44%削減する。
  論文  参考訳（メタデータ） (2024-09-27T22:42:45Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Attend, Distill, Detect: Attention-aware Entropy Distillation for Anomaly Detection [4.0679780034913335]
  知識蒸留に基づくマルチクラスの異常検出では、低レイテンシで十分なパフォーマンスが期待できるが、1クラスのバージョンに比べて大幅に低下する。 教師と学生のネットワーク間の蒸留プロセスを改善するDCAM(Distributed Convolutional Attention Module)を提案する。
  論文  参考訳（メタデータ） (2024-05-10T13:25:39Z)
• Toward Multi-class Anomaly Detection: Exploring Class-aware Unified Model against Inter-class Interference [67.36605226797887]
  統一型異常検出(MINT-AD)のためのマルチクラスインプリシトニューラル表現変換器を提案する。 マルチクラス分布を学習することにより、モデルが変換器デコーダのクラス対応クエリ埋め込みを生成する。 MINT-ADは、カテゴリと位置情報を特徴埋め込み空間に投影することができ、さらに分類と事前確率損失関数によって監督される。
  論文  参考訳（メタデータ） (2024-03-21T08:08:31Z)
• MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
  ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。 事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。 我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
  論文  参考訳（メタデータ） (2024-03-20T09:17:22Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• Anomaly Detection via Multi-Scale Contrasted Memory [3.0170109896527086]
  マルチスケールの標準プロトタイプをトレーニング中に記憶し,異常偏差値を計算する2段階の異常検出器を新たに導入する。 CIFAR-10の誤差相対改善率を最大35%とすることにより,多種多様なオブジェクト,スタイル,局所異常に対する最先端性能を高い精度で向上させる。
  論文  参考訳（メタデータ） (2022-11-16T16:58:04Z)
• Variant Parallelism: Lightweight Deep Convolutional Models for Distributed Inference on IoT Devices [0.0]
  2つの主要なテクニックは、リソース制約のあるIoTデバイスにモデルを分散する際に、リアルタイムの推論制限を満たすために一般的に使用される。 本稿では,主モデルの異なる変種が生成され,別々のマシンにデプロイ可能な,アンサンブルに基づくディープラーニング分散手法である変分並列性(VP)を提案する。 その結果、我々のモデルではパラメータが5.8-7.1x少なく、4.3-31x少ない乗算累積(MAC)、2.5-13.2倍の応答時間をMobileNetV2と比較できることがわかった。
  論文  参考訳（メタデータ） (2022-10-15T20:52:28Z)
• Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
  自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。 SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。 SFSCは評価データセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-16T16:46:32Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。