論文の概要: A Light-weight Deep Human Activity Recognition Algorithm Using Multi-knowledge Distillation
- arxiv url: http://arxiv.org/abs/2107.07331v5
- Date: Fri, 13 Sep 2024 06:49:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 06:00:45.249605
- Title: A Light-weight Deep Human Activity Recognition Algorithm Using Multi-knowledge Distillation
- Title(参考訳): マルチ知識蒸留を用いた軽量深層活動認識アルゴリズム
- Authors: Runze Chen, Haiyong Luo, Fang Zhao, Xuechun Meng, Zhiqing Xie, Yida Zhu,
- Abstract要約: Inertial Sensor-based Human Activity Recognition (HAR) は、多くの人間中心のモバイルアプリケーションの基礎である。
我々は、広く使われているMobileNetに基づいて、Stage-Logits-Memory Distillation (Dist)と呼ばれるマルチレベルHARモデリングパイプラインを設計する。
蒸留工程における周波数関連の特徴により多くの注意を払うことで、SMLDistは学生のHAR分類の堅牢性を改善する。
- 参考スコア(独自算出の注目度): 10.71381120193733
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inertial sensor-based human activity recognition (HAR) is the base of many human-centered mobile applications. Deep learning-based fine-grained HAR models enable accurate classification in various complex application scenarios. Nevertheless, the large storage and computational overhead of the existing fine-grained deep HAR models hinder their widespread deployment on resource-limited platforms. Inspired by the knowledge distillation's reasonable model compression and potential performance improvement capability, we design a multi-level HAR modeling pipeline called Stage-Logits-Memory Distillation (SMLDist) based on the widely-used MobileNet. By paying more attention to the frequency-related features during the distillation process, the SMLDist improves the HAR classification robustness of the students. We also propose an auto-search mechanism in the heterogeneous classifiers to improve classification performance. Extensive simulation results demonstrate that SMLDist outperforms various state-of-the-art HAR frameworks in accuracy and F1 macro score. The practical evaluation of the Jetson Xavier AGX platform shows that the SMLDist model is both energy-efficient and computation-efficient. These experiments validate the reasonable balance between the robustness and efficiency of the proposed model. The comparative experiments of knowledge distillation on six public datasets also demonstrate that the SMLDist outperforms other advanced knowledge distillation methods of students' performance, which verifies the good generalization of the SMLDist on other classification tasks, including but not limited to HAR.
- Abstract(参考訳): Inertial Sensor-based Human Activity Recognition (HAR) は、多くの人間中心のモバイルアプリケーションの基礎である。
ディープラーニングに基づくきめ細かいHARモデルは、さまざまな複雑なアプリケーションシナリオで正確な分類を可能にする。
それでも、既存の粒度の深いHARモデルの大規模なストレージと計算オーバーヘッドは、リソース制限されたプラットフォームへの広範な展開を妨げる。
知識蒸留の合理的なモデル圧縮と潜在的な性能改善能力にインスパイアされた我々は、広く使われているMobileNetに基づいて、Stage-Logits-Memory Distillation (SMLDist)と呼ばれるマルチレベルHARモデリングパイプラインを設計する。
蒸留工程における周波数関連の特徴により多くの注意を払うことで、SMLDistは学生のHAR分類の堅牢性を改善する。
また、異種分類器における自動探索機構を提案し、分類性能を向上させる。
SMLDist は様々な最先端 HAR フレームワークを精度,F1 マクロスコアで上回る性能を示した。
Jetson Xavier AGX プラットフォームを実用的に評価したところ、SMLDist モデルはエネルギー効率と計算効率の両方であることがわかった。
これらの実験は、提案モデルのロバスト性と効率の合理的なバランスを検証した。
6つの公開データセットにおける知識蒸留の比較実験は、SMLDistが他の高度な知識蒸留方法よりも優れていることを示した。
関連論文リスト
- FSD-BEV: Foreground Self-Distillation for Multi-view 3D Object Detection [33.225938984092274]
本稿では,分散の相違を効果的に回避するFSD方式を提案する。
また2つのポイントクラウド拡張(PCI)戦略を設計し、ポイントクラウドの幅を補う。
マルチスケール・フォアグラウンド・エンハンスメント(MSFE)モジュールを開発し,マルチスケール・フォアグラウンドの特徴を抽出・融合する。
論文 参考訳(メタデータ) (2024-07-14T09:39:44Z) - Promoting CNNs with Cross-Architecture Knowledge Distillation for Efficient Monocular Depth Estimation [4.242540533823568]
トランスフォーマーモデルは通常計算に精通し、その軽量モデルにおける有効性は畳み込みと比較して制限される。
本研究では, 最先端変圧器モデルを監督し, 効率的なCNNモデルを構築するために, DisDepth と呼ばれるMDE のクロスアーキテクチャ知識蒸留手法を提案する。
提案手法は, 種々の効率的な背骨に有意な改良を施し, 効率的な単分子深度推定の可能性を示した。
論文 参考訳(メタデータ) (2024-04-25T07:55:47Z) - Progressive Volume Distillation with Active Learning for Efficient NeRF Architecture Conversion [27.389511043400635]
ニューラルフィールド(NeRF)は3次元シーンの実用的で汎用的な表現として広く採用されている。
本稿では, 系統的蒸留法として, アクティブラーニングを用いたプログレッシブボリューム蒸留法 (PVD-AL) を提案する。
PVD-ALは、各構造を2つの部分に分解し、より浅い体積表現からより深い体積表現への蒸留を徐々に行う。
論文 参考訳(メタデータ) (2023-04-08T13:59:18Z) - SimDistill: Simulated Multi-modal Distillation for BEV 3D Object
Detection [56.24700754048067]
多視点カメラによる3Dオブジェクト検出は低コストで普及しているが、カメラデータのみから正確に3D形状を推定することは依然として困難である。
モデルアーキテクチャと蒸留戦略を慎重に構築し,シミュレートされたマルチモーダル蒸留(SimDistill)法を提案する。
我々のSimDistillは、コスト効率のよいカメラのみの配置を維持しながら、3Dオブジェクト検出のためのより良い特徴表現を学習することができる。
論文 参考訳(メタデータ) (2023-03-29T16:08:59Z) - Generic-to-Specific Distillation of Masked Autoencoders [119.21281960831651]
マスク付きオートエンコーダによって事前訓練された大型モデルの監督下で, 小型ViTモデルのポテンシャルを活かすため, 汎用型蒸留法(G2SD)を提案する。
G2SDでは、バニラViT-Smallモデルは98.7%、98.1%、99.3%のパフォーマンスを画像分類、オブジェクト検出、セマンティックセグメンテーションのために達成している。
論文 参考訳(メタデータ) (2023-02-28T17:13:14Z) - Directed Acyclic Graph Factorization Machines for CTR Prediction via
Knowledge Distillation [65.62538699160085]
本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。
KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
論文 参考訳(メタデータ) (2022-11-21T03:09:42Z) - Multimodal Transformer Distillation for Audio-Visual Synchronization [53.237653873618754]
本稿ではMTDVocaLiSTモデルを提案する。
MTDVocaLiSTはVocaLiSTのモデルサイズを83.52%削減するが、同様の性能を維持している。
論文 参考訳(メタデータ) (2022-10-27T15:53:38Z) - Efficient Federated Learning for AIoT Applications Using Knowledge
Distillation [2.5892786553124085]
フェデレートラーニング(FL)は、ユーザのプライバシを損なうことなく、中央モデルを分散データでトレーニングする。
従来のFLは、ハードラベルのデータを使用してローカルモデルをトレーニングするため、モデル不正確さに悩まされている。
本稿では, AIoTアプリケーションに対して, 効率的かつ正確なFLを実現するための, 蒸留に基づく新しいフェデレートラーニングアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-11-29T06:40:42Z) - Self-Feature Regularization: Self-Feature Distillation Without Teacher
Models [0.0]
浅層層における機能学習を監督するために深層の特徴を用いるセルフフィーチャー正規化(sfr)を提案する。
まず,局所的な特徴にマッチする一般化l2損失と,チャネル次元においてより集中的に蒸留する多対一の手法を用いる。
論文 参考訳(メタデータ) (2021-03-12T15:29:00Z) - Physics-Integrated Variational Autoencoders for Robust and Interpretable
Generative Modeling [86.9726984929758]
我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。
本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。
合成および実世界のデータセットの集合に対して生成的性能改善を示す。
論文 参考訳(メタデータ) (2021-02-25T20:28:52Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳(メタデータ) (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。