Fugu-MT 論文翻訳(概要): A Light-weight Deep Human Activity Recognition Algorithm Using Multi-knowledge Distillation

論文の概要: A Light-weight Deep Human Activity Recognition Algorithm Using Multi-knowledge Distillation

arxiv url: http://arxiv.org/abs/2107.07331v5
Date: Fri, 13 Sep 2024 06:49:52 GMT
ステータス: 処理完了
システム内更新日: 2024-09-18 06:00:45.249605
Title: A Light-weight Deep Human Activity Recognition Algorithm Using Multi-knowledge Distillation
Title（参考訳）: マルチ知識蒸留を用いた軽量深層活動認識アルゴリズム
Authors: Runze Chen, Haiyong Luo, Fang Zhao, Xuechun Meng, Zhiqing Xie, Yida Zhu,
Abstract要約: Inertial Sensor-based Human Activity Recognition (HAR) は、多くの人間中心のモバイルアプリケーションの基礎である。我々は、広く使われているMobileNetに基づいて、Stage-Logits-Memory Distillation (Dist)と呼ばれるマルチレベルHARモデリングパイプラインを設計する。蒸留工程における周波数関連の特徴により多くの注意を払うことで、SMLDistは学生のHAR分類の堅牢性を改善する。
参考スコア（独自算出の注目度）: 10.71381120193733
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Inertial sensor-based human activity recognition (HAR) is the base of many human-centered mobile applications. Deep learning-based fine-grained HAR models enable accurate classification in various complex application scenarios. Nevertheless, the large storage and computational overhead of the existing fine-grained deep HAR models hinder their widespread deployment on resource-limited platforms. Inspired by the knowledge distillation's reasonable model compression and potential performance improvement capability, we design a multi-level HAR modeling pipeline called Stage-Logits-Memory Distillation (SMLDist) based on the widely-used MobileNet. By paying more attention to the frequency-related features during the distillation process, the SMLDist improves the HAR classification robustness of the students. We also propose an auto-search mechanism in the heterogeneous classifiers to improve classification performance. Extensive simulation results demonstrate that SMLDist outperforms various state-of-the-art HAR frameworks in accuracy and F1 macro score. The practical evaluation of the Jetson Xavier AGX platform shows that the SMLDist model is both energy-efficient and computation-efficient. These experiments validate the reasonable balance between the robustness and efficiency of the proposed model. The comparative experiments of knowledge distillation on six public datasets also demonstrate that the SMLDist outperforms other advanced knowledge distillation methods of students' performance, which verifies the good generalization of the SMLDist on other classification tasks, including but not limited to HAR.
Abstract（参考訳）: Inertial Sensor-based Human Activity Recognition (HAR) は、多くの人間中心のモバイルアプリケーションの基礎である。ディープラーニングに基づくきめ細かいHARモデルは、さまざまな複雑なアプリケーションシナリオで正確な分類を可能にする。それでも、既存の粒度の深いHARモデルの大規模なストレージと計算オーバーヘッドは、リソース制限されたプラットフォームへの広範な展開を妨げる。知識蒸留の合理的なモデル圧縮と潜在的な性能改善能力にインスパイアされた我々は、広く使われているMobileNetに基づいて、Stage-Logits-Memory Distillation (SMLDist)と呼ばれるマルチレベルHARモデリングパイプラインを設計する。蒸留工程における周波数関連の特徴により多くの注意を払うことで、SMLDistは学生のHAR分類の堅牢性を改善する。また、異種分類器における自動探索機構を提案し、分類性能を向上させる。 SMLDist は様々な最先端 HAR フレームワークを精度,F1 マクロスコアで上回る性能を示した。 Jetson Xavier AGX プラットフォームを実用的に評価したところ、SMLDist モデルはエネルギー効率と計算効率の両方であることがわかった。これらの実験は、提案モデルのロバスト性と効率の合理的なバランスを検証した。 6つの公開データセットにおける知識蒸留の比較実験は、SMLDistが他の高度な知識蒸留方法よりも優れていることを示した。

関連論文リスト

CLIP-CID: Efficient CLIP Distillation via Cluster-Instance Discrimination [28.061239778773423]
CLIP(Contrastive Language- Image Pre-Training)は、幅広いタスクにおいて優れたパフォーマンスを実現している。 CLIPは事前学習データのかなりのコーパスに大きく依存しており、計算資源を消費している。 CLIP-CID(CLIP-CID)は,大規模視覚言語基礎モデルからより小さなモデルへ知識を効果的に伝達する蒸留機構である。
論文参考訳（メタデータ） (2024-08-18T11:23:21Z)
ReffAKD: Resource-efficient Autoencoder-based Knowledge Distillation [3.301728339780329]
本稿では,資源量の多い教師モデルを必要としない知識蒸留効率を向上させる革新的な手法を提案する。そこで本研究では,ソフトラベルを効率的に生成する手法を提案し,大規模な教師モデルの必要性を排除した。 CIFAR-100、Tiny Imagenet、Fashion MNISTなど、さまざまなデータセットに関する実験は、我々のアプローチの優れたリソース効率を実証している。
論文参考訳（メタデータ） (2024-04-15T15:54:30Z)
TSCM: A Teacher-Student Model for Vision Place Recognition Using Cross-Metric Knowledge Distillation [6.856317526681759]
視覚的位置認識は、移動ロボットの自律的な探索とナビゲーションにおいて重要な役割を果たす。既存の手法では、強力だが大規模なネットワークを利用することでこれを克服している。本稿では,TSCMと呼ばれる高性能な教師と軽量な学生蒸留フレームワークを提案する。
論文参考訳（メタデータ） (2024-04-02T02:29:41Z)
Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation [56.053397775016755]
本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
論文参考訳（メタデータ） (2023-08-17T17:17:08Z)
Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-06-08T05:44:06Z)
Knowledge Diffusion for Distillation [53.908314960324915]
知識蒸留(KD)における教師と学生の表現ギャップこれらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
論文参考訳（メタデータ） (2023-05-25T04:49:34Z)
Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
論文参考訳（メタデータ） (2022-11-21T03:09:42Z)
Advancing Reacting Flow Simulations with Data-Driven Models [50.9598607067535]
マルチ物理問題における機械学習ツールの効果的な利用の鍵は、それらを物理モデルとコンピュータモデルに結合することである。本章では, 燃焼システムにおけるデータ駆動型低次モデリングの適用可能性について概説する。
論文参考訳（メタデータ） (2022-09-05T16:48:34Z)
MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文参考訳（メタデータ） (2022-05-31T04:57:06Z)
Self-Feature Regularization: Self-Feature Distillation Without Teacher Models [0.0]
浅層層における機能学習を監督するために深層の特徴を用いるセルフフィーチャー正規化(sfr)を提案する。まず,局所的な特徴にマッチする一般化l2損失と,チャネル次元においてより集中的に蒸留する多対一の手法を用いる。
論文参考訳（メタデータ） (2021-03-12T15:29:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。