論文の概要: Modeling Accurate Human Activity Recognition for Embedded Devices Using Multi-level Distillation

• arxiv url: http://arxiv.org/abs/2107.07331v1
• Date: Tue, 6 Jul 2021 09:01:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-18 12:33:17.127726
• Title: Modeling Accurate Human Activity Recognition for Embedded Devices Using Multi-level Distillation
• Title（参考訳）: 多レベル蒸留による組み込み機器の高精度ヒューマンアクティビティ認識のモデル化
• Authors: Runze Chen and Haiyong Luo and Fang Zhao and Xuechun Meng and Zhiqing Xie and Yida Zhu
• Abstract要約: IMUセンサに基づくヒューマンアクティビティ認識(HAR)はユビキタスコンピューティングにおいて欠かせない領域である。 組込みデバイスをネイティブにサポートした深部畳み込み型HARモデルを構築するために,多層蒸留を用いたプラグアンドプレイHARモデリングパイプラインを提案する。 SMLDistによって構築されたMobileNet V3モデルを用いて,様々な最先端HARフレームワークの組込みプラットフォームにおける精度,F1マクロスコア,エネルギーコストを比較した。
• 参考スコア（独自算出の注目度）: 5.746224188845082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human activity recognition (HAR) based on IMU sensors is an essential domain in ubiquitous computing. Because of the improving trend to deploy artificial intelligence into IoT devices or smartphones, more researchers design the HAR models for embedded devices. We propose a plug-and-play HAR modeling pipeline with multi-level distillation to build deep convolutional HAR models with native support of embedded devices. SMLDist consists of stage distillation, memory distillation, and logits distillation, which covers all the information flow of the deep models. Stage distillation constrains the learning direction of the intermediate features. Memory distillation teaches the student models how to explain and store the inner relationship between high-dimensional features based on Hopfield networks. Logits distillation constructs distilled logits by a smoothed conditional rule to keep the probable distribution and improve the correctness of the soft target. We compare the performance of accuracy, F1 macro score, and energy cost on the embedded platform of various state-of-the-art HAR frameworks with a MobileNet V3 model built by SMLDist. The produced model has well balance with robustness, efficiency, and accuracy. SMLDist can also compress the models with minor performance loss in an equal compression rate than other state-of-the-art knowledge distillation methods on seven public datasets.
• Abstract（参考訳）: IMUセンサに基づくヒューマンアクティビティ認識(HAR)はユビキタスコンピューティングにおいて不可欠な分野である。 人工知能をIoTデバイスやスマートフォンにデプロイする傾向が改善されているため、より多くの研究者が組み込みデバイス用のHARモデルを設計している。 組込みデバイスをネイティブにサポートした深部畳み込み型HARモデルを構築するために,多層蒸留を用いたプラグアンドプレイHARモデリングパイプラインを提案する。 SMLDistは、深層モデルのすべての情報の流れをカバーする、ステージ蒸留、メモリ蒸留、ロジット蒸留からなる。 ステージ蒸留は中間的特徴の学習方向を制約する。 メモリ蒸留は、ホップフィールドネットワークに基づく高次元特徴間の内部関係の説明と保存方法を学生モデルに教える。 ロジット蒸留は、可算分布を維持し、ソフトターゲットの正確性を向上させるために、滑らかな条件規則で蒸留ロジットを構成する。 SMLDistによって構築されたMobileNet V3モデルを用いて,様々な最先端HARフレームワークの組込みプラットフォームにおける精度,F1マクロスコア,エネルギーコストを比較した。 生成したモデルは、堅牢性、効率、精度とのバランスが良好である。 SMLDistは、7つの公開データセット上の他の最先端知識蒸留法と同等な圧縮速度で、小さな性能損失でモデルを圧縮することもできる。

関連論文リスト

• MERLOT: A Distilled LLM-based Mixture-of-Experts Framework for Scalable Encrypted Traffic Classification [19.476061046309052]
  本稿では,暗号化されたトラフィック分類に最適化された蒸留大言語モデルのスケーラブルな混合実験(MoE)による改良について述べる。 10のデータセットの実験では、最先端モデルよりも優れた、あるいは競合的なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-20T03:01:41Z)
• CLIP-CID: Efficient CLIP Distillation via Cluster-Instance Discrimination [28.061239778773423]
  CLIP(Contrastive Language- Image Pre-Training)は、幅広いタスクにおいて優れたパフォーマンスを実現している。 CLIPは事前学習データのかなりのコーパスに大きく依存しており、計算資源を消費している。 CLIP-CID(CLIP-CID)は,大規模視覚言語基礎モデルからより小さなモデルへ知識を効果的に伝達する蒸留機構である。
  論文  参考訳（メタデータ） (2024-08-18T11:23:21Z)
• TSCM: A Teacher-Student Model for Vision Place Recognition Using Cross-Metric Knowledge Distillation [6.856317526681759]
  視覚的位置認識は、移動ロボットの自律的な探索とナビゲーションにおいて重要な役割を果たす。 既存の手法では、強力だが大規模なネットワークを利用することでこれを克服している。 本稿では,TSCMと呼ばれる高性能な教師と軽量な学生蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-02T02:29:41Z)
• Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation [56.053397775016755]
  本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。 私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
  論文  参考訳（メタデータ） (2023-08-17T17:17:08Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Advancing Reacting Flow Simulations with Data-Driven Models [50.9598607067535]
  マルチ物理問題における機械学習ツールの効果的な利用の鍵は、それらを物理モデルとコンピュータモデルに結合することである。 本章では, 燃焼システムにおけるデータ駆動型低次モデリングの適用可能性について概説する。
  論文  参考訳（メタデータ） (2022-09-05T16:48:34Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Self-Feature Regularization: Self-Feature Distillation Without Teacher Models [0.0]
  浅層層における機能学習を監督するために深層の特徴を用いるセルフフィーチャー正規化(sfr)を提案する。 まず,局所的な特徴にマッチする一般化l2損失と,チャネル次元においてより集中的に蒸留する多対一の手法を用いる。
  論文  参考訳（メタデータ） (2021-03-12T15:29:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。