論文の概要: Modeling Accurate Human Activity Recognition for Embedded Devices Using
Multi-level Distillation
- arxiv url: http://arxiv.org/abs/2107.07331v1
- Date: Tue, 6 Jul 2021 09:01:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-18 12:33:17.127726
- Title: Modeling Accurate Human Activity Recognition for Embedded Devices Using
Multi-level Distillation
- Title(参考訳): 多レベル蒸留による組み込み機器の高精度ヒューマンアクティビティ認識のモデル化
- Authors: Runze Chen and Haiyong Luo and Fang Zhao and Xuechun Meng and Zhiqing
Xie and Yida Zhu
- Abstract要約: IMUセンサに基づくヒューマンアクティビティ認識(HAR)はユビキタスコンピューティングにおいて欠かせない領域である。
組込みデバイスをネイティブにサポートした深部畳み込み型HARモデルを構築するために,多層蒸留を用いたプラグアンドプレイHARモデリングパイプラインを提案する。
SMLDistによって構築されたMobileNet V3モデルを用いて,様々な最先端HARフレームワークの組込みプラットフォームにおける精度,F1マクロスコア,エネルギーコストを比較した。
- 参考スコア(独自算出の注目度): 5.746224188845082
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human activity recognition (HAR) based on IMU sensors is an essential domain
in ubiquitous computing. Because of the improving trend to deploy artificial
intelligence into IoT devices or smartphones, more researchers design the HAR
models for embedded devices. We propose a plug-and-play HAR modeling pipeline
with multi-level distillation to build deep convolutional HAR models with
native support of embedded devices. SMLDist consists of stage distillation,
memory distillation, and logits distillation, which covers all the information
flow of the deep models. Stage distillation constrains the learning direction
of the intermediate features. Memory distillation teaches the student models
how to explain and store the inner relationship between high-dimensional
features based on Hopfield networks. Logits distillation constructs distilled
logits by a smoothed conditional rule to keep the probable distribution and
improve the correctness of the soft target. We compare the performance of
accuracy, F1 macro score, and energy cost on the embedded platform of various
state-of-the-art HAR frameworks with a MobileNet V3 model built by SMLDist. The
produced model has well balance with robustness, efficiency, and accuracy.
SMLDist can also compress the models with minor performance loss in an equal
compression rate than other state-of-the-art knowledge distillation methods on
seven public datasets.
- Abstract(参考訳): IMUセンサに基づくヒューマンアクティビティ認識(HAR)はユビキタスコンピューティングにおいて不可欠な分野である。
人工知能をIoTデバイスやスマートフォンにデプロイする傾向が改善されているため、より多くの研究者が組み込みデバイス用のHARモデルを設計している。
組込みデバイスをネイティブにサポートした深部畳み込み型HARモデルを構築するために,多層蒸留を用いたプラグアンドプレイHARモデリングパイプラインを提案する。
SMLDistは、深層モデルのすべての情報の流れをカバーする、ステージ蒸留、メモリ蒸留、ロジット蒸留からなる。
ステージ蒸留は中間的特徴の学習方向を制約する。
メモリ蒸留は、ホップフィールドネットワークに基づく高次元特徴間の内部関係の説明と保存方法を学生モデルに教える。
ロジット蒸留は、可算分布を維持し、ソフトターゲットの正確性を向上させるために、滑らかな条件規則で蒸留ロジットを構成する。
SMLDistによって構築されたMobileNet V3モデルを用いて,様々な最先端HARフレームワークの組込みプラットフォームにおける精度,F1マクロスコア,エネルギーコストを比較した。
生成したモデルは、堅牢性、効率、精度とのバランスが良好である。
SMLDistは、7つの公開データセット上の他の最先端知識蒸留法と同等な圧縮速度で、小さな性能損失でモデルを圧縮することもできる。
関連論文リスト
- PVD-AL: Progressive Volume Distillation with Active Learning for
Efficient Conversion Between Different NeRF Architectures [29.85325952738878]
PVD-AL (Progressive Volume Distillation with Active Learning) は, 任意の変換が可能な蒸留法である。
PVD-ALは各構造を2つの部分に分解し、より浅い体積表現からより深い体積表現への蒸留を徐々に行う。
3段階のアクティブラーニング技術は蒸留プロセス中に連続的なフィードバックを与え、高性能な結果をもたらす。
論文 参考訳(メタデータ) (2023-04-08T13:59:18Z) - SimDistill: Simulated Multi-modal Distillation for BEV 3D Object
Detection [56.24700754048067]
多視点カメラによる3Dオブジェクト検出は低コストで普及しているが、カメラデータのみから正確に3D形状を推定することは依然として困難である。
モデルアーキテクチャと蒸留戦略を慎重に構築し,シミュレートされたマルチモーダル蒸留(SimDistill)法を提案する。
我々のSimDistillは、コスト効率のよいカメラのみの配置を維持しながら、3Dオブジェクト検出のためのより良い特徴表現を学習することができる。
論文 参考訳(メタデータ) (2023-03-29T16:08:59Z) - Generic-to-Specific Distillation of Masked Autoencoders [119.21281960831651]
マスク付きオートエンコーダによって事前訓練された大型モデルの監督下で, 小型ViTモデルのポテンシャルを活かすため, 汎用型蒸留法(G2SD)を提案する。
G2SDでは、バニラViT-Smallモデルは98.7%、98.1%、99.3%のパフォーマンスを画像分類、オブジェクト検出、セマンティックセグメンテーションのために達成している。
論文 参考訳(メタデータ) (2023-02-28T17:13:14Z) - Directed Acyclic Graph Factorization Machines for CTR Prediction via
Knowledge Distillation [65.62538699160085]
本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。
KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
論文 参考訳(メタデータ) (2022-11-21T03:09:42Z) - Multimodal Transformer Distillation for Audio-Visual Synchronization [57.115801564807576]
本稿ではMTDVocaLiSTモデルを提案する。
MTDVocaLiSTはVocaLiSTのモデルサイズを83.52%削減するが、同様の性能を維持している。
論文 参考訳(メタデータ) (2022-10-27T15:53:38Z) - A unified software/hardware scalable architecture for brain-inspired
computing based on self-organizing neural models [6.072718806755325]
我々は、Reentrant SOM(ReSOM)モデルにおいて、自己組織化マップ(SOM)とHebbian学習を関連付ける脳誘発ニューラルモデルを開発した。
この研究は、FPGAベースの専用プラットフォーム上でのシミュレーション結果とハードウェア実行の両方を通じて、モデルの分散性とスケーラブル性を実証する。
論文 参考訳(メタデータ) (2022-01-06T22:02:19Z) - Efficient Federated Learning for AIoT Applications Using Knowledge
Distillation [2.5892786553124085]
フェデレートラーニング(FL)は、ユーザのプライバシを損なうことなく、中央モデルを分散データでトレーニングする。
従来のFLは、ハードラベルのデータを使用してローカルモデルをトレーニングするため、モデル不正確さに悩まされている。
本稿では, AIoTアプリケーションに対して, 効率的かつ正確なFLを実現するための, 蒸留に基づく新しいフェデレートラーニングアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-11-29T06:40:42Z) - Self-Feature Regularization: Self-Feature Distillation Without Teacher
Models [0.0]
浅層層における機能学習を監督するために深層の特徴を用いるセルフフィーチャー正規化(sfr)を提案する。
まず,局所的な特徴にマッチする一般化l2損失と,チャネル次元においてより集中的に蒸留する多対一の手法を用いる。
論文 参考訳(メタデータ) (2021-03-12T15:29:00Z) - Physics-Integrated Variational Autoencoders for Robust and Interpretable
Generative Modeling [86.9726984929758]
我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。
本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。
合成および実世界のデータセットの集合に対して生成的性能改善を示す。
論文 参考訳(メタデータ) (2021-02-25T20:28:52Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳(メタデータ) (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。