論文の概要: Knowledge Distillation for Reservoir-based Classifier: Human Activity Recognition

• arxiv url: http://arxiv.org/abs/2505.22985v1
• Date: Thu, 29 May 2025 01:48:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.612628
• Title: Knowledge Distillation for Reservoir-based Classifier: Human Activity Recognition
• Title（参考訳）: 貯水池型分類器の知識蒸留:人間の活動認識
• Authors: Masaharu Kagiyama, Tsuyoshi Okita,
• Abstract要約: PatchEchoClassifierは、Echo State Network(ESN)として知られる貯水池ベースのメカニズムを活用する新しいモデルである。 このモデルは1次元センサ信号を用いた人間の活動認識(HAR)のために設計され、トークン化器を組み込んでパッチレベルの表現を抽出する。 複数のHARデータセットに対する実験により、我々のモデルは80%以上の精度を達成し、計算コストを大幅に削減することを示した。
• 参考スコア（独自算出の注目度）: 3.5938832647391
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper aims to develop an energy-efficient classifier for time-series data by introducing PatchEchoClassifier, a novel model that leverages a reservoir-based mechanism known as the Echo State Network (ESN). The model is designed for human activity recognition (HAR) using one-dimensional sensor signals and incorporates a tokenizer to extract patch-level representations. To train the model efficiently, we propose a knowledge distillation framework that transfers knowledge from a high-capacity MLP-Mixer teacher to the lightweight reservoir-based student model. Experimental evaluations on multiple HAR datasets demonstrate that our model achieves over 80 percent accuracy while significantly reducing computational cost. Notably, PatchEchoClassifier requires only about one-sixth of the floating point operations (FLOPS) compared to DeepConvLSTM, a widely used convolutional baseline. These results suggest that PatchEchoClassifier is a promising solution for real-time and energy-efficient human activity recognition in edge computing environments.
• Abstract（参考訳）: 本稿では,Echo State Network (ESN) として知られる貯水池を基盤とした新しいモデルであるPatchEchoClassifierを導入することで,時系列データのためのエネルギー効率の高い分類器を開発することを目的とする。 このモデルは1次元センサ信号を用いた人間の活動認識(HAR)のために設計され、トークン化器を組み込んでパッチレベルの表現を抽出する。 本研究では,高容量MLP-Mixer 教師から軽量貯水池モデルへ知識を伝達する知識蒸留フレームワークを提案する。 複数のHARデータセットの実験的評価により、我々のモデルは80%以上の精度を達成し、計算コストを大幅に削減することを示した。 特に、PatchEchoClassifierは、広く使われている畳み込みベースラインであるDeepConvLSTMと比較して、浮動小数点演算(FLOPS)の6分の1しか必要としない。 これらの結果から,PatchEchoClassifierはエッジコンピューティング環境におけるリアルタイムかつエネルギー効率の高い人間活動認識のための有望なソリューションであることが示唆された。

関連論文リスト

• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Neural Edge Histogram Descriptors for Underwater Acoustic Target Recognition [42.23422932643755]
  この研究は、もともと画像分類のために開発されたニューラルエッジヒストグラム記述子(NEHD)法に適応し、受動的ソナー信号を分類する。 統計的および構造的テクスチャの特徴を包括的に評価し、それらの組み合わせが大きな事前学習モデルとの競合性能を達成することを示す。 提案したNEHDベースのアプローチは、水中目標認識のための軽量で効率的なソリューションを提供し、精度を維持しながら計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2025-03-17T22:57:05Z)
• CLIP-CID: Efficient CLIP Distillation via Cluster-Instance Discrimination [28.061239778773423]
  CLIP(Contrastive Language- Image Pre-Training)は、幅広いタスクにおいて優れたパフォーマンスを実現している。 CLIPは事前学習データのかなりのコーパスに大きく依存しており、計算資源を消費している。 CLIP-CID(CLIP-CID)は,大規模視覚言語基礎モデルからより小さなモデルへ知識を効果的に伝達する蒸留機構である。
  論文  参考訳（メタデータ） (2024-08-18T11:23:21Z)
• Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation [56.053397775016755]
  本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。 私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
  論文  参考訳（メタデータ） (2023-08-17T17:17:08Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• A Light-weight Deep Human Activity Recognition Algorithm Using Multi-knowledge Distillation [10.71381120193733]
  Inertial Sensor-based Human Activity Recognition (HAR) は、多くの人間中心のモバイルアプリケーションの基礎である。 我々は、広く使われているMobileNetに基づいて、Stage-Logits-Memory Distillation (Dist)と呼ばれるマルチレベルHARモデリングパイプラインを設計する。 蒸留工程における周波数関連の特徴により多くの注意を払うことで、SMLDistは学生のHAR分類の堅牢性を改善する。
  論文  参考訳（メタデータ） (2021-07-06T09:01:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。