論文の概要: Smooth-Distill: A Self-distillation Framework for Multitask Learning with Wearable Sensor Data

• arxiv url: http://arxiv.org/abs/2507.00061v1
• Date: Fri, 27 Jun 2025 06:51:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:58.232147
• Title: Smooth-Distill: A Self-distillation Framework for Multitask Learning with Wearable Sensor Data
• Title（参考訳）: Smooth-Distill: ウェアラブルセンサデータを用いたマルチタスク学習のための自己蒸留フレームワーク
• Authors: Hoang-Dieu Vu, Duc-Nghia Tran, Quang-Tu Pham, Hieu H. Pham, Nicolas Vuillerme, Duc-Tan Tran,
• Abstract要約: 本稿では,人間の活動認識(HAR)とセンサ配置検出を同時に行うように設計された,新しい自己蒸留フレームワークであるSmooth-Distillを紹介する。 従来の蒸留法とは異なり, 提案手法では, モデル自体のスムーズな歴史バージョンを教師として利用している。 実験結果から,Smooth-Distill は異なる評価シナリオにおける代替手法よりも一貫して優れていた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces Smooth-Distill, a novel self-distillation framework designed to simultaneously perform human activity recognition (HAR) and sensor placement detection using wearable sensor data. The proposed approach utilizes a unified CNN-based architecture, MTL-net, which processes accelerometer data and branches into two outputs for each respective task. Unlike conventional distillation methods that require separate teacher and student models, the proposed framework utilizes a smoothed, historical version of the model itself as the teacher, significantly reducing training computational overhead while maintaining performance benefits. To support this research, we developed a comprehensive accelerometer-based dataset capturing 12 distinct sleep postures across three different wearing positions, complementing two existing public datasets (MHealth and WISDM). Experimental results show that Smooth-Distill consistently outperforms alternative approaches across different evaluation scenarios, achieving notable improvements in both human activity recognition and device placement detection tasks. This method demonstrates enhanced stability in convergence patterns during training and exhibits reduced overfitting compared to traditional multitask learning baselines. This framework contributes to the practical implementation of knowledge distillation in human activity recognition systems, offering an effective solution for multitask learning with accelerometer data that balances accuracy and training efficiency. More broadly, it reduces the computational cost of model training, which is critical for scenarios requiring frequent model updates or training on resource-constrained platforms. The code and model are available at https://github.com/Kuan2vn/smooth\_distill.
• Abstract（参考訳）: 本稿では,ウェアラブルセンサデータを用いたヒューマンアクティビティ認識とセンサ配置検出を同時に行うための,新しい自己蒸留フレームワークであるSmooth-Distillを紹介する。 提案手法では,各タスク毎に加速度センサデータと分岐処理を2つの出力に分割する統合CNNアーキテクチャであるMTL-netを利用する。 従来の蒸留法とは異なり, 提案手法では, モデル自体のスムーズな歴史バージョンを教師として利用し, 性能向上を維持しつつ, トレーニングのオーバーヘッドを大幅に低減する。 本研究を支援するために,既存の2つの公的データセット(MHealthとWISDM)を補完する,12種類の異なる睡眠姿勢を3つの異なる装着位置で収集する総合加速度計ベースのデータセットを開発した。 実験結果から,Smooth-Distillは,異なる評価シナリオにおける代替手法よりも一貫して優れており,人間の活動認識とデバイス配置検出タスクにおいて顕著な改善が達成されている。 本手法は,学習中の収束パターンの安定性を向上し,従来のマルチタスク学習ベースラインと比較して過度に適合することを示す。 この枠組みは、人間の活動認識システムにおける知識蒸留の実践的な実装に寄与し、精度と訓練効率のバランスをとる加速度計データによるマルチタスク学習の効果的なソリューションを提供する。 より広範に言えば、モデルトレーニングの計算コストを削減し、頻繁なモデル更新やリソース制約のあるプラットフォームでのトレーニングを必要とするシナリオにとって極めて重要である。 コードとモデルはhttps://github.com/Kuan2vn/smooth\_distill.comで公開されている。

関連論文リスト

• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Adversarial Augmentation Training Makes Action Recognition Models More Robust to Realistic Video Distribution Shifts [13.752169303624147]
  アクション認識モデルは、トレーニングデータとテストデータの間の自然な分散シフトに直面したとき、堅牢性を欠くことが多い。 そこで本研究では,そのような分布格差に対するモデルレジリエンスを評価するための2つの新しい評価手法を提案する。 提案手法は,3つの動作認識モデルにまたがるベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-21T05:50:39Z)
• Benchmarking Learning Efficiency in Deep Reservoir Computing [23.753943709362794]
  我々は、機械学習モデルがトレーニングデータからいかに早く学習するかを測定するために、データ効率の指標とともに、ますます困難なタスクのベンチマークを導入する。 我々は、RNN、LSTM、Transformersなどの確立された逐次教師付きモデルの学習速度を、貯水池計算に基づく比較的知られていない代替モデルと比較する。
  論文  参考訳（メタデータ） (2022-09-29T08:16:52Z)
• Cross-modal Knowledge Distillation for Vision-to-Sensor Action Recognition [12.682984063354748]
  本研究では、VSKDフレームワークをエンドツーエンドで導入する。 このVSKDフレームワークでは、テストフェーズ中にウェアラブルデバイスから必要となるのは時系列データ(加速度計データ)のみである。 このフレームワークは、エッジデバイスに対する計算要求を減らすだけでなく、計算コストのかかるマルチモーダルアプローチのパフォーマンスと密に一致した学習モデルも生成する。
  論文  参考訳（メタデータ） (2021-10-08T15:06:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。