論文の概要: Frequency-Aware Masked Autoencoders for Human Activity Recognition using Accelerometers

• arxiv url: http://arxiv.org/abs/2502.17477v1
• Date: Mon, 17 Feb 2025 14:57:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 02:21:21.525424
• Title: Frequency-Aware Masked Autoencoders for Human Activity Recognition using Accelerometers
• Title（参考訳）: 加速度センサを用いた人間の行動認識のための周波数対応マスクオートエンコーダ
• Authors: Niels R. Lorenzen, Poul J. Jennum, Emmanuel Mignot, Andreas Brink-Kjaer,
• Abstract要約: 機械学習とディープラーニングのアルゴリズムは、長年、生の加速度データから有意義な活動情報を抽出するために用いられてきた。 本稿では,人間行動認識のためのログスケール平均等級(LMM)損失という,スペクトルに基づく新しい損失関数を提案する。 以上の結果から,LMMの損失は,HARの加速度計データに基づくMAEモデルを事前学習するための頑健かつ効果的な方法であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.1499944454332829
• License:
• Abstract: Wearable accelerometers are widely used for continuous monitoring of physical activity. Supervised machine learning and deep learning algorithms have long been used to extract meaningful activity information from raw accelerometry data, but progress has been hampered by the limited amount of publicly available labeled data. Exploiting large unlabeled datasets using self-supervised pretraining is a relatively new and underexplored approach in the field of human activity recognition (HAR). We used a time-series transformer masked autoencoder (MAE) approach to self-supervised pretraining and propose a novel spectrogram-based loss function named the log-scale mean magnitude (LMM) loss. We compared MAE models pretrained with LMM to one trained with the mean squared error (MSE) loss. We leveraged the large unlabeled UK Biobank accelerometry dataset (n = 109k) for pretraining and evaluated downstream HAR performance using linear classifier in a smaller labelled dataset. We found that pretraining with the LMM loss improved performance compared to a model pretrained with the MSE loss, with balanced accuracies of 0.848 and 0.709, respectively. Further analysis revealed that better convergence of the LMM loss, but not the MSE loss significantly correlated with improved downstream performance (r=-0.61, p=0.04) for balanced accuracy). Finally, we compared our MAE models to the state-of-the-art for HAR, also pretrained on the UK Biobank accelerometry data. Our LMM-pretrained models performed better when finetuned using a linear classifier and performed comparably when finetuned using an LSTM classifier, while MSE-pretrained models consistently underperformed. Our findings demonstrate that the LMM loss is a robust and effective method for pretraining MAE models on accelerometer data for HAR. Future work should explore optimizing loss function combinations and extending our approach to other tasks.
• Abstract（参考訳）: ウェアラブル加速度計は、身体活動の連続的なモニタリングに広く用いられている。 機械学習とディープラーニングのアルゴリズムは、長い間、生の加速度計データから有意義な活動情報を抽出するために使われてきたが、公開ラベル付きデータの限られた量によって進歩は妨げられている。 自己教師型事前訓練を用いた大規模未ラベルデータセットのエクスプロイトは、人間活動認識(HAR)分野における比較的新しく未発見のアプローチである。 我々は,時系列変換器マスク付きオートエンコーダ (MAE) を用いて自己教師付き事前学習を行い,ログスケール平均等級 (LMM) 損失という新しいスペクトルに基づく損失関数を提案する。 我々は,LMMで事前訓練したMAEモデルと平均二乗誤差(MSE)損失を訓練したモデルを比較した。 我々は、より小さなラベル付きデータセットにおいて線形分類器を用いて、下流HAR性能を事前訓練し評価するために、大規模な英国バイオバンク加速度計測データセット(n = 109k)を利用した。 その結果,MSEの損失を事前訓練したモデルと比較して,LMMの損失に対する事前トレーニングが改善し,それぞれ0.848と0.709の精度が得られた。 さらに解析したところ、LMM損失の収束性は向上したが、MSE損失は下流性能の改善(r=-0.61, p=0.04)と相関していた。 最後に、我々のMAEモデルとHARの現状を比較し、英国バイオバンクの加速度データに基づいて事前訓練を行った。 我々のLMM予測モデルは線形分類器を用いて微調整し、LSTM分類器を用いて微調整した場合に比較可能であり、MSE予測モデルは一貫して過小評価されている。 以上の結果から,LMMの損失は,HARの加速度計データに基づくMAEモデルを事前学習するための頑健かつ効果的な方法であることが示唆された。 今後は、損失関数の組み合わせを最適化し、我々のアプローチを他のタスクに拡張していくことを検討する必要がある。

関連論文リスト

• Targeted Adversarial Denoising Autoencoders (TADA) for Neural Time Series Filtration [0.0]
  脳波(EEG)時系列データをフィルタリングするための機械学習(ML)ベースのアルゴリズムは、面倒なトレーニング時間、正規化、正確な再構築に関連する課題に直面している。 本稿では,ロジスティック共分散目標対向型オートエンコーダ(TADA)により駆動されるMLフィルタリングアルゴリズムを提案する。 この仮説を検証するため、TADAシステムプロトタイプをトレーニングし、EEGdenoiseNetデータセットの脳波データから筋電図(EMG)ノイズを除去するタスクで評価した。
  論文  参考訳（メタデータ） (2025-01-09T04:41:50Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能評価のためのより効率的な指標として、事前学習損失に焦点を当てている。 我々は、データソース間のFLOPに基づいて、ドメイン固有の事前学習損失を予測するために、電力法解析関数を拡張した。 我々は2層ニューラルネットワークを用いて、複数のドメイン固有の損失と下流性能の非線形関係をモデル化する。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• A deeper look at depth pruning of LLMs [49.30061112976263]
  大規模言語モデル(LLM)は、トレーニングにはリソース集約的だが、本番環境でのデプロイにはよりコストがかかる。 最近の研究は、ブロックの重要性を推定するために、安価なプロキシに基づいてLSMのブロックをプルークしようと試みている。 適応メトリクスはタスク間のパフォーマンスのトレードオフを示すことを示す。
  論文  参考訳（メタデータ） (2024-07-23T08:40:27Z)
• CE-SSL: Computation-Efficient Semi-Supervised Learning for ECG-based Cardiovascular Diseases Detection [16.34314710823127]
  本稿では,ECG を用いた計算効率の高い CVD 検出のための計算効率の高い半教師付き学習パラダイム (CE-SSL) を提案する。 これは、限られた監督と高い計算効率で、下流データセットに事前訓練されたモデルの堅牢な適応を可能にする。 CE-SSLは、マルチラベルCVDの検出における最先端メソッドよりも優れているだけでなく、GPUフットプリント、トレーニング時間、パラメータストレージスペースも少ない。
  論文  参考訳（メタデータ） (2024-06-20T14:45:13Z)
• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• Scaling Relationship on Learning Mathematical Reasoning with Large Language Models [75.29595679428105]
  本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。 複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
  論文  参考訳（メタデータ） (2023-08-03T15:34:01Z)
• Self-learning locally-optimal hypertuning using maximum entropy, and comparison of machine learning approaches for estimating fatigue life in composite materials [0.0]
  疲労損傷を予測するための最大エントロピーの原理に基づくML近傍近似アルゴリズムを開発した。 予測は、他のMLアルゴリズムと同様、高いレベルの精度を達成する。
  論文  参考訳（メタデータ） (2022-10-19T12:20:07Z)
• A comparison of Monte Carlo dropout and bootstrap aggregation on the performance and uncertainty estimation in radiation therapy dose prediction with deep learning neural networks [0.46180371154032895]
  本稿では,モンテカルロ投棄法(MCDO)とブートストラップアグリゲーション(バッグング)をディープラーニングモデルに応用し,放射線治療用線量予測の不確かさを推定する手法を提案する。 パフォーマンス面では、バギングは調査対象のほとんどの指標において統計的に顕著な損失値と誤差を減少させる。
  論文  参考訳（メタデータ） (2020-11-01T00:24:43Z)
• Estimating the time-lapse between medical insurance reimbursement with non-parametric regression models [0.0]
  KNN(K-Nearest Neighbours)、SVM(Support Vector Machines)、決定木(Decision Tree)、ランダム林(Random Forests)の4つの非パラメトリックアルゴリズムの特性を比較検討した。 教師付き学習課題は、医療保険返済の時間経過の回帰推定である。
  論文  参考訳（メタデータ） (2020-08-19T18:39:12Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。