論文の概要: Frequency-Aware Masked Autoencoders for Human Activity Recognition using Accelerometers

• arxiv url: http://arxiv.org/abs/2502.17477v2
• Date: Tue, 27 May 2025 08:46:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 14:37:19.222947
• Title: Frequency-Aware Masked Autoencoders for Human Activity Recognition using Accelerometers
• Title（参考訳）: 加速度センサを用いた人間の行動認識のための周波数対応マスクオートエンコーダ
• Authors: Niels R. Lorenzen, Poul J. Jennum, Emmanuel Mignot, Andreas Brink-Kjaer,
• Abstract要約: 機械学習とディープラーニングのアルゴリズムは、長年、生の加速度データから有意義な活動情報を抽出するために用いられてきた。 本稿では,LMM(log-scale meanmagnitude)とLMV(log-scale magnitude variance)の2つの新しいスペクトルに基づく損失関数を提案する。 その結果,MSEの損失で事前訓練したMAEと比較して,LMMの損失による事前訓練により性能が向上した。
• 参考スコア（独自算出の注目度）: 0.1499944454332829
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Wearable accelerometers are widely used for continuous monitoring of physical activity. Supervised machine learning and deep learning algorithms have long been used to extract meaningful activity information from raw accelerometry data, but progress has been hampered by the limited amount of labeled data that is publicly available. Exploiting large unlabeled datasets using self-supervised pretraining is a relatively new and underexplored approach in the field of human activity recognition (HAR). We used a time-series transformer masked autoencoder (MAE) approach to self-supervised pretraining and propose two novel spectrogram-based loss functions: the log-scale meanmagnitude (LMM) and log-scale magnitude variance (LMV) losses. We compared these losses with the mean squared error (MSE) loss for MAE training. We leveraged the large unlabeled UK Biobank accelerometry dataset (n = 109k) for pretraining and evaluated downstream HAR performance using a linear classifier in a smaller labelled dataset. We found that pretraining with the LMM loss improved performance compared to an MAE pretrained with the MSE loss, with 12.7% increase in subject-wise F1 score when using linear probing. Compared with a state-of-the-art ResNet-based HAR model, our LMM-pretrained transformer models performed better (+9.8% F1) with linear probing and comparably when fine-tuned using an LSTM classifier. The addition of the LMV to the LMM loss decreased performance compared to the LMM loss alone. These findings establish the LMM loss as a robust and effective method for pretraining MAE models on accelerometer data for HAR and show the potential of pretraining sequence-based models for free-living HAR.
• Abstract（参考訳）: ウェアラブル加速度計は、身体活動の連続的なモニタリングに広く用いられている。 機械学習とディープラーニングのアルゴリズムは、長い間、生の加速度計データから有意義な活動情報を抽出するために使われてきたが、公表されているラベル付きデータの限られた量によって進歩は妨げられている。 自己教師型事前訓練を用いた大規模未ラベルデータセットのエクスプロイトは、人間活動認識(HAR)分野における比較的新しく未発見のアプローチである。 時系列変換器マスク付きオートエンコーダ (MAE) を用いて自己教師付き事前学習を行い, 対数スケール平均値 (LMM) と対数スケール大差 (LMV) の2つの新しいスペクトルに基づく損失関数を提案する。 これらの損失を,MAEトレーニングにおける平均二乗誤差(MSE)損失と比較した。 我々は、より小さなラベル付きデータセットの線形分類器を用いて、下流HAR性能を事前訓練し評価するために、大規模な英国バイオバンク加速度計測データセット(n = 109k)を利用した。 その結果,LMM損失による事前トレーニングは,MSE損失によるMAEよりも改善し,線形探索を用いた場合の主観的F1得点は12.7%増加した。 現状のResNetベースのHARモデルと比較すると,LSTM分類器を用いて微調整した場合,線形探索によりLMM予測変換器モデルの性能が(+9.8% F1)向上した。 LMM損失に対するLMVの添加はLMM損失単独と比較して性能が低下した。 これらの結果から,HARの加速度計データに基づいてMAEモデルを事前学習するための頑健かつ効果的な手法としてLMM損失が確立され,自由生活型HARのためのシーケンスベースモデルを事前学習する可能性が示唆された。

関連論文リスト

• Targeted Adversarial Denoising Autoencoders (TADA) for Neural Time Series Filtration [0.0]
  脳波(EEG)時系列データをフィルタリングするための機械学習(ML)ベースのアルゴリズムは、面倒なトレーニング時間、正規化、正確な再構築に関連する課題に直面している。 本稿では,ロジスティック共分散目標対向型オートエンコーダ(TADA)により駆動されるMLフィルタリングアルゴリズムを提案する。 この仮説を検証するため、TADAシステムプロトタイプをトレーニングし、EEGdenoiseNetデータセットの脳波データから筋電図(EMG)ノイズを除去するタスクで評価した。
  論文  参考訳（メタデータ） (2025-01-09T04:41:50Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能評価のためのより効率的な指標として、事前学習損失に焦点を当てている。 我々は、データソース間のFLOPに基づいて、ドメイン固有の事前学習損失を予測するために、電力法解析関数を拡張した。 我々は2層ニューラルネットワークを用いて、複数のドメイン固有の損失と下流性能の非線形関係をモデル化する。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• A deeper look at depth pruning of LLMs [49.30061112976263]
  大規模言語モデル(LLM)は、トレーニングにはリソース集約的だが、本番環境でのデプロイにはよりコストがかかる。 最近の研究は、ブロックの重要性を推定するために、安価なプロキシに基づいてLSMのブロックをプルークしようと試みている。 適応メトリクスはタスク間のパフォーマンスのトレードオフを示すことを示す。
  論文  参考訳（メタデータ） (2024-07-23T08:40:27Z)
• CE-SSL: Computation-Efficient Semi-Supervised Learning for ECG-based Cardiovascular Diseases Detection [16.34314710823127]
  本稿では,ECG を用いた計算効率の高い CVD 検出のための計算効率の高い半教師付き学習パラダイム (CE-SSL) を提案する。 これは、限られた監督と高い計算効率で、下流データセットに事前訓練されたモデルの堅牢な適応を可能にする。 CE-SSLは、マルチラベルCVDの検出における最先端メソッドよりも優れているだけでなく、GPUフットプリント、トレーニング時間、パラメータストレージスペースも少ない。
  論文  参考訳（メタデータ） (2024-06-20T14:45:13Z)
• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• Scaling Relationship on Learning Mathematical Reasoning with Large Language Models [75.29595679428105]
  本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。 複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
  論文  参考訳（メタデータ） (2023-08-03T15:34:01Z)
• Self-learning locally-optimal hypertuning using maximum entropy, and comparison of machine learning approaches for estimating fatigue life in composite materials [0.0]
  疲労損傷を予測するための最大エントロピーの原理に基づくML近傍近似アルゴリズムを開発した。 予測は、他のMLアルゴリズムと同様、高いレベルの精度を達成する。
  論文  参考訳（メタデータ） (2022-10-19T12:20:07Z)
• A comparison of Monte Carlo dropout and bootstrap aggregation on the performance and uncertainty estimation in radiation therapy dose prediction with deep learning neural networks [0.46180371154032895]
  本稿では,モンテカルロ投棄法(MCDO)とブートストラップアグリゲーション(バッグング)をディープラーニングモデルに応用し,放射線治療用線量予測の不確かさを推定する手法を提案する。 パフォーマンス面では、バギングは調査対象のほとんどの指標において統計的に顕著な損失値と誤差を減少させる。
  論文  参考訳（メタデータ） (2020-11-01T00:24:43Z)
• Estimating the time-lapse between medical insurance reimbursement with non-parametric regression models [0.0]
  KNN(K-Nearest Neighbours)、SVM(Support Vector Machines)、決定木(Decision Tree)、ランダム林(Random Forests)の4つの非パラメトリックアルゴリズムの特性を比較検討した。 教師付き学習課題は、医療保険返済の時間経過の回帰推定である。
  論文  参考訳（メタデータ） (2020-08-19T18:39:12Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。