論文の概要: Improving Deep Learning for HAR with shallow LSTMs

• arxiv url: http://arxiv.org/abs/2108.00702v1
• Date: Mon, 2 Aug 2021 08:14:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-03 14:58:49.968311
• Title: Improving Deep Learning for HAR with shallow LSTMs
• Title（参考訳）: 浅いLSTMによるHARの深層学習の改善
• Authors: Marius Bock, Alexander Hoelzemann, Michael Moeller, Kristof Van Laerhoven
• Abstract要約: 本稿では,DeepConvLSTMを2層LSTMではなく1層LSTMに変更することを提案する。 この結果は、シーケンシャルデータを扱う場合、少なくとも2層LSTMが必要であるという信念とは対照的である。
• 参考スコア（独自算出の注目度）: 70.94062293989832
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies in Human Activity Recognition (HAR) have shown that Deep Learning methods are able to outperform classical Machine Learning algorithms. One popular Deep Learning architecture in HAR is the DeepConvLSTM. In this paper we propose to alter the DeepConvLSTM architecture to employ a 1-layered instead of a 2-layered LSTM. We validate our architecture change on 5 publicly available HAR datasets by comparing the predictive performance with and without the change employing varying hidden units within the LSTM layer(s). Results show that across all datasets, our architecture consistently improves on the original one: Recognition performance increases up to 11.7% for the F1-score, and our architecture significantly decreases the amount of learnable parameters. This improvement over DeepConvLSTM decreases training time by as much as 48%. Our results stand in contrast to the belief that one needs at least a 2-layered LSTM when dealing with sequential data. Based on our results we argue that said claim might not be applicable to sensor-based HAR.
• Abstract（参考訳）: 近年のHAR(Human Activity Recognition)では,ディープラーニング手法が従来の機械学習アルゴリズムより優れていることが示されている。 HARで人気のあるDeep LearningアーキテクチャはDeepConvLSTMである。 本稿では,DeepConvLSTMアーキテクチャを2層型LSTMではなく1層型LSTMに変更することを提案する。 LSTM層内の様々な隠蔽ユニットを用いて,予測性能と変更の有無を比較して,5つの公開HARデータセット上でのアーキテクチャ変更を検証する。 その結果,F1スコアでは認識性能が最大11.7%向上し,学習可能なパラメータの量が大幅に減少することがわかった。 DeepConvLSTMによるこの改善は、トレーニング時間を最大48%短縮する。 この結果は、シーケンシャルデータを扱う場合、少なくとも2層LSTMが必要であるという信念とは対照的である。 以上の結果から,センサベースHARには適用できない可能性が示唆された。

関連論文リスト

• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• Are LSTMs Good Few-Shot Learners? [4.316506818580031]
  2001年、Hochreiterらは、異なるタスクにまたがってバックプロパゲーションで訓練されたLSTMがメタラーニングを行うことができることを示した。 このアプローチを再検討し、現代の数ショットの学習ベンチマークでテストします。 LSTMは、単純な数ショットの正弦波回帰ベンチマークでMAMLよりも優れているが、予想されることに、より複雑な数ショット画像分類ベンチマークでは不足している。
  論文  参考訳（メタデータ） (2023-10-22T00:16:30Z)
• Efficient shallow learning as an alternative to deep learning [0.0]
  一般化された浅層LeNetアーキテクチャの誤差率は5層に過ぎず,第1畳み込み層におけるフィルタ数に比例して減衰することを示した。 同様の指数を持つ電力法則も一般化されたVGG-16アーキテクチャを特徴付けている。 畳み込み層に沿った保存法則は、その大きさの深さの平方根であり、誤り率を最小化する。
  論文  参考訳（メタデータ） (2022-11-15T10:10:27Z)
• Image Classification using Sequence of Pixels [3.04585143845864]
  本研究では,繰り返しニューラルネットワークを用いた逐次画像分類法の比較を行った。 本稿では,Long-Short-Term memory(LSTM)やBidirectional Long-Short-Term memory(BiLSTM)アーキテクチャに基づく手法について述べる。
  論文  参考訳（メタデータ） (2022-09-23T09:42:44Z)
• LiteLSTM Architecture for Deep Recurrent Neural Networks [1.1602089225841632]
  LSTM(Longtemporal short-term memory)は、データを学習するための堅牢なリカレントニューラルネットワークアーキテクチャである。 本稿では,重み共有の概念を用いてLSTMのコンポーネントを削減した新しいLiteLSTMアーキテクチャを提案する。 提案されたLiteLSTMは、時間消費が重要となるビッグデータの学習に有用である。
  論文  参考訳（メタデータ） (2022-01-27T16:33:02Z)
• Multi-Perspective LSTM for Joint Visual Representation Learning [81.21490913108835]
  複数の視点から捉えた視覚的シーケンスで利用可能な内的および対外的関係を学習できる新しいLSTM細胞アーキテクチャを提案する。 私たちのアーキテクチャは、細胞レベルで追加のゲートと記憶を使用する新しい繰り返し共同学習戦略を採用しています。 提案するセルを用いてネットワークを構築することにより、より効果的でリッチな視覚的表現が認識タスクで学習されることを示す。
  論文  参考訳（メタデータ） (2021-05-06T16:44:40Z)
• Stateless Neural Meta-Learning using Second-Order Gradients [1.933681537640272]
  メタリアナーLSTMはMAMLを仮定することを示した。 メタリーナーLSTMよりもシンプルでありながら、MMLよりも表現力の高い新しいアルゴリズム(dbbed TURTLE)を構築します。
  論文  参考訳（メタデータ） (2021-04-21T13:34:31Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)
• Deep transfer learning for improving single-EEG arousal detection [63.52264764099532]
  2つのデータセットは、単一のEEGモデルでパフォーマンスが低下する原因となる、まったく同じ設定を含んでいない。 単チャンネル脳波データのためのアーキテクチャを構築するために,ベースラインモデルをトレーニングし,最初の2層を置き換える。 細調整戦略を用いて,本モデルはベースラインモデルと同等の性能を示し,同等の単一チャネルモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-10T16:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。