論文の概要: MSA-CNN: A Lightweight Multi-Scale CNN with Attention for Sleep Stage Classification

• arxiv url: http://arxiv.org/abs/2501.02949v1
• Date: Mon, 06 Jan 2025 11:46:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:05:38.774826
• Title: MSA-CNN: A Lightweight Multi-Scale CNN with Attention for Sleep Stage Classification
• Title（参考訳）: MSA-CNN:睡眠段階分類を目的とした軽量マルチスケールCNN
• Authors: Stephan Goerttler, Yucheng Wang, Emadeldeen Eldele, Min Wu, Fei He,
• Abstract要約: マルチスケール・アテンション畳み込みニューラルネットワーク(MSA-CNN)を導入する。 時間的および空間的特徴抽出を分離し、コスト効率のよい大域的空間畳み込みを用いることにより、モデル複雑性をさらに低減する。 以上の結果から,MSA-CNNは3つのデータセットの全てのベースラインモデルに対して,精度とCohen's kappaを比較検討した。
• 参考スコア（独自算出の注目度）: 14.221889446444433
• License:
• Abstract: Recent advancements in machine learning-based signal analysis, coupled with open data initiatives, have fuelled efforts in automatic sleep stage classification. Despite the proliferation of classification models, few have prioritised reducing model complexity, which is a crucial factor for practical applications. In this work, we introduce Multi-Scale and Attention Convolutional Neural Network (MSA-CNN), a lightweight architecture featuring as few as ~10,000 parameters. MSA-CNN leverages a novel multi-scale module employing complementary pooling to eliminate redundant filter parameters and dense convolutions. Model complexity is further reduced by separating temporal and spatial feature extraction and using cost-effective global spatial convolutions. This separation of tasks not only reduces model complexity but also mirrors the approach used by human experts in sleep stage scoring. We evaluated both small and large configurations of MSA-CNN against nine state-of-the-art baseline models across three public datasets, treating univariate and multivariate models separately. Our evaluation, based on repeated cross-validation and re-evaluation of all baseline models, demonstrated that the large MSA-CNN outperformed all baseline models on all three datasets in terms of accuracy and Cohen's kappa, despite its significantly reduced parameter count. Lastly, we explored various model variants and conducted an in-depth analysis of the key modules and techniques, providing deeper insights into the underlying mechanisms. The code for our models, baselines, and evaluation procedures is available at https://github.com/sgoerttler/MSA-CNN.
• Abstract（参考訳）: 機械学習に基づく信号分析の最近の進歩とオープンデータイニシアチブは、自動睡眠ステージ分類への取り組みを加速させている。 分類モデルの普及にもかかわらず、実用上重要な要素であるモデル複雑性の低減を優先する意見はほとんどない。 本稿では,最大10,000パラメータの軽量アーキテクチャであるMulti-Scale and Attention Convolutional Neural Network (MSA-CNN)を紹介する。 MSA-CNNは、冗長なフィルタパラメータと高密度な畳み込みを除去するために補間プールを用いた新しいマルチスケールモジュールを利用する。 時間的および空間的特徴抽出を分離し、コスト効率のよい大域的空間畳み込みを用いることにより、モデル複雑性をさらに低減する。 このタスクの分離は、モデルの複雑さを減らすだけでなく、睡眠段階のスコアリングにおける人間の専門家のアプローチを反映している。 MSA-CNNの小型・大規模構成を3つの公開データセットにわたる9つの最先端ベースラインモデルと比較し,一変量モデルと多変量モデルとを別々に処理した。 MSA-CNNは, パラメータ数を大幅に削減したにもかかわらず, 精度およびコーエンカッパの3つのデータセットにおいて, 全ベースラインモデルよりも高い性能を示した。 最後に、様々なモデル変種を探索し、重要なモジュールと技法の詳細な分析を行い、基礎となるメカニズムについてより深い知見を得た。 私たちのモデル、ベースライン、評価手順のコードはhttps://github.com/sgoerttler/MSA-CNN.comで公開されています。

関連論文リスト

• DiTMoS: Delving into Diverse Tiny-Model Selection on Microcontrollers [34.282971510732736]
  我々は、セレクタ分類器アーキテクチャを備えた新しいDNNトレーニングおよび推論フレームワークであるDiTMoSを紹介する。 弱いモデルの合成は高い多様性を示すことができ、それらの結合は精度の上限を大幅に高めることができる。 我々は,Nucleo STM32F767ZIボード上にDiTMoSをデプロイし,人間の活動認識,キーワードスポッティング,感情認識のための時系列データセットに基づいて評価する。
  論文  参考訳（メタデータ） (2024-03-14T02:11:38Z)
• A model for multi-attack classification to improve intrusion detection performance using deep learning approaches [0.0]
  ここでの目的は、悪意のある攻撃を識別するための信頼性の高い侵入検知メカニズムを作ることである。 ディープラーニングベースのソリューションフレームワークは、3つのアプローチから成り立っている。 最初のアプローチは、adamax、SGD、adagrad、adam、RMSprop、nadam、adadeltaといった7つの機能を持つLong-Short Term Memory Recurrent Neural Network (LSTM-RNN)である。 モデルは特徴を自己学習し、攻撃クラスをマルチアタック分類として分類する。
  論文  参考訳（メタデータ） (2023-10-25T05:38:44Z)
• Keep It Simple: CNN Model Complexity Studies for Interference Classification Tasks [7.358050500046429]
  本研究は,データセットサイズ,CNNモデル複雑性,分類精度のトレードオフを,分類難度に応じて検討する。 3つの無線データセットをベースとした本研究では,パラメータの少ないより単純なCNNモデルと,より複雑なモデルが実現可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-06T17:53:42Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• Animal Behavior Classification via Accelerometry Data and Recurrent Neural Networks [11.099308746733028]
  各種リカレントニューラルネットワーク(RNN)モデルを用いた加速度計測データを用いた動物行動の分類について検討した。 検討したモデルの分類性能と複雑性を評価する。 また、評価には2つの最先端畳み込みニューラルネットワーク(CNN)ベースの時系列分類モデルも含んでいる。
  論文  参考訳（メタデータ） (2021-11-24T23:28:25Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Model Extraction Attacks against Recurrent Neural Networks [1.2891210250935146]
  繰り返しニューラルネットワーク(RNN)に対するモデル抽出攻撃の脅威について検討する。 長い短期記憶(LSTM)から単純なRNNを用いて精度の高いモデルを抽出できるかどうかを論じる。 次に、特に損失関数とより複雑なアーキテクチャを構成することにより、精度の高いモデルを効率的に抽出できることを示す。
  論文  参考訳（メタデータ） (2020-02-01T01:47:50Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。