論文の概要: sDREAMER: Self-distilled Mixture-of-Modality-Experts Transformer for Automatic Sleep Staging

• arxiv url: http://arxiv.org/abs/2501.16329v1
• Date: Mon, 27 Jan 2025 18:59:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:58:39.186542
• Title: sDREAMER: Self-distilled Mixture-of-Modality-Experts Transformer for Automatic Sleep Staging
• Title（参考訳）: sDREAMER:自動睡眠時変圧器
• Authors: Jingyuan Chen, Yuan Yao, Mie Anderson, Natalie Hauglund, Celia Kjaerby, Verena Untiet, Maiken Nedergaard, Jiebo Luo,
• Abstract要約: 本稿では,新しい睡眠ステージスコアリングモデルsDREAMERを提案する。 我々は,脳波,筋電図,混合信号の3経路を部分的に共有する混合モダリティ・エキスパート(MoME)モデルを開発した。 我々のモデルはマルチチャネル入力で訓練されており、シングルチャネル入力でもマルチチャネル入力でも分類できる。
• 参考スコア（独自算出の注目度）: 41.625261368270614
• License:
• Abstract: Automatic sleep staging based on electroencephalography (EEG) and electromyography (EMG) signals is an important aspect of sleep-related research. Current sleep staging methods suffer from two major drawbacks. First, there are limited information interactions between modalities in the existing methods. Second, current methods do not develop unified models that can handle different sources of input. To address these issues, we propose a novel sleep stage scoring model sDREAMER, which emphasizes cross-modality interaction and per-channel performance. Specifically, we develop a mixture-of-modality-expert (MoME) model with three pathways for EEG, EMG, and mixed signals with partially shared weights. We further propose a self-distillation training scheme for further information interaction across modalities. Our model is trained with multi-channel inputs and can make classifications on either single-channel or multi-channel inputs. Experiments demonstrate that our model outperforms the existing transformer-based sleep scoring methods for multi-channel inference. For single-channel inference, our model also outperforms the transformer-based models trained with single-channel signals.
• Abstract（参考訳）: 脳波(EEG)と筋電図(EMG)に基づく自動睡眠ステージングは睡眠関連研究の重要な側面である。 現在の睡眠段階法は2つの大きな欠点に悩まされている。 まず,既存手法ではモダリティ間の情報相互作用が限られている。 第二に、現在の手法では異なる入力源を扱える統一モデルが開発されていない。 これらの課題に対処するため,我々は,クロスモダリティ相互作用とチャネル間性能を強調する新しい睡眠ステージスコアリングモデルsDREAMERを提案する。 具体的には,脳波,筋電図,混合信号に部分共有重みを持つ3つの経路を持つ混合モダリティ・エキスパート(MoME)モデルを開発した。 さらに,モダリティ間のさらなる情報インタラクションのための自己蒸留学習手法を提案する。 我々のモデルはマルチチャネル入力で訓練されており、シングルチャネル入力でもマルチチャネル入力でも分類できる。 実験により,本モデルは,マルチチャネル推論のための既存の変圧器ベースの睡眠スコアリング法よりも優れていることが示された。 単一チャネル推論では、このモデルも単一チャネル信号で訓練されたトランスフォーマーベースモデルより優れている。

関連論文リスト

• wav2sleep: A Unified Multi-Modal Approach to Sleep Stage Classification from Physiological Signals [0.6261444979025643]
  wav2sleepは、トレーニングと推論中に入力信号の可変セットを操作するために設計された統一モデルである。 ECG、PSG、呼吸信号を含むテスト時間入力の組み合わせで、既存の睡眠ステージ分類モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-11-07T12:01:36Z)
• Automatic Classification of Sleep Stages from EEG Signals Using Riemannian Metrics and Transformer Networks [6.404789669795639]
  睡眠医学において、被験者の睡眠の進化を評価するには、脳波(EEG)信号の高価な手作業によるスコアが伴うことが多い。 本研究では,Symmetric Definite Positive (SPD) の性質を犠牲にすることなく,学習した信号的特徴をそれらの行列に組み込む新しい方法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T06:49:52Z)
• A Simple but Strong Baseline for Sounding Video Generation: Effective Adaptation of Audio and Video Diffusion Models for Joint Generation [15.29891397291197]
  オーディオとビデオのベース拡散モデルを考えると,これらを1つのモデルに追加モジュールに統合し,モデルが共同でオーディオとビデオを生成するように訓練する。 音声とビデオのペア間のアライメントを高めるために,本モデルでは2つの新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2024-09-26T05:39:52Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• A Transformer Model for Boundary Detection in Continuous Sign Language [55.05986614979846]
  Transformerモデルは、分離された手話認識と連続手話認識の両方に使用される。 トレーニングプロセスは、入力されたビデオから抽出された手指キーポイントの特徴を豊かにする、孤立した手指ビデオを使用する。 トレーニングされたモデルと後処理の手法が組み合わさって、連続した手話ビデオ内の孤立した手話境界を検出する。
  論文  参考訳（メタデータ） (2024-02-22T17:25:01Z)
• Context-aware attention layers coupled with optimal transport domain adaptation and multimodal fusion methods for recognizing dementia from spontaneous speech [0.0]
  アルツハイマー病(英語: Alzheimer's disease、AD)は、認知症の主要な原因である複雑な神経認知疾患である。 そこで本研究では,AD患者検出のための新しい手法を提案する。 ADReSSとADReSSo Challengeで実施した実験は、既存の研究イニシアチブに対して導入したアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-25T18:18:09Z)
• Mutual Learning of Single- and Multi-Channel End-to-End Neural Diarization [34.65357110940456]
  本稿では、話者ダイアリゼーションに焦点を当て、上記の双方向知識伝達を交互に行うことを提案する。 単一チャネルとマルチチャネルの両方の入力を処理できるエンドツーエンドのニューラルダイアリゼーションモデルを導入する。 2つの話者データによる実験結果から,提案手法は単一話者と複数話者のダイアリゼーション性能を相互に向上することが示された。
  論文  参考訳（メタデータ） (2022-10-07T11:03:32Z)
• Multi-Channel End-to-End Neural Diarization with Distributed Microphones [53.99406868339701]
  EENDのTransformerエンコーダを,マルチチャネル入力を処理する2種類のエンコーダに置き換える。 また,単一チャンネル記録のみを用いたモデル適応手法を提案する。
  論文  参考訳（メタデータ） (2021-10-10T03:24:03Z)
• Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition [55.362258027878966]
  本稿では,半教師付き音声認識のための簡易かつ効果的な手法として,モーメント擬似ラベル(MPL)を提案する。 MPLは、平均的な教師メソッドにインスパイアされて、相互に相互作用し、学習するオンラインとオフラインの2つのモデルで構成されている。 実験の結果,MPLはベースモデルよりも効果的に改善され,様々な半教師付きシナリオに拡張可能であることが示された。
  論文  参考訳（メタデータ） (2021-06-16T16:24:55Z)
• Learning from Heterogeneous EEG Signals with Differentiable Channel Reordering [51.633889765162685]
  CHARMは、一貫性のない入力チャネルをまたいだ単一のニューラルネットワークのトレーニング方法である。 我々は4つの脳波分類データセットの実験を行い、CHARMの有効性を実証した。
  論文  参考訳（メタデータ） (2020-10-21T12:32:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。