論文の概要: EEG-Based Mental Imagery Task Adaptation via Ensemble of Weight-Decomposed Low-Rank Adapters

• arxiv url: http://arxiv.org/abs/2412.17818v1
• Date: Sun, 08 Dec 2024 14:57:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-29 08:29:28.198545
• Title: EEG-Based Mental Imagery Task Adaptation via Ensemble of Weight-Decomposed Low-Rank Adapters
• Title（参考訳）: 重み分解型低ランク適応器の組合わせによる脳波を用いたメンタル・イメージ・タスク適応
• Authors: Taveena Lotey, Aman Verma, Partha Pratim Roy,
• Abstract要約: 本稿では,パラメータ効率のよい精神イメージタスク適応のための,重み分解型低ランク適応法であるEDoRAの新たなアンサンブルを提案する。 提案手法は,心的画像分類のための完全細管法と最先端PEFT法よりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 8.238310169506944
• License:
• Abstract: Electroencephalography (EEG) is widely researched for neural decoding in Brain Computer Interfaces (BCIs) as it is non-invasive, portable, and economical. However, EEG signals suffer from inter- and intra-subject variability, leading to poor performance. Recent technological advancements have led to deep learning (DL) models that have achieved high performance in various fields. However, such large models are compute- and resource-intensive and are a bottleneck for real-time neural decoding. Data distribution shift can be handled with the help of domain adaptation techniques of transfer learning (fine-tuning) and adversarial training that requires model parameter updates according to the target domain. One such recent technique is Parameter-efficient fine-tuning (PEFT), which requires only a small fraction of the total trainable parameters compared to fine-tuning the whole model. Therefore, we explored PEFT methods for adapting EEG-based mental imagery tasks. We considered two mental imagery tasks: speech imagery and motor imagery, as both of these tasks are instrumental in post-stroke neuro-rehabilitation. We proposed a novel ensemble of weight-decomposed low-rank adaptation methods, EDoRA, for parameter-efficient mental imagery task adaptation through EEG signal classification. The performance of the proposed PEFT method is validated on two publicly available datasets, one speech imagery, and the other motor imagery dataset. In extensive experiments and analysis, the proposed method has performed better than full fine-tune and state-of-the-art PEFT methods for mental imagery EEG classification.
• Abstract（参考訳）: 脳波(EEG)は、非侵襲的でポータブルで経済的であるため、脳コンピュータインタフェース(BCI)の神経復号法として広く研究されている。 しかし、脳波信号は物体間および物体内変動に悩まされ、性能は低下する。 近年の技術進歩は、様々な分野で高い性能を達成したディープラーニング(DL)モデルに繋がった。 しかし、そのような大きなモデルは計算と資源集約であり、リアルタイムのニューラルデコーディングのボトルネックとなっている。 データ分散シフトは、転送学習(ファインチューニング)のドメイン適応技術と、対象のドメインに応じてモデルパラメータの更新を必要とする敵のトレーニングの助けを借りて処理することができる。 このような手法の1つがパラメータ効率細調整(PEFT)であり、モデル全体の微調整に比べて、トレーニング可能なパラメータ全体のごく一部しか必要としない。 そこで我々は,脳波に基づく精神イメージタスクに適応するためのPEFT法について検討した。 音声画像と運動画像の2つのメンタルイメージタスクを検討した。 脳波信号分類によるパラメータ効率の高いメンタルイメージタスク適応のための重み分解型低ランク適応法であるEDoRAの新たなアンサンブルを提案した。 提案手法の性能は,2つの公開データセット,1つの音声画像,もう1つのモータ画像データセットで検証される。 広範にわたる実験と分析において,提案手法は精神画像脳波分類のための完全細管法および最先端PEFT法よりも優れた性能を示した。

関連論文リスト

• FoME: A Foundation Model for EEG using Adaptive Temporal-Lateral Attention Scaling [19.85701025524892]
  FoME (Foundation Model for EEG) は適応的側方アテンションスケーリングを用いた新しいアプローチである。 FoMEは1.7TBの頭皮と頭蓋内脳波記録のデータセットで事前訓練されており、1,096kのステップで745Mのパラメータが訓練されている。
  論文  参考訳（メタデータ） (2024-09-19T04:22:40Z)
• Probing the Efficacy of Federated Parameter-Efficient Fine-Tuning of Vision Transformers for Medical Image Classification [16.070261684997362]
  様々な下流タスクのための微調整事前訓練モデルは、医療画像領域において重要な問題である。 これらのモデルの大規模なサイズは、フェデレート学習における通信負担を軽減するために、パラメータ効率のよい微調整(PEFT)を使用する必要がある。 本研究では,医用画像分類のためのビジョントランスフォーマー(ViT)モデルに適用するための各種PEFT戦略について検討する。
  論文  参考訳（メタデータ） (2024-07-16T10:28:50Z)
• Communication-Efficient Hybrid Federated Learning for E-health with Horizontal and Vertical Data Partitioning [67.49221252724229]
  E-Healthは、スマートデバイスや医療機関が患者のデータを共同で収集することを可能にする。 eヘルスにフェデレートされた学習を適用することは、多くの課題に直面します。 医療データは水平および垂直に分割される。 HFLとVFLの単純な組み合わせには、訓練効率の低下、難聴収束分析、パラメータチューニング戦略の欠如など、制限がある。
  論文  参考訳（メタデータ） (2024-04-15T19:45:07Z)
• Parameter Efficient Finetuning for Speech Emotion Recognition and Domain Adaptation [13.774287532165019]
  本稿では,音声感情認識(SER)のためのパラメータ係数ファインタニング(PEFT)について検討する。 様々なPEFT適応器は、離散的な感情カテゴリーの分類と次元的な感情特性の予測の両方のために体系的に研究されている。 行動感情データに基づいて訓練されたモデルに適応する2段階適応戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-19T00:21:07Z)
• A Knowledge-Driven Cross-view Contrastive Learning for EEG Representation [48.85731427874065]
  本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。 KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。 ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
  論文  参考訳（メタデータ） (2023-09-21T08:53:51Z)
• Convolutional Monge Mapping Normalization for learning on sleep data [63.22081662149488]
  我々は、CMMN(Convolutional Monge Mapping Normalization)と呼ばれる新しい手法を提案する。 CMMNは、そのパワースペクトル密度(PSD)をトレーニングデータに基づいて推定されるワッサーシュタインバリセンタに適応させるために、信号をフィルタリングする。 睡眠脳波データに関する数値実験により、CMMNはニューラルネットワークアーキテクチャから独立して、顕著で一貫したパフォーマンス向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-05-30T08:24:01Z)
• Parameter-Efficient Fine-Tuning for Medical Image Analysis: The Missed Opportunity [15.404013190033242]
  の応用。 医用画像解析におけるPEFT(Efficient Fine-Tuning)は, 比較的未探索である。 本研究では、画像分類とテキスト・ツー・イメージ生成タスクにおいて、17の異なるPEFTアルゴリズムを評価することにより、このギャップを埋める。 本研究はPEFTの有効性,特に医用画像に共通する低データ領域における有効性を示すものである。
  論文  参考訳（メタデータ） (2023-05-14T21:18:18Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• EEG-Inception: An Accurate and Robust End-to-End Neural Network for EEG-based Motor Imagery Classification [123.93460670568554]
  本稿では,脳波に基づく運動画像(MI)分類のための新しい畳み込みニューラルネットワーク(CNN)アーキテクチャを提案する。 提案したCNNモデル、すなわちEEG-Inceptionは、Inception-Timeネットワークのバックボーン上に構築されている。 提案するネットワークは、生のEEG信号を入力とし、複雑なEEG信号前処理を必要としないため、エンドツーエンドの分類である。
  論文  参考訳（メタデータ） (2021-01-24T19:03:10Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• Ultra Efficient Transfer Learning with Meta Update for Cross Subject EEG Classification [0.6562256987706128]
  本稿では,脳波の連続的分類のためのメタ更新戦略 (MUPS-EEG) という,効率的な伝達学習手法を提案する。 モデルはメタ更新を用いて効果的な表現を学習し、新しい主題への適応を加速し、前の主題に対する知識の忘れを緩和する。
  論文  参考訳（メタデータ） (2020-03-13T05:10:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。