論文の概要: Graph Adapter of EEG Foundation Models for Parameter Efficient Fine Tuning

• arxiv url: http://arxiv.org/abs/2411.16155v1
• Date: Mon, 25 Nov 2024 07:30:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:22:25.369623
• Title: Graph Adapter of EEG Foundation Models for Parameter Efficient Fine Tuning
• Title（参考訳）: パラメータ効率の良い微調整のための脳波基礎モデルのグラフ適応器
• Authors: Toyotaro Suzumura, Hiroki Kanezashi, Shotaro Akahori,
• Abstract要約: EEG-GraphAdapter (EGA) はパラメータ効率の高い微細チューニング(PEFT)アプローチである。 EGAは、GNNベースのモジュールとして、事前訓練された時間バックボーンモデルに統合される。 バックボーンのBENDRモデルと比較すると、F1スコアでは最大16.1%の性能向上を実現している。
• 参考スコア（独自算出の注目度）: 1.8946099300030472
• License:
• Abstract: In diagnosing mental diseases from electroencephalography (EEG) data, neural network models such as Transformers have been employed to capture temporal dynamics. Additionally, it is crucial to learn the spatial relationships between EEG sensors, for which Graph Neural Networks (GNNs) are commonly used. However, fine-tuning large-scale complex neural network models simultaneously to capture both temporal and spatial features increases computational costs due to the more significant number of trainable parameters. It causes the limited availability of EEG datasets for downstream tasks, making it challenging to fine-tune large models effectively. We propose EEG-GraphAdapter (EGA), a parameter-efficient fine-tuning (PEFT) approach to address these challenges. EGA is integrated into pre-trained temporal backbone models as a GNN-based module and fine-tuned itself alone while keeping the backbone model parameters frozen. This enables the acquisition of spatial representations of EEG signals for downstream tasks, significantly reducing computational overhead and data requirements. Experimental evaluations on healthcare-related downstream tasks of Major Depressive Disorder and Abnormality Detection demonstrate that our EGA improves performance by up to 16.1% in the F1-score compared with the backbone BENDR model.
• Abstract（参考訳）: 脳波(EEG)データから精神疾患を診断するためには、トランスフォーマーのようなニューラルネットワークモデルを用いて時間的ダイナミクスを捉えている。 さらに、グラフニューラルネットワーク(GNN)が一般的に使用される脳波センサ間の空間的関係を学習することが重要である。 しかし、時間的特徴と空間的特徴の両方を同時に捉えるために、微調整された大規模な複雑なニューラルネットワークモデルでは、トレーニング可能なパラメータの数が多いため、計算コストが増大する。 これにより、下流タスク用のEEGデータセットの可用性が制限され、大規模なモデルを効果的に微調整することが困難になる。 脳波グラフアダプタ(EEG-GraphAdapter, EGA)を提案する。 EGAは、トレーニング済みの時間的バックボーンモデルにGNNベースのモジュールとして統合され、バックボーンモデルのパラメータを凍結させながら、それ自体を微調整する。 これにより、下流タスクのためのEEG信号の空間的表現を取得でき、計算オーバーヘッドとデータ要求を大幅に削減できる。 重度抑うつ障害と異常検出の医療関連下流課題に対する実験的評価は、我々のEGAが背骨BENDRモデルと比較してF1スコアの最大16.1%向上していることを示している。

関連論文リスト

• FEMBA: Efficient and Scalable EEG Analysis with a Bidirectional Mamba Foundation Model [19.91895489891802]
  本稿では,脳波分析のための新たな自己組織化フレームワークであるFEMBA(Foundational EEG Mamba + Bidirectional Architecture)を紹介する。 2次時間とメモリの複雑さが原因のTransformerベースのモデルとは異なり、FEMBAはシーケンス長と線形にスケールする。 トランスモデルと比較して競争性能が向上し、計算コストは大幅に低下する。
  論文  参考訳（メタデータ） (2025-02-10T13:15:52Z)
• CEReBrO: Compact Encoder for Representations of Brain Oscillations Using Efficient Alternating Attention [53.539020807256904]
  交互注意(CEReBrO)を用いた脳振動の表現のための圧縮法について紹介する。 トークン化方式は、チャネルごとのパッチで脳波信号を表現します。 本研究では,チャネル内時間的ダイナミックスとチャネル間空間的相関を共同でモデル化し,通常の自己アテンションに比べて6倍少ないメモリで2倍の速度向上を実現するための注意機構を提案する。
  論文  参考訳（メタデータ） (2025-01-18T21:44:38Z)
• Graph-Enhanced EEG Foundation Model [16.335330142000657]
  本稿では,時間情報とチャネル間情報を統合した新しい脳波基盤モデルを提案する。 我々のアーキテクチャはグラフニューラルネットワーク(GNN)とマスク付きオートエンコーダを組み合わせることで,効率的な事前学習を実現する。
  論文  参考訳（メタデータ） (2024-11-29T06:57:50Z)
• RISE-iEEG: Robust to Inter-Subject Electrodes Implantation Variability iEEG Classifier [0.0]
  RISE-iEEGはRobust Inter-Subject Electrode implantation Variability iEEGの略である。 iEEGデコーダモデルを開発し,各患者に電極の座標を必要とせずに複数の患者のデータに適用した。 分析の結果, RISE-iEEG は HTNet や EEGNet よりも F1 よりも10%高い値を示した。
  論文  参考訳（メタデータ） (2024-08-12T18:33:19Z)
• Synthesizing Multimodal Electronic Health Records via Predictive Diffusion Models [69.06149482021071]
  EHRPDと呼ばれる新しいEHRデータ生成モデルを提案する。 時間間隔推定を組み込んだ拡散モデルである。 我々は2つの公開データセットで実験を行い、忠実さ、プライバシー、実用性の観点からEPHPDを評価する。
  論文  参考訳（メタデータ） (2024-06-20T02:20:23Z)
• REST: Efficient and Accelerated EEG Seizure Analysis through Residual State Updates [54.96885726053036]
  本稿では,リアルタイム脳波信号解析のための新しいグラフベース残状態更新機構(REST)を提案する。 グラフニューラルネットワークとリカレント構造の組み合わせを活用することで、RESTは、非ユークリッド幾何学とEEGデータ内の時間的依存関係の両方を効率的にキャプチャする。 本モデルは,発作検出と分類作業において高い精度を示す。
  論文  参考訳（メタデータ） (2024-06-03T16:30:19Z)
• hvEEGNet: exploiting hierarchical VAEs on EEG data for neuroscience applications [3.031375888004876]
  脳波の既存のDLベースのモデリング手法に2つの課題がある。 被験者間の高いばらつきと低信号対雑音比は、脳波データの良好な品質を確保するのを困難にしている。 本稿では,高忠実度脳波再構成問題を対象とした2つの変分オートエンコーダモデル,すなわちvEEGNet-ver3とhvEEGNetを提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:36:31Z)
• Neuro-GPT: Towards A Foundation Model for EEG [0.04188114563181615]
  脳波エンコーダとGPTモデルからなる基礎モデルであるNeuro-GPTを提案する。 ファンデーションモデルは、マスクされたEEGセグメントの再構築方法を学ぶ自己教師付きタスクを使用して、大規模なデータセット上で事前訓練される。 基礎モデルを適用することで、スクラッチからトレーニングしたモデルと比較して、分類性能が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2023-11-07T07:07:18Z)
• DGSD: Dynamical Graph Self-Distillation for EEG-Based Auditory Spatial Attention Detection [49.196182908826565]
  AAD(Auditory Attention Detection)は、マルチスピーカー環境で脳信号からターゲット話者を検出することを目的としている。 現在のアプローチは主に、画像のようなユークリッドデータを処理するために設計された従来の畳み込みニューラルネットワークに依存している。 本稿では、入力として音声刺激を必要としないAADのための動的グラフ自己蒸留(DGSD)手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T13:43:46Z)
• EEG-Inception: An Accurate and Robust End-to-End Neural Network for EEG-based Motor Imagery Classification [123.93460670568554]
  本稿では,脳波に基づく運動画像(MI)分類のための新しい畳み込みニューラルネットワーク(CNN)アーキテクチャを提案する。 提案したCNNモデル、すなわちEEG-Inceptionは、Inception-Timeネットワークのバックボーン上に構築されている。 提案するネットワークは、生のEEG信号を入力とし、複雑なEEG信号前処理を必要としないため、エンドツーエンドの分類である。
  論文  参考訳（メタデータ） (2021-01-24T19:03:10Z)
• ECG-DelNet: Delineation of Ambulatory Electrocardiograms with Mixed Quality Labeling Using Neural Networks [69.25956542388653]
  ディープラーニング(DL)アルゴリズムは、学術的、産業的にも重くなっている。 セグメンテーションフレームワークにECGの検出とデライン化を組み込むことにより、低解釈タスクにDLをうまく適用できることを実証する。 このモデルは、PhyloNetのQTデータベースを使用して、105個の増幅ECG記録から訓練された。
  論文  参考訳（メタデータ） (2020-05-11T16:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。