Fugu-MT 論文翻訳(概要): Fusing Pretrained ViTs with TCNet for Enhanced EEG Regression

論文の概要: Fusing Pretrained ViTs with TCNet for Enhanced EEG Regression

arxiv url: http://arxiv.org/abs/2404.15311v2
Date: Wed, 7 Aug 2024 08:14:56 GMT
ステータス: 処理完了
システム内更新日: 2024-08-08 15:25:48.713249
Title: Fusing Pretrained ViTs with TCNet for Enhanced EEG Regression
Title（参考訳）: 拡張脳波回帰のためのTCNetによる事前学習型ViTのFusing
Authors: Eric Modesitt, Haicheng Yin, Williams Huang Wang, Brian Lu,
Abstract要約: 本稿では、脳波回帰の精度を高めるために、事前訓練された視覚変換器(ViT)と時間畳み込みネットワーク(TCNet)の統合について詳述する。以上の結果から, 回転平均角誤差(RMSE)を55.4から51.8に低減した。性能を犠牲にすることなく、このモデルの速度を桁違いに向上させる(最大4.32倍高速)。
参考スコア（独自算出の注目度）: 0.07999703756441758
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The task of Electroencephalogram (EEG) analysis is paramount to the development of Brain-Computer Interfaces (BCIs). However, to reach the goal of developing robust, useful BCIs depends heavily on the speed and the accuracy at which BCIs can understand neural dynamics. In response to that goal, this paper details the integration of pre-trained Vision Transformers (ViTs) with Temporal Convolutional Networks (TCNet) to enhance the precision of EEG regression. The core of this approach lies in harnessing the sequential data processing strengths of ViTs along with the superior feature extraction capabilities of TCNet, to significantly improve EEG analysis accuracy. In addition, we analyze the importance of how to construct optimal patches for the attention mechanism to analyze, balancing both speed and accuracy tradeoffs. Our results showcase a substantial improvement in regression accuracy, as evidenced by the reduction of Root Mean Square Error (RMSE) from 55.4 to 51.8 on EEGEyeNet's Absolute Position Task, outperforming existing state-of-the-art models. Without sacrificing performance, we increase the speed of this model by an order of magnitude (up to 4.32x faster). This breakthrough not only sets a new benchmark in EEG regression analysis but also opens new avenues for future research in the integration of transformer architectures with specialized feature extraction methods for diverse EEG datasets.
Abstract（参考訳）: 脳波(EEG)解析の課題は脳-コンピュータインタフェース(BCI)の発展に最重要である。しかし、堅牢で有用なBCIを開発するという目標を達成するには、BCIが神経力学を理解する速度と精度に大きく依存する。本論文は,脳波回帰の精度を高めるために,事前学習された視覚変換器(ViT)と時間畳み込みネットワーク(TCNet)の統合について詳述する。このアプローチのコアとなるのは、ViTのシーケンシャルなデータ処理強度とTCNetの優れた特徴抽出能力を活用して、EEG分析の精度を大幅に向上させることである。さらに、速度と精度のトレードオフを解析し、バランスをとるためのアテンション機構に最適なパッチを構築することの重要性を分析する。この結果,EEGEyeNetの絶対位置タスクにおいて,ルート平均角誤差(RMSE)が55.4から51.8に削減され,既存の最先端モデルよりも精度が向上した。性能を犠牲にすることなく、このモデルの速度を桁違いに向上させる(最大4.32倍高速)。このブレークスルーは、EEG回帰分析の新しいベンチマークを設定するだけでなく、トランスフォーマーアーキテクチャと様々なEEGデータセットのための特別な特徴抽出メソッドの統合における将来の研究のための新たな道を開く。

関連論文リスト

Advancing EEG-Based Gaze Prediction Using Depthwise Separable Convolution and Enhanced Pre-Processing [0.8192907805418583]
本稿では,脳深度分離可能な畳み込みニューラルネットワーク(CNN)と視覚変換器を組み合わせたEEG-DCViT(Deeper Clustered Vision Transformer)を提案する。この新しいアプローチは優れたパフォーマンスを示し、51.6mmのRoot Mean Square Error(RMSE)で新しいベンチマークを確立する。
論文参考訳（メタデータ） (2024-08-06T23:43:03Z)
EEGMobile: Enhancing Speed and Accuracy in EEG-Based Gaze Prediction with Advanced Mobile Architectures [0.36832029288386137]
本研究では,脳波の回帰タスクにおいて,事前学習したMobileViTと知識蒸留(KD)を併用したモデルを提案する。その結果,EEGEyeNet Absolute Position Task の以前の State-Of-The-Art (SOTA) に匹敵するレベル(3%以下)で動作可能であることが示された。
論文参考訳（メタデータ） (2024-08-06T21:02:27Z)
An Efficient Approach to Regression Problems with Tensor Neural Networks [5.345144592056051]
本稿では、非パラメトリック回帰問題に対処するテンソルニューラルネットワーク(TNN)を提案する。 TNNは従来のFeed-Forward Networks (FFN) や Radial Basis Function Networks (RBN) よりも優れた性能を示している。このアプローチにおける重要な革新は、統計回帰とTNNフレームワーク内の数値積分の統合である。
論文参考訳（メタデータ） (2024-06-14T03:38:40Z)
End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文参考訳（メタデータ） (2023-05-25T10:58:46Z)
From Environmental Sound Representation to Robustness of 2D CNN Models Against Adversarial Attacks [82.21746840893658]
本稿では, 各種環境音響表現(スペクトログラム)が, 被害者残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。 DWTスペクトログラムでトレーニングしたResNet-18モデルでは高い認識精度が得られたが、このモデルに対する攻撃は敵にとって比較的コストがかかる。
論文参考訳（メタデータ） (2022-04-14T15:14:08Z)
Benchmarking Detection Transfer Learning with Vision Transformers [60.97703494764904]
オブジェクト検出メソッドの複雑さは、ViT(Vision Transformer)モデルのような新しいアーキテクチャが到着するときに、ベンチマークを非簡単にする。本研究では,これらの課題を克服し,標準的なVTモデルをMask R-CNNのバックボーンとして活用する訓練手法を提案する。その結果,最近のマスキングに基づく教師なし学習手法は,COCOにおける説得力のあるトランスファー学習改善をもたらす可能性が示唆された。
論文参考訳（メタデータ） (2021-11-22T18:59:15Z)
FasterPose: A Faster Simple Baseline for Human Pose Estimation [65.8413964785972]
本稿では,高速ポーズ推定のためのLR表現を用いた費用対効果ネットワークの設計パラダイムであるFasterPoseを提案する。我々は,FasterPoseのトレーニング挙動について検討し,収束を加速する新しい回帰クロスエントロピー(RCE)損失関数を定式化する。従来のポーズ推定ネットワークと比較すると,FLOPの58%が減少し,精度が1.3%向上した。
論文参考訳（メタデータ） (2021-07-07T13:39:08Z)
When Vision Transformers Outperform ResNets without Pretraining or Strong Data Augmentations [111.44860506703307]
Vision Transformer (ViTs) と既存のVisionNetsは、ハンドワイヤ機能やインダクティブスループットを汎用神経アーキテクチャに置き換えようとしている。本稿では、損失幾何学のレンズからViTとRes-Mixersを解析し、トレーニングおよび推論時のモデルのデータ効率を改善することを目的とする。最初の数層では、スペーサー活動ニューロンの頑健性が改善していることが示されている。その結果、ViTsは、大規模な事前トレーニングや強力なデータ拡張なしに、ImageNet上でスクラッチからトレーニングした時に、同様のサイズと滑らかさのネットより優れています。
論文参考訳（メタデータ） (2021-06-03T02:08:03Z)
EEG-Inception: An Accurate and Robust End-to-End Neural Network for EEG-based Motor Imagery Classification [123.93460670568554]
本稿では,脳波に基づく運動画像(MI)分類のための新しい畳み込みニューラルネットワーク(CNN)アーキテクチャを提案する。提案したCNNモデル、すなわちEEG-Inceptionは、Inception-Timeネットワークのバックボーン上に構築されている。提案するネットワークは、生のEEG信号を入力とし、複雑なEEG信号前処理を必要としないため、エンドツーエンドの分類である。
論文参考訳（メタデータ） (2021-01-24T19:03:10Z)
EEG-TCNet: An Accurate Temporal Convolutional Network for Embedded Motor-Imagery Brain-Machine Interfaces [15.07343602952606]
本稿では、トレーニング可能なパラメータをほとんど必要とせず、優れた精度を実現する新しい時間畳み込みネットワーク(TCN)であるEEG-TCNetを提案する。メモリフットプリントが低く、推論の計算量も少ないため、エッジのリソース制限されたデバイスの組み込み分類に適している。
論文参考訳（メタデータ） (2020-05-31T21:45:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。