Fugu-MT 論文翻訳(概要): Large Transformers are Better EEG Learners

論文の概要: Large Transformers are Better EEG Learners

arxiv url: http://arxiv.org/abs/2308.11654v1
Date: Sun, 20 Aug 2023 12:54:17 GMT
ステータス: 処理完了
システム内更新日: 2023-08-24 17:27:32.378768
Title: Large Transformers are Better EEG Learners
Title（参考訳）: 大きなトランスフォーマーは脳波を学習する
Authors: Bingxin Wang, Xiaowen Fu, Yuan Lan, Luchan Zhang, and Yang Xiang
Abstract要約: AdaCEは、EEGデータを画像やテキスト形式に変換するためのプラグアンドプレイアダプタである。 AdaCEは様々なEEGベースの予測タスクで最先端のパフォーマンスを達成する。提案したAdaCEをより大きな事前学習モデルの微調整に適用することにより,脳波に基づく予測タスクの性能が向上することを示す。
参考スコア（独自算出の注目度）: 6.568603083538775
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Pre-trained large transformer models have achieved remarkable performance in the fields of natural language processing and computer vision. Since the magnitude of available labeled electroencephalogram (EEG) data is much lower than that of text and image data, it is difficult for transformer models pre-trained from EEG to be developed as large as GPT-4 100T to fully unleash the potential of this architecture. In this paper, we show that transformers pre-trained from images as well as text can be directly fine-tuned for EEG-based prediction tasks. We design AdaCE, plug-and-play Adapters for Converting EEG data into image as well as text forms, to fine-tune pre-trained vision and language transformers. The proposed AdaCE module is highly effective for fine-tuning pre-trained transformers while achieving state-of-the-art performance on diverse EEG-based prediction tasks. For example, AdaCE on the pre-trained Swin-Transformer achieves 99.6%, an absolute improvement of 9.2%, on the EEG-decoding task of human activity recognition (UCI HAR). Furthermore, we empirically show that applying the proposed AdaCE to fine-tune larger pre-trained models can achieve better performance on EEG-based predicting tasks, indicating the potential of our adapters for even larger transformers. The plug-and-play AdaCE module can be applied to fine-tuning most of the popular pre-trained transformers on many other time-series data with multiple channels, not limited to EEG data and the models we use. Our code will be available at https://github.com/wangbxj1234/AdaCE.
Abstract（参考訳）: 事前訓練された大型トランスフォーマーモデルは、自然言語処理とコンピュータビジョンの分野で顕著な性能を達成した。脳波(EEG)データの大きさは、テキストや画像データよりもはるかに小さいため、GPT-4 100Tほどの大きさの脳波から事前学習したトランスフォーマーモデルでは、このアーキテクチャの可能性を完全に解き放つことは困難である。本稿では,画像やテキストから事前学習したトランスフォーマーを,脳波に基づく予測タスクで直接微調整できることを示す。私たちは、脳波データを画像だけでなくテキスト形式に変換するためのプラグアンドプレイアダプタであるadaceを、事前訓練されたビジョンと言語トランスフォーマーに設計しました。提案したAdaCEモジュールは,各種脳波予測タスクにおける最先端性能を達成しつつ,事前学習したトランスフォーマーの微調整に極めて有効である。例えば、事前訓練されたSwin-Transformer上のAdaCEは、人間の活動認識の脳波復号タスク(UCI HAR)において99.6%、絶対的な9.2%の改善を達成した。さらに,提案したAdaCEを大規模な事前学習モデルの微調整に適用することにより,脳波に基づく予測タスクの性能が向上し,さらに大きなトランスフォーマーに対するアダプタの可能性を示す。プラグアンドプレイのAdaCEモジュールは、一般的なトレーニング済みトランスフォーマーのほとんどを、EEGデータや使用しているモデルに限らず、複数のチャンネルを持つ他の多くの時系列データで微調整することができる。私たちのコードはhttps://github.com/wangbxj1234/adaceで利用可能です。

関連論文リスト

Demystifying the Communication Characteristics for Distributed Transformer Models [2.849208476795592]
本稿ではトランスモデルの通信挙動について検討する。我々はGPTに基づく言語モデルをトランスフォーマーアーキテクチャの汎用性によるケーススタディとして用いている。高いレベルでは、我々の分析により、より小さなメッセージポイントツーポイント通信を最適化する必要性が明らかになる。
論文参考訳（メタデータ） (2024-08-19T17:54:29Z)
Large Brain Model for Learning Generic Representations with Tremendous EEG Data in BCI [6.926908480247951]
大型脳モデル(LaBraM)と呼ばれる脳波の統一基盤モデルを提案する。 LaBraMは、EEG信号をEEGチャネルパッチにセグメント化することで、データセット間の学習を可能にする。次に、マスクされたEEGチャネルパッチの元のニューラルコードを予測することにより、ニューラルトランスフォーマーを事前訓練する。
論文参考訳（メタデータ） (2024-05-29T05:08:16Z)
VL-GPT: A Generative Pre-trained Transformer for Vision and Language Understanding and Generation [79.02357561313785]
視覚・言語データの同時認識・生成に長けたトランスモデルであるVL-GPT(Vision-Language Generative Pre-Traited Transformer)を導入する。 VL-GPTは、直感的な自己回帰的目的を用いることで、画像とテキストのモダリティを統一した事前学習アプローチを実現する。
論文参考訳（メタデータ） (2023-12-14T18:59:43Z)
ViT2EEG: Leveraging Hybrid Pretrained Vision Transformers for EEG Data [0.0]
画像ネット上で事前学習したハイブリッドビジョントランスフォーマー(ViT)モデルの脳波回帰タスクへの応用を実演する。このモデルは、ImageNetの重みなしでトレーニングされた同じアーキテクチャのViTなど、他のモデルと比較して、顕著なパフォーマンス向上を示している。
論文参考訳（メタデータ） (2023-08-01T11:10:33Z)
DuETT: Dual Event Time Transformer for Electronic Health Records [14.520791492631114]
我々はDuETTアーキテクチャを紹介した。これは、時間とイベントの両タイプにまたがるように設計されたトランスフォーマーの拡張である。 DuETTは集約された入力を使用し、スパース時系列は一定長さの正規シーケンスに変換される。本モデルでは,MIMIC-IV と PhysioNet-2012 EHR データセットを用いて,複数の下流タスクにおける最先端のディープラーニングモデルより優れています。
論文参考訳（メタデータ） (2023-04-25T17:47:48Z)
XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding [73.24847320536813]
本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
論文参考訳（メタデータ） (2022-04-15T03:44:00Z)
An Empirical Study of Training End-to-End Vision-and-Language Transformers [50.23532518166621]
我々はMETER(textbfMultimodal textbfEnd-to-end textbfTransformtextbfER)を提案する。具体的には、視覚エンコーダ(例えば、CLIP-ViT、Swin変換器)、テキストエンコーダ(例えば、RoBERTa、DeBERTa)、マルチモーダルフュージョン(例えば、マージアテンション対共振器)である。
論文参考訳（メタデータ） (2021-11-03T17:55:36Z)
VLDeformer: Learning Visual-Semantic Embeddings by Vision-Language Transformer Decomposing [7.890230091463883]
視覚言語変換器(VL変換器)は、クロスモーダル検索において顕著な精度を示している。本稿では,単一の画像やテキストに対して,VL変換器を個別エンコーダとして変更するための新しい視覚言語変換器分解(VLDeformer)を提案する。
論文参考訳（メタデータ） (2021-10-20T09:00:51Z)
Long-Short Temporal Contrastive Learning of Video Transformers [62.71874976426988]
ビデオのみのデータセットにおけるビデオトランスフォーマーの自己教師付き事前トレーニングは、大規模画像データセットでの教師付き事前トレーニングで得られたものよりも、同等以上のアクション認識結果につながる可能性がある。我々の手法は、長短時空間コントラスト学習(Long-Short Temporal Contrastive Learning)と呼ばれ、ビデオトランスフォーマーが、より長い時間的範囲から捉えた時間的文脈を予測することによって、効果的なクリップレベルの表現を学習することを可能にする。
論文参考訳（メタデータ） (2021-06-17T02:30:26Z)
Visformer: The Vision-friendly Transformer [105.52122194322592]
我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
論文参考訳（メタデータ） (2021-04-26T13:13:03Z)
Spatiotemporal Transformer for Video-based Person Re-identification [102.58619642363958]
我々は、強い学習能力にもかかわらず、バニラトランスフォーマーは過剰フィットのリスクの増加に苦しむことを示しています。そこで本研究では,合成ビデオデータからモデルを事前学習し,下流領域に伝達する新しいパイプラインを提案する。提案アルゴリズムは,3つの人気ビデオベース人物識別ベンチマークにおいて,精度向上を実現する。
論文参考訳（メタデータ） (2021-03-30T16:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。