論文の概要: Foundational GPT Model for MEG

• arxiv url: http://arxiv.org/abs/2404.09256v1
• Date: Sun, 14 Apr 2024 13:48:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 14:48:15.282261
• Title: Foundational GPT Model for MEG
• Title（参考訳）: MEGの基本GPTモデル
• Authors: Richard Csaky, Mats W. J. van Es, Oiwi Parker Jones, Mark Woolrich,
• Abstract要約: 本研究では,脳信号の予測を用いて学習可能な2種類のディープラーニング基礎モデルを提案する。 まず、改良されたWavenetを検討し、次に、改良されたTransformer-based (GPT2)モデルを検討する。 我々は,これらのディープラーニングモデルの性能を,MEGデータに基づく標準的な線形自己回帰(AR)モデルと比較する。
• 参考スコア（独自算出の注目度）: 3.524869467682149
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning techniques can be used to first training unsupervised models on large amounts of unlabelled data, before fine-tuning the models on specific tasks. This approach has seen massive success for various kinds of data, e.g. images, language, audio, and holds the promise of improving performance in various downstream tasks (e.g. encoding or decoding brain data). However, there has been limited progress taking this approach for modelling brain signals, such as Magneto-/electroencephalography (M/EEG). Here we propose two classes of deep learning foundational models that can be trained using forecasting of unlabelled MEG. First, we consider a modified Wavenet; and second, we consider a modified Transformer-based (GPT2) model. The modified GPT2 includes a novel application of tokenisation and embedding methods, allowing a model developed initially for the discrete domain of language to be applied to continuous multichannel time series data. We also extend the forecasting framework to include condition labels as inputs, enabling better modelling (encoding) of task data. We compare the performance of these deep learning models with standard linear autoregressive (AR) modelling on MEG data. This shows that GPT2-based models provide better modelling capabilities than Wavenet and linear AR models, by better reproducing the temporal, spatial and spectral characteristics of real data and evoked activity in task data. We show how the GPT2 model scales well to multiple subjects, while adapting its model to each subject through subject embedding. Finally, we show how such a model can be useful in downstream decoding tasks through data simulation. All code is available on GitHub (https://github.com/ricsinaruto/MEG-transfer-decoding).
• Abstract（参考訳）: ディープラーニングのテクニックは、教師なしのモデルを大量の不正なデータで訓練した後、特定のタスクでモデルを微調整するために使用することができる。 このアプローチは、画像、言語、オーディオなど、さまざまな種類のデータに対して大きな成功を収め、さまざまな下流タスク(例えば、脳データのエンコーディングや復号化)のパフォーマンス向上を約束している。 しかし、磁気/電気脳波(M/EEG)のような脳波をモデル化するためのアプローチの進歩は限られている。 本稿では,未学習MEGの予測を用いて学習可能なディープラーニング基礎モデルの2つのクラスを提案する。 まず、改良されたWavenetを検討し、次に、改良されたTransformer-based (GPT2)モデルを検討する。 改良されたGPT2は、トークン化と埋め込みの新たな応用を含んでおり、言語独立領域のために最初に開発されたモデルを連続したマルチチャネル時系列データに適用することができる。 また、予測フレームワークを拡張して、条件ラベルを入力として含み、タスクデータのより優れたモデリング(エンコーディング)を可能にします。 我々は,これらのディープラーニングモデルの性能を,MEGデータに基づく標準的な線形自己回帰(AR)モデルと比較する。 これにより、実データとタスクデータにおける誘発活動の時間的・空間的・スペクトル的特性をよりよく再現することにより、GPT2ベースのモデルの方がWavenetや線形ARモデルよりも優れたモデリング能力が得られることを示す。 GPT2モデルが複数の対象に対してどのようにスケールするかを示すとともに,各対象に対して対象埋め込みによりモデルを適応させる。 最後に、データシミュレーションにより、下流の復号化タスクにおいて、そのようなモデルがどのように役立つかを示す。 すべてのコードはGitHubで入手できる(https://github.com/ricsinaruto/MEG-transfer-decoding)。

関連論文リスト

• Self-Supervised Radio Pre-training: Toward Foundational Models for Spectrogram Learning [6.1339395157466425]
  Foundational Deep Learning(DL)モデルは、多種多様で多様なデータセットに基づいてトレーニングされた一般的なモデルである。 本稿では,無線信号を用いた基礎DLモデルの事前学習のための,新しい自己教師型学習手法であるMasked Spectrogram Modelingを紹介する。
  論文  参考訳（メタデータ） (2024-11-14T23:56:57Z)
• EvolveDirector: Approaching Advanced Text-to-Image Generation with Large Vision-Language Models [36.576853882830896]
  我々はEvolveDirectorを導入し、公開リソースを使用した高度なモデルに匹敵するテキスト・画像生成モデルをトレーニングする。 このフレームワークは、公開APIを通じて高度なモデルと対話して、ベースモデルをトレーニングするためのテキストイメージデータペアを取得する。 我々は,事前学習された大規模視覚言語モデル(VLM)を活用し,基礎モデルの進化を導く。
  論文  参考訳（メタデータ） (2024-10-09T17:52:28Z)
• GOFA: A Generative One-For-All Model for Joint Graph Language Modeling [38.267339613261996]
  この問題を解決するために,新たに生成グラフ言語モデルGOFAを提案する。 GOFAは、新たに提案されたグラフレベルの次単語予測、質問応答、構造的タスクに基づいて事前訓練されている。 モデルは様々な下流タスクに基づいて評価され、ゼロショットシナリオにおける構造的および文脈的問題を解く強力な能力を示す。
  論文  参考訳（メタデータ） (2024-07-12T22:23:51Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• DINOv2: Learning Robust Visual Features without Supervision [75.42921276202522]
  この研究は、既存の事前学習手法、特に自己教師付き手法が、多様なソースから十分なキュレートされたデータで訓練すれば、そのような特徴を生み出すことができることを示している。 技術的な貢献の多くは、大規模なトレーニングを加速し、安定化することを目的としています。 データの観点からは、自己組織化されていないデータではなく、専用で多様でキュレートされた画像データセットを構築するための自動パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-04-14T15:12:19Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Assemble Foundation Models for Automatic Code Summarization [9.53949558569201]
  ニューラルネットワークに基づく自動コード要約のためのフレキシブルでロバストなアプローチを提案する。 CodeBERT や GPT-2 のような利用可能な基盤モデルを AdaMo という単一のモデルに組み立てる。 本稿では,知識伝達の観点から,連続事前学習と中間微調整という2つの適応型スキームを導入する。
  論文  参考訳（メタデータ） (2022-01-13T21:38:33Z)
• Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
  現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。 アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。 デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
  論文  参考訳（メタデータ） (2020-01-20T15:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。