論文の概要: DIVER-1 : Deep Integration of Vast Electrophysiological Recordings at Scale
- arxiv url: http://arxiv.org/abs/2512.19097v1
- Date: Mon, 22 Dec 2025 07:07:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-23 18:54:32.651107
- Title: DIVER-1 : Deep Integration of Vast Electrophysiological Recordings at Scale
- Title(参考訳): DIVER-1 : Vast Electrophysiological Recordings at Scale
- Authors: Danny Dongyeop Han, Yonghyeon Gwon, Ahhyun Lucy Lee, Taeyang Lee, Seong Jin Lee, Jubin Choi, Sebin Lee, Jihyun Bang, Seungju Lee, David Keetae Park, Shinjae Yoo, Chun Kee Chung, Jiook Cha,
- Abstract要約: 脳波やiEEGなどの電気生理学的シグナルは神経科学、脳-コンピュータインターフェース、臨床応用の中心である。
これまでに最大かつ多種多様なコーパスでトレーニングされた脳波およびiEEGファンデーションモデルであるDIVER-1を紹介する。
本稿では,この領域における最初の体系的スケーリング法則解析について述べる。
与えられたデータ量と計算量に対して、拡張エポックのためにトレーニングされたより小さなモデルは、短時間でトレーニングされたより大きなモデルよりも一貫して優れていた。
- 参考スコア(独自算出の注目度): 12.825262947677437
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Electrophysiology signals such as EEG and iEEG are central to neuroscience, brain-computer interfaces, and clinical applications, yet existing foundation models remain limited in scale despite clear evidence that scaling improves performance. We introduce DIVER-1, a family of EEG and iEEG foundation models trained on the largest and most diverse corpus to date-5.3k hours of iEEG and 54k hours of EEG (1.6M channel-hours from over 17.7k subjects)-and scaled up to 1.82B parameters. We present the first systematic scaling law analysis for this domain, showing that they follow data-constrained scaling laws: for a given amount of data and compute, smaller models trained for extended epochs consistently outperform larger models trained briefly. This behavior contrasts with prior electrophysiology foundation models that emphasized model size over training duration. To achieve strong performance, we also design architectural innovations including any-variate attention, sliding temporal conditional positional encoding, and multi-domain reconstruction. DIVER-1 iEEG and EEG models each achieve state-of-the-art performance on their respective benchmarks, establishing a concrete guidelines for efficient scaling and resource allocation in electrophysiology foundation model development.
- Abstract(参考訳): 脳波やiEEGのような電気生理学的信号は神経科学、脳とコンピュータのインターフェイス、臨床応用の中心であるが、既存の基礎モデルは、スケールが性能を向上させるという明確な証拠にもかかわらず、規模が限られている。
我々は、最大かつ最も多様なコーパスでトレーニングされた脳波およびiEEGファンデーションモデルであるDIVER-1を、iEEGの5.3k時間、EEGの54k時間(17.7k以上の被験者の1.6Mチャネル時間)まで導入し、最大1.22Bのパラメータにスケールアップした。
与えられたデータ量と計算量に対して、拡張エポックのためにトレーニングされたより小さなモデルは、短時間でトレーニングされたより大きなモデルよりずっと優れています。
この行動は、トレーニング期間よりもモデルのサイズを強調した以前の電気生理学的基礎モデルとは対照的である。
高い性能を達成するため,我々は,無変量注意,時空間位置符号化,マルチドメイン再構築などのアーキテクチャ革新も設計する。
DIVER-1 iEEGモデルとEEGモデルはそれぞれそれぞれのベンチマークで最先端のパフォーマンスを達成し、電気生理学的基礎モデル開発における効率的なスケーリングと資源配分のための具体的なガイドラインを確立した。
関連論文リスト
- REVE: A Foundation Model for EEG -- Adapting to Any Setup with Large-Scale Pretraining on 25,000 Subjects [5.368295573908306]
REVE(Representation for EEG with Versatile Embeddings)は、様々な脳波信号にまたがる一般化を意図した事前訓練モデルである。
我々は25,000人の被験者にまたがる92のデータセットから6万時間以上の脳波データをプレトレーニングしました。
我々は、標準化された脳波研究を支援し、臨床神経科学の進歩を促進するためのコード、事前訓練された体重、チュートリアルをリリースする。
論文 参考訳(メタデータ) (2025-10-24T15:52:46Z) - BrainOmni: A Brain Foundation Model for Unified EEG and MEG Signals [46.121056431476156]
異種脳波とMEG記録を対象とする脳基礎モデルBrain Omniを提案する。
既存のアプローチは一般的に、パフォーマンスとクロスドメインのスケーラビリティを制限する、分離、モダリティ、データセット固有のモデルに依存します。
EEGの合計1,997時間、MEGデータの656時間は、事前トレーニングのために公開されているソースからキュレーションされ、標準化されている。
論文 参考訳(メタデータ) (2025-05-18T14:07:14Z) - BioSerenity-E1: a self-supervised EEG model for medical applications [0.0]
BioSerenity-E1は臨床脳波治療のための自己監督型基礎モデルの1つである。
スペクトルトークン化とマスク付き予測を組み合わせることで、関連する診断タスク間で最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2025-03-13T13:42:46Z) - Large Cognition Model: Towards Pretrained EEG Foundation Model [0.0]
多様な脳波データセットと下流タスクをまたいだ一般化を目的としたトランスフォーマーベース基盤モデルを提案する。
本研究は, 神経科学, パーソナライズドメディカル, およびBCI技術の進歩を促進するための, 事前学習型脳波基盤モデルの可能性を明らかにするものである。
論文 参考訳(メタデータ) (2025-02-11T04:28:10Z) - CEReBrO: Compact Encoder for Representations of Brain Oscillations Using Efficient Alternating Attention [46.47343031985037]
交互注意(CEReBrO)を用いた脳振動の表現のための圧縮法について紹介する。
トークン化方式は、チャネルごとのパッチで脳波信号を表現します。
本研究では,チャネル内時間的ダイナミックスとチャネル間空間的相関を共同でモデル化し,通常の自己アテンションに比べて6倍少ないメモリで2倍の速度向上を実現するための注意機構を提案する。
論文 参考訳(メタデータ) (2025-01-18T21:44:38Z) - SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation [81.36747103102459]
表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。
現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。
本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
論文 参考訳(メタデータ) (2025-01-16T18:59:46Z) - BrainGPT: Unleashing the Potential of EEG Generalist Foundation Model by Autoregressive Pre-training [15.135177893151008]
EEGPTはこれらの課題に対処するために設計された最初の一般のEEG基盤モデルである。
まず,各電極を基本単位として扱う電極ワイド・モデリング手法を提案する。
第2に、最初の自己回帰型脳波事前学習モデルを開発する。
第3に,学習可能な電極グラフネットワークを用いたマルチタスク転送学習パラダイムを提案する。
論文 参考訳(メタデータ) (2024-10-14T12:17:54Z) - FoME: A Foundation Model for EEG using Adaptive Temporal-Lateral Attention Scaling [19.85701025524892]
FoME (Foundation Model for EEG) は適応的側方アテンションスケーリングを用いた新しいアプローチである。
FoMEは1.7TBの頭皮と頭蓋内脳波記録のデータセットで事前訓練されており、1,096kのステップで745Mのパラメータが訓練されている。
論文 参考訳(メタデータ) (2024-09-19T04:22:40Z) - REST: Efficient and Accelerated EEG Seizure Analysis through Residual State Updates [54.96885726053036]
本稿では,リアルタイム脳波信号解析のための新しいグラフベース残状態更新機構(REST)を提案する。
グラフニューラルネットワークとリカレント構造の組み合わせを活用することで、RESTは、非ユークリッド幾何学とEEGデータ内の時間的依存関係の両方を効率的にキャプチャする。
本モデルは,発作検出と分類作業において高い精度を示す。
論文 参考訳(メタデータ) (2024-06-03T16:30:19Z) - Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。
トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。
評価のために,GPT-4に基づく実測値CheXpromptを提案する。
LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳(メタデータ) (2024-03-12T18:12:02Z) - Data augmentation for learning predictive models on EEG: a systematic
comparison [79.84079335042456]
脳波(EEG)分類タスクの深層学習は、ここ数年急速に増加している。
EEG分類タスクのディープラーニングは、比較的小さなEEGデータセットによって制限されている。
データ拡張は、コンピュータビジョンや音声などのアプリケーションにまたがる最先端のパフォーマンスを得るために重要な要素となっている。
論文 参考訳(メタデータ) (2022-06-29T09:18:15Z) - A multi-stage machine learning model on diagnosis of esophageal
manometry [50.591267188664666]
このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。
これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
論文 参考訳(メタデータ) (2021-06-25T20:09:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。