論文の概要: DIVER-1 : Deep Integration of Vast Electrophysiological Recordings at Scale
- arxiv url: http://arxiv.org/abs/2512.19097v1
- Date: Mon, 22 Dec 2025 07:07:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-23 18:54:32.651107
- Title: DIVER-1 : Deep Integration of Vast Electrophysiological Recordings at Scale
- Title(参考訳): DIVER-1 : Vast Electrophysiological Recordings at Scale
- Authors: Danny Dongyeop Han, Yonghyeon Gwon, Ahhyun Lucy Lee, Taeyang Lee, Seong Jin Lee, Jubin Choi, Sebin Lee, Jihyun Bang, Seungju Lee, David Keetae Park, Shinjae Yoo, Chun Kee Chung, Jiook Cha,
- Abstract要約: 脳波やiEEGなどの電気生理学的シグナルは神経科学、脳-コンピュータインターフェース、臨床応用の中心である。
これまでに最大かつ多種多様なコーパスでトレーニングされた脳波およびiEEGファンデーションモデルであるDIVER-1を紹介する。
本稿では,この領域における最初の体系的スケーリング法則解析について述べる。
与えられたデータ量と計算量に対して、拡張エポックのためにトレーニングされたより小さなモデルは、短時間でトレーニングされたより大きなモデルよりも一貫して優れていた。
- 参考スコア(独自算出の注目度): 12.825262947677437
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Electrophysiology signals such as EEG and iEEG are central to neuroscience, brain-computer interfaces, and clinical applications, yet existing foundation models remain limited in scale despite clear evidence that scaling improves performance. We introduce DIVER-1, a family of EEG and iEEG foundation models trained on the largest and most diverse corpus to date-5.3k hours of iEEG and 54k hours of EEG (1.6M channel-hours from over 17.7k subjects)-and scaled up to 1.82B parameters. We present the first systematic scaling law analysis for this domain, showing that they follow data-constrained scaling laws: for a given amount of data and compute, smaller models trained for extended epochs consistently outperform larger models trained briefly. This behavior contrasts with prior electrophysiology foundation models that emphasized model size over training duration. To achieve strong performance, we also design architectural innovations including any-variate attention, sliding temporal conditional positional encoding, and multi-domain reconstruction. DIVER-1 iEEG and EEG models each achieve state-of-the-art performance on their respective benchmarks, establishing a concrete guidelines for efficient scaling and resource allocation in electrophysiology foundation model development.
- Abstract(参考訳): 脳波やiEEGのような電気生理学的信号は神経科学、脳とコンピュータのインターフェイス、臨床応用の中心であるが、既存の基礎モデルは、スケールが性能を向上させるという明確な証拠にもかかわらず、規模が限られている。
我々は、最大かつ最も多様なコーパスでトレーニングされた脳波およびiEEGファンデーションモデルであるDIVER-1を、iEEGの5.3k時間、EEGの54k時間(17.7k以上の被験者の1.6Mチャネル時間)まで導入し、最大1.22Bのパラメータにスケールアップした。
与えられたデータ量と計算量に対して、拡張エポックのためにトレーニングされたより小さなモデルは、短時間でトレーニングされたより大きなモデルよりずっと優れています。
この行動は、トレーニング期間よりもモデルのサイズを強調した以前の電気生理学的基礎モデルとは対照的である。
高い性能を達成するため,我々は,無変量注意,時空間位置符号化,マルチドメイン再構築などのアーキテクチャ革新も設計する。
DIVER-1 iEEGモデルとEEGモデルはそれぞれそれぞれのベンチマークで最先端のパフォーマンスを達成し、電気生理学的基礎モデル開発における効率的なスケーリングと資源配分のための具体的なガイドラインを確立した。
関連論文リスト
- REVE: A Foundation Model for EEG -- Adapting to Any Setup with Large-Scale Pretraining on 25,000 Subjects [5.368295573908306]
REVE(Representation for EEG with Versatile Embeddings)は、様々な脳波信号にまたがる一般化を意図した事前訓練モデルである。
我々は25,000人の被験者にまたがる92のデータセットから6万時間以上の脳波データをプレトレーニングしました。
我々は、標準化された脳波研究を支援し、臨床神経科学の進歩を促進するためのコード、事前訓練された体重、チュートリアルをリリースする。
論文 参考訳(メタデータ) (2025-10-24T15:52:46Z) - BrainOmni: A Brain Foundation Model for Unified EEG and MEG Signals [46.121056431476156]
異種脳波とMEG記録を対象とする脳基礎モデルBrain Omniを提案する。
既存のアプローチは一般的に、パフォーマンスとクロスドメインのスケーラビリティを制限する、分離、モダリティ、データセット固有のモデルに依存します。
EEGの合計1,997時間、MEGデータの656時間は、事前トレーニングのために公開されているソースからキュレーションされ、標準化されている。
論文 参考訳(メタデータ) (2025-05-18T14:07:14Z) - BioSerenity-E1: a self-supervised EEG model for medical applications [0.0]
BioSerenity-E1は臨床脳波治療のための自己監督型基礎モデルの1つである。
スペクトルトークン化とマスク付き予測を組み合わせることで、関連する診断タスク間で最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2025-03-13T13:42:46Z) - Large Cognition Model: Towards Pretrained EEG Foundation Model [0.0]
多様な脳波データセットと下流タスクをまたいだ一般化を目的としたトランスフォーマーベース基盤モデルを提案する。
本研究は, 神経科学, パーソナライズドメディカル, およびBCI技術の進歩を促進するための, 事前学習型脳波基盤モデルの可能性を明らかにするものである。
論文 参考訳(メタデータ) (2025-02-11T04:28:10Z) - CEReBrO: Compact Encoder for Representations of Brain Oscillations Using Efficient Alternating Attention [46.47343031985037]
交互注意(CEReBrO)を用いた脳振動の表現のための圧縮法について紹介する。
トークン化方式は、チャネルごとのパッチで脳波信号を表現します。
本研究では,チャネル内時間的ダイナミックスとチャネル間空間的相関を共同でモデル化し,通常の自己アテンションに比べて6倍少ないメモリで2倍の速度向上を実現するための注意機構を提案する。
論文 参考訳(メタデータ) (2025-01-18T21:44:38Z) - SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation [81.36747103102459]
表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。
現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。
本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
論文 参考訳(メタデータ) (2025-01-16T18:59:46Z) - BrainGPT: Unleashing the Potential of EEG Generalist Foundation Model by Autoregressive Pre-training [15.135177893151008]
EEGPTはこれらの課題に対処するために設計された最初の一般のEEG基盤モデルである。
まず,各電極を基本単位として扱う電極ワイド・モデリング手法を提案する。
第2に、最初の自己回帰型脳波事前学習モデルを開発する。
第3に,学習可能な電極グラフネットワークを用いたマルチタスク転送学習パラダイムを提案する。
論文 参考訳(メタデータ) (2024-10-14T12:17:54Z) - Data augmentation for learning predictive models on EEG: a systematic
comparison [79.84079335042456]
脳波(EEG)分類タスクの深層学習は、ここ数年急速に増加している。
EEG分類タスクのディープラーニングは、比較的小さなEEGデータセットによって制限されている。
データ拡張は、コンピュータビジョンや音声などのアプリケーションにまたがる最先端のパフォーマンスを得るために重要な要素となっている。
論文 参考訳(メタデータ) (2022-06-29T09:18:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。