論文の概要: LaBraM at Scale: Scaling Data and Models for EEG Pretraining

• arxiv url: http://arxiv.org/abs/2611.03165v1
• Date: Mon, 02 Nov 2026 14:05:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 12:56:16.68531
• Title: LaBraM at Scale: Scaling Data and Models for EEG Pretraining
• Title（参考訳）: LaBraMのスケール: EEG事前トレーニングのデータとモデル
• Abstract要約: 25,067時間から79,910時間に及ぶ3つのEEGコレクションに580万から1,97億のパラメータを持つ10のエンコーダをトレーニングします。 Atom-L*の平均平衡精度は59.05%に達し、評価された完全微調整(Full-FT)チェックポイントに到達した。
• 参考スコア（独自算出の注目度）: 41.445317323286936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LaBraM, an early EEG foundation model, demonstrated that large-scale EEG pretraining can yield strong representations for diverse downstream tasks. Building on this foundation, we expand pretraining data and model capacity while retaining its core encoder and objective. We train ten encoders with 5.8 million to 1.97 billion parameters on three EEG collections spanning 25,067 to 79,910 hours, adapting signal preparation and training to heterogeneous recordings. Across 23 tasks, Atom-L* reaches 59.05% mean balanced accuracy at its best evaluated full fine-tuning (Full-FT) checkpoint, 3.61 percentage points above the strongest baseline EEG foundation model. Quark-G leads linear probing (LP) at 54.33%, a 1.24-point margin. Both also lead average task rank. At the last evaluated checkpoints, larger encoders improve Full-FT more consistently than LP, and stronger LP does not guarantee stronger Full-FT. Preserving patch structure improves LP over average pooling. Data-fraction experiments suggest capacity-dependent saturation, while checkpoint trajectories show that downstream performance can decline as pretraining loss falls. Joint classification with a shared Qwen3 readout reaches 50.50% with Molecule-H and Qwen3-8B; increasing language-model size provides no consistent gain. These results demonstrate the value of scaling LaBraM and the importance of matching pretraining scale to downstream adaptation.
• Abstract（参考訳）: 初期のEEG基盤モデルであるLaBraMは、大規模なEEG事前訓練が下流の様々なタスクに対して強力な表現をもたらすことを実証した。 この基盤の上に構築され、コアエンコーダと目的を維持しながら、事前学習データとモデル容量を拡張します。 25,067時間から79,910時間に及ぶ3つのEEGコレクションに580万から197億のパラメータを持つ10のエンコーダをトレーニングし、信号の準備と訓練を異種録音に適用します。 23のタスクで、Atom-L*の平均バランス精度は59.05%に達し、最強のベースラインEEG基礎モデルより3.61ポイント高いフル微調整(Full-FT)チェックポイントが評価されている。 クォーク-Gはリニアプローブ(LP)を54.33%、差は1.24ポイントである。 両者とも平均的なタスクランクをリードする。 最後に評価されたチェックポイントでは、より大きなエンコーダはLPよりも一貫してFull-FTを改善し、強いLPはFull-FTを保証しない。 パッチ構造を保存することは、平均的なプールよりもLPを改善する。 データ・フレクション実験はキャパシティ依存の飽和を示唆する一方、チェックポイント・トラジェクトリは、事前学習損失が減少すると下流のパフォーマンスが低下することを示している。 共用Qwen3リードアウトとの併用分類はMorecule-HとQwen3-8Bで50.50%に達する。 これらの結果は、LaBraMのスケーリングの価値と、下流適応への事前学習スケールのマッチングの重要性を示している。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• NebulaExp-8B: An Empirical Post-Training Pipeline via Full-Scale Ablation Research [5.287668610154937]
  トレーニング後のアライメントは、大きな言語モデルの能力に従って、推論と人間の好みを決定する。 この研究は、Qwen3-8Bベース上に構築された完全に透明でアブレーション駆動のポストトレーニングパイプラインであるNebulaExpを提示する。
  論文  参考訳（メタデータ） (2026-06-25T07:03:25Z)
• Sharpness-Aware Pretraining Mitigates Catastrophic Forgetting [34.224490336271806]
  フラットなミニマに向けてバイアス最適化を行う3つの事前学習最適化手法について検討する。 モデルのサイズは20Mから1億5000Mの範囲で、これらの介入はポストトレーニング後のダウンストリーム性能を継続的に改善する。 既存のOLMo-2-1Bチェックポイントに適用されたSAM中間トレーニングフェーズは、メタマス後トレーニング後の31%、4ビット量子化後の40%の遅延を減少させる。
  論文  参考訳（メタデータ） (2026-05-04T00:02:23Z)
• FIPO: Eliciting Deep Reasoning with Future-KL Influenced Policy Optimization [84.58281577727566]
  本稿では,大規模言語モデルにおける推論ボトルネックを克服する強化学習アルゴリズムであるFuture-KL Influenced Policy Optimization (FIPO)を提案する。 FIPOは、割引先KLの分岐をポリシー更新に組み込むことでこの問題に対処し、その後の軌道行動への影響に基づいてトークンを再重み付けする密集した有利な定式化を作成する。 Qwen2.5-32Bで評価され、FIPOは平均チェーン長を約4,000から10,000以上のトークンに拡張し、AIME 2024 Pass@1の精度を50.0%から58.0%に向上させた。
  論文  参考訳（メタデータ） (2026-03-20T10:24:50Z)
• PRISM: Demystifying Retention and Interaction in Mid-Training [20.198164159173647]
  PRISMは、大規模言語モデルにおける中級学習設計の選択に関する総合的な実証的研究である。 約27Bの高品位トークンの中間トレーニングでは, 数学では+15から+40点, コードでは+5から+12点, 科学ベンチマークでは+6から+13点, 一般性能は+6から+13点となる。
  論文  参考訳（メタデータ） (2026-03-17T19:04:33Z)
• RLP: Reinforcement as a Pretraining Objective [103.45068938532923]
  我々は,情報駆動型強化事前訓練の目的として,強化学習のコアスピリットである探索を,事前訓練の最終段階に導くことを提案する。 このトレーニングの目的は、モデルが次に何が起こるかを予測する前に、自分自身で考えることを奨励し、事前学習の早い段階で独立した思考行動を教えることである。 特に、RLPは、通常のテキストにおける事前学習対象としての推論のための強化学習を再構築し、次のトーケン予測と有用な連鎖推論の出現の間のギャップを埋める。
  論文  参考訳（メタデータ） (2025-09-26T17:53:54Z)
• A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
  本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。 モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。 本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
  論文  参考訳（メタデータ） (2023-03-02T21:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。