論文の概要: MEG-XL: Data-Efficient Brain-to-Text via Long-Context Pre-Training

• arxiv url: http://arxiv.org/abs/2602.02494v1
• Date: Mon, 02 Feb 2026 18:59:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.395179
• Title: MEG-XL: Data-Efficient Brain-to-Text via Long-Context Pre-Training
• Title（参考訳）: MEG-XL: 長期事前訓練によるデータ効率のよい脳とテキスト
• Authors: Dulhan Jayalath, Oiwi Parker Jones,
• Abstract要約: 提案するMEG-XLは, サンプルあたり2.5分間のMEGコンテキストを事前学習したモデルで, 従来よりも5～300倍長く, 191kトークンに相当する。 脳データから単語を復号するタスクを微調整すると、MEG-XLは教師付き性能と少数のデータとを一致させる。 以上の結果から,長期コンテキスト事前学習は,他の手法が不要に破棄する拡張神経コンテキストの活用に有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 2.053044595519301
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Clinical brain-to-text interfaces are designed for paralysed patients who cannot provide extensive training recordings. Pre-training improves data-efficient generalisation by learning statistical priors across subjects, but these priors critically depend on context. While natural speech might unfold gradually over minutes, most methods pre-train with only a few seconds of context. Thus, we propose MEG-XL, a model pre-trained with 2.5 minutes of MEG context per sample, 5-300x longer than prior work, and equivalent to 191k tokens, capturing extended neural context. Fine-tuning on the task of word decoding from brain data, MEG-XL matches supervised performance with a fraction of the data (e.g. 1hr vs 50hrs) and outperforms brain foundation models. We find that models pre-trained with longer contexts learn representations that transfer better to word decoding. Our results indicate that long-context pre-training helps exploit extended neural context that other methods unnecessarily discard. Code, model weights, and instructions are available at https://github.com/neural-processing-lab/MEG-XL .
• Abstract（参考訳）: 臨床脳とテキストのインターフェースは、広範なトレーニング記録を提供することができない麻痺患者向けに設計されている。 事前学習は、被験者全体にわたる統計的事前学習によって、データ効率の一般化を改善するが、これらの事前学習は文脈に大きく依存する。 自然言語は数分で徐々に展開するが、ほとんどのメソッドは、ほんの数秒の文脈で事前訓練される。 そこで我々は,MEG-XLを提案する。MEGコンテキストを2.5分,前処理より5～300倍長く,さらに191kトークンに相当する,拡張されたニューラルコンテキストをキャプチャするモデルである。 脳データからワードデコーディングのタスクを微調整し、MEG-XLは教師付きパフォーマンスとデータの一部(例:1hr vs 50hrs)とを一致させ、脳基盤モデルより優れています。 より長い文脈で事前訓練されたモデルは、単語の復号化により良い表現を学習する。 以上の結果から,長期コンテキスト事前学習は,他の手法が不要に破棄する拡張神経コンテキストの活用に有効であることが示唆された。 コード、モデルウェイト、命令はhttps://github.com/neural-processing-lab/MEG-XL で入手できる。

関連論文リスト

• From Minutes to Days: Scaling Intracranial Speech Decoding with Supervised Pretraining [25.146772033032764]
  臨床モニタリング中の患者からの1週間の頭蓋内およびオーディオ記録を活用するための枠組みを提案する。 我々の対照的な学習モデルは、古典的な実験データにのみ訓練されたモデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-12-17T17:41:55Z)
• Reasoning to Learn from Latent Thoughts [61.2395150828168]
  本研究では,テキスト生成プロセスの根底にある表現的思考を明示的にモデル化し,推論することにより,事前学習データの効率を大幅に向上させることができることを示す。 1B LMは、少なくとも3回の反復でその性能をブートストラップし、生データに基づいてトレーニングされたベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-03-24T16:41:23Z)
• Synthetic Pre-Training Tasks for Neural Machine Translation [16.6378815054841]
  我々のゴールは、合成資源を使用する場合の事前学習モデルの有効性に寄与する要因を理解することである。 本稿では,語彙的および構造的知識のレベルが異なる事前学習型翻訳モデルを提案する。 複数の言語ペアに対する実験により,高レベルの難読化や純粋に合成された並列データであっても,事前学習のメリットが実現できることが明らかになった。
  論文  参考訳（メタデータ） (2022-12-19T21:34:00Z)
• LongFNT: Long-form Speech Recognition with Factorized Neural Transducer [64.75547712366784]
  文レベルの長文特徴を語彙予測器の出力と直接融合するLongFNT-Textアーキテクチャを提案する。 また,LongFNT法の有効性を,相対単語誤り率(WER)が19%,GigaSpeechコーパスが12%,LongFNT法が19%であった。
  論文  参考訳（メタデータ） (2022-11-17T08:48:27Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)
• LogME: Practical Assessment of Pre-trained Models for Transfer Learning [80.24059713295165]
  最大エビデンス対数(logme)は、転送学習のための事前学習されたモデルを評価するために用いられる。 ブルートフォースの微調整と比較して、LogMEはウォールクロックタイムで3000times$のスピードアップをもたらします。
  論文  参考訳（メタデータ） (2021-02-22T13:58:11Z)
• Data-Efficient Pretraining via Contrastive Self-Supervision [48.255310614527694]
  本研究では,資源効率向上のための3つの課題に対して評価を行う。 タスク内部の60MBのテキストデータに事前トレーニングされたデータと効率的な自己教師付きコントラストテキストエンコーダを提案する。 提案手法は,RoBERTaの微調整時間の1/5で事前学習と微調整を行いながら,RoBERTaよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-02T15:41:57Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。