論文の概要: Scaling Next-Brain-Token Prediction for MEG
- arxiv url: http://arxiv.org/abs/2601.20138v2
- Date: Thu, 29 Jan 2026 10:17:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 14:13:20.042599
- Title: Scaling Next-Brain-Token Prediction for MEG
- Title(参考訳): MEGの次点検予測のスケーリング
- Authors: Richard Csaky,
- Abstract要約: 本稿では,ソース空間MEGに対する大規模な自己回帰モデルを提案する。
修正SEANetスタイルのベクトル量子化器は、マルチチャネルMEGをフラットなトークンストリームに還元する。
ホールドアウトされたMOUS上ですべての解析を行い、クロスデータセットの一般化を確立する。
- 参考スコア(独自算出の注目度): 0.10152838128195464
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a large autoregressive model for source-space MEG that scales next-token prediction to long context across datasets and scanners: handling a corpus of over 500 hours and thousands of sessions across the three largest MEG datasets. A modified SEANet-style vector-quantizer reduces multichannel MEG into a flattened token stream on which we train a Qwen2.5-VL backbone from scratch to predict the next brain token and to recursively generate minutes of MEG from up to a minute of context. To evaluate long-horizon generation, we introduce task-matched tests: (i) on-manifold stability via generated-only drift compared to the time-resolved distribution of real sliding windows, and (ii) conditional specificity via correct context versus prompt-swap controls using a neurophysiologically grounded metric set. We train on CamCAN and Omega and run all analyses on held-out MOUS, establishing cross-dataset generalization. Across metrics, generations remain relatively stable over long rollouts and are closer to the correct continuation than swapped controls. Code available at: https://github.com/ricsinaruto/brain-gen.
- Abstract(参考訳): 3つの大きなMEGデータセットで500時間数千セッションのコーパスを処理することで、データセットとスキャナーをまたいで、次のトーケン予測を長いコンテキストにスケールする、ソース空間MEGのための大規模な自己回帰モデルを提案する。
修正SEANet型ベクトル量子化器は、マルチチャネルMEGをフラットなトークンストリームに還元し、Qwen2.5-VLバックボーンをスクラッチからトレーニングし、次の脳トークンを予測する。
長軸生成を評価するために,タスクマッチングテストを導入する。
(i)実スライドウインドウの時間分解分布と比較して発生のみドリフトによるオンマンフォールド安定性
(II) 神経生理学的に接地されたメートル法を用いて, コンテクストによる条件特異性とプロンプト・スワップ制御について検討した。
我々はCamCANとOmegaでトレーニングを行い、ホールドアウトされたMOUSに関するすべての分析を行い、クロスデータセットの一般化を確立する。
メトリクス全体では、世代は長いロールアウトよりも比較的安定しており、スワップされたコントロールよりも正しい継続に近い。
コードは、https://github.com/ricsinaruto/brain-gen.comで入手できる。
関連論文リスト
- Rudder: Steering Prefetching in Distributed GNN Training using LLM Agents [19.368928130932833]
Rudderは最先端のAWS DistDGLフレームワークに組み込まれたソフトウェアモジュールである。
我々は、リモートノードを自律的にプリフェッチするために、最先端のAWS DistDGLフレームワークに組み込まれたソフトウェアモジュールであるRudderを紹介した。
LLM(Large Language Models)に見られる生成AIは、ゼロショットタスクのためのICL(In-Context Learning)のような創発的な特性を示し、論理的多段階推論を行う。
論文 参考訳(メタデータ) (2026-02-26T23:39:42Z) - Reinforced Fast Weights with Next-Sequence Prediction [42.710296902935426]
REFINEは、次のシーケンス予測(NSP)目標の下で高速ウェイトモデルをトレーニングする強化学習フレームワークである。
REFINEは、ニードル・イン・ア・ヘイスタック検索、長文質問応答、LongBenchにおける多様なタスクにおいて、NTPによる微調整を監督している。
論文 参考訳(メタデータ) (2026-02-18T18:53:18Z) - TS-Memory: Plug-and-Play Memory for Time Series Foundation Models [63.21390142212087]
Time Series Foundation Models (TSFM) は大規模な事前訓練を通じて強力なゼロショット予測を実現する。
パラメトリック適応は破滅的な忘れを招き、非パラメトリック検索は予測を改善するが、データストア検索によってレイテンシが高くなる。
本稿では, TSFM を拡張した軽量メモリアダプタ TS-Memory としてParametric Memory Distillation を提案し,実装する。
論文 参考訳(メタデータ) (2026-02-12T04:16:19Z) - CRONOS: Continuous Time Reconstruction for 4D Medical Longitudinal Series [4.916511768554555]
複数の過去のスキャンから多対一の予測を行う統合フレームワークであるCRONOSを提案する。
再現可能なマルチデータセットのマルチコンテキスト連続予測ベンチマークを可能にするため,コードと評価プロトコルをリリースする。
論文 参考訳(メタデータ) (2025-12-18T14:16:46Z) - Progress Ratio Embeddings: An Impatience Signal for Robust Length Control in Neural Text Generation [9.619477106626286]
三角波インピーダンス信号に結合した連続的な埋め込みとしてプログレッシブ比埋め込み(PRE)を導入する。
Preは標準のTransformerアーキテクチャにシームレスに統合され、テキストの精度を低下させることなく、安定した長さの忠実度を提供する。
広く使われている2つのニュース要約ベンチマークの実験は、これらの結果を検証する。
論文 参考訳(メタデータ) (2025-12-07T17:43:18Z) - Detect Anything via Next Point Prediction [51.55967987350882]
Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。
COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
論文 参考訳(メタデータ) (2025-10-14T17:59:54Z) - RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility [9.200793414310182]
RHYTHM(Reasoning with Hierarchical Temporal Tokenization for Human Mobility)を導入した。
汎用予測器や推論器として,大規模言語モデル (LLM) を用いる。
RHYTHMは総合的な精度が2.4%、週末に5.0%、トレーニング時間が24.6%減少している。
論文 参考訳(メタデータ) (2025-09-27T04:55:56Z) - Quantized Visual Geometry Grounded Transformer [67.15451442018258]
本稿では,VGGTの最初の量子化フレームワーク,すなわちQuantVGGTを提案する。
球状前アダマール回転と局所流路平滑化を統合したDual-Smoothed Fine-Grained Quantizationを導入する。
また、重層統計量を用いて外周をフィルタするノイズフィルタディバースサンプリングを設計する。
論文 参考訳(メタデータ) (2025-09-25T15:17:11Z) - T3Time: Tri-Modal Time Series Forecasting via Adaptive Multi-Head Alignment and Residual Fusion [0.4915744683251151]
T3Timeは、時間、スペクトル、プロンプトブランチで構成される新しい3モーダルフレームワークである。
予測地平線に基づいて時間的特徴とスペクトル的特徴の優先順位付けを学習する。
我々のモデルは一貫して最先端のベースラインを上回っている。
論文 参考訳(メタデータ) (2025-08-06T09:31:44Z) - Few-Shot Learning for Industrial Time Series: A Comparative Analysis Using the Example of Screw-Fastening Process Monitoring [0.0]
わずかながらの学習は視界において有望であるが、エンフィズスリアルな時系列データについてはいまだに探索されていない。
本稿では,2,300サンプルの多変量トルクデータセットを用いて,スクリュー締結過程の監視に関する系統的FSL研究を行う。
マルチラベルシーケンスを複数の単一ラベルタスクに分解する。
論文 参考訳(メタデータ) (2025-06-16T18:38:34Z) - Unified Human Localization and Trajectory Prediction with Monocular Vision [64.19384064365431]
MonoTransmotionはトランスフォーマーベースのフレームワークで、モノクロカメラのみを使用して、ローカライゼーションと予測タスクを共同で解決する。
両タスクを統合フレームワークで共同でトレーニングすることにより,ノイズの多い入力による実環境シナリオにおいて,我々の手法がより堅牢であることを示す。
論文 参考訳(メタデータ) (2025-03-05T14:18:39Z) - Sports-Traj: A Unified Trajectory Generation Model for Multi-Agent Movement in Sports [53.637837706712794]
任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。
具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを紹介する。
バスケットボールU,サッカーU,サッカーUの3つの実践的スポーツデータセットをベンチマークして評価を行った。
論文 参考訳(メタデータ) (2024-05-27T22:15:23Z) - TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。
TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。
また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
論文 参考訳(メタデータ) (2024-05-27T05:45:51Z) - Convolutional Monge Mapping Normalization for learning on sleep data [63.22081662149488]
我々は、CMMN(Convolutional Monge Mapping Normalization)と呼ばれる新しい手法を提案する。
CMMNは、そのパワースペクトル密度(PSD)をトレーニングデータに基づいて推定されるワッサーシュタインバリセンタに適応させるために、信号をフィルタリングする。
睡眠脳波データに関する数値実験により、CMMNはニューラルネットワークアーキテクチャから独立して、顕著で一貫したパフォーマンス向上をもたらすことが示された。
論文 参考訳(メタデータ) (2023-05-30T08:24:01Z) - GC-GRU-N for Traffic Prediction using Loop Detector Data [5.735035463793008]
シアトルのループ検出器のデータを15分以上収集し、その問題を時空で再現する。
モデルは、最速の推論時間と非常に近いパフォーマンスで第2位(トランスフォーマー)。
論文 参考訳(メタデータ) (2022-11-13T06:32:28Z) - Score-based Generative Modeling in Latent Space [93.8985523558869]
スコアベース生成モデル(SGM)は,最近,サンプル品質と分布範囲の両面で顕著な結果を示した。
本稿では,Latent Score-based Generative Model (LSGM)を提案する。
データから潜在空間への移動により、より表現力のある生成モデルをトレーニングし、非連続データにSGMを適用し、よりスムーズなSGMをより小さな空間で学習することができる。
論文 参考訳(メタデータ) (2021-06-10T17:26:35Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳(メタデータ) (2020-10-02T10:41:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。