論文の概要: Brain-Semantoks: Learning Semantic Tokens of Brain Dynamics with a Self-Distilled Foundation Model

• arxiv url: http://arxiv.org/abs/2512.11582v1
• Date: Fri, 12 Dec 2025 14:11:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 15:48:11.794541
• Title: Brain-Semantoks: Learning Semantic Tokens of Brain Dynamics with a Self-Distilled Foundation Model
• Title（参考訳）: Brain-Semantoks: 自己拡張基礎モデルによる脳のダイナミクスのセマンティック・トークンの学習
• Authors: Sam Gijsen, Marc-Andre Schulz, Kerstin Ritter,
• Abstract要約: 本稿では,脳力学の抽象表現を学習するための自己教師型フレームワークであるBrain-Semantoksを紹介する。 そのアーキテクチャは、2つの中核的なイノベーションの上に構築されている。これは、雑音の多い地域信号を機能的ネットワークを表す堅牢なトークンに集約するセマンティックトークンライザである。 線形プローブのみを用いても,学習した表現は様々な下流タスクにおいて高い性能を発揮することを示す。
• 参考スコア（独自算出の注目度）: 0.27528170226206433
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The development of foundation models for functional magnetic resonance imaging (fMRI) time series holds significant promise for predicting phenotypes related to disease and cognition. Current models, however, are often trained using a mask-and-reconstruct objective on small brain regions. This focus on low-level information leads to representations that are sensitive to noise and temporal fluctuations, necessitating extensive fine-tuning for downstream tasks. We introduce Brain-Semantoks, a self-supervised framework designed specifically to learn abstract representations of brain dynamics. Its architecture is built on two core innovations: a semantic tokenizer that aggregates noisy regional signals into robust tokens representing functional networks, and a self-distillation objective that enforces representational stability across time. We show that this objective is stabilized through a novel training curriculum, ensuring the model robustly learns meaningful features from low signal-to-noise time series. We demonstrate that learned representations enable strong performance on a variety of downstream tasks even when only using a linear probe. Furthermore, we provide comprehensive scaling analyses indicating more unlabeled data reliably results in out-of-distribution performance gains without domain adaptation.
• Abstract（参考訳）: 機能的磁気共鳴イメージング(fMRI)時系列の基礎モデルの開発は、疾患や認知に関連する表現型を予測する上で大きな可能性を秘めている。 しかし、現在のモデルは小さな脳の領域でマスク・アンド・リコンストラクションの目的を用いて訓練されることが多い。 この低レベル情報へのフォーカスは、ノイズや時間的変動に敏感な表現をもたらし、下流のタスクに広範囲な微調整を必要とする。 本稿では,脳力学の抽象表現を学習するための自己教師型フレームワークであるBrain-Semantoksを紹介する。 そのアーキテクチャは、2つの中核的なイノベーションの上に構築されている: ノイズの多い地域信号を機能的ネットワークを表す堅牢なトークンに集約するセマンティックトークンライザと、時間の経過とともに表現安定性を強制する自己蒸留目標である。 我々は,この目的が新しい訓練カリキュラムによって安定化されることを示し,低信号対雑音時系列から有意義な特徴を確実に学習する。 線形プローブのみを用いた場合においても,学習した表現が様々な下流タスクに対して強い性能を発揮することを示す。 さらに、よりラベルのないデータを示す包括的スケーリング分析により、ドメイン適応を伴わずに、分布外性能が向上することを示す。

関連論文リスト

• A Novel Framework for Learning Stochastic Representations for Sequence Generation and Recognition [0.0]
  シーケンシャルなデータの生成と認識は、動的環境で動作する自律システムの基本である。 パラメトリックバイアスを用いた新しいリカレントネットワーク(RNNPB)を提案する。 我々のアプローチは、時間パターンをモデル化するためのフレームワークを提供し、人工知能とロボティクスにおける堅牢なシステムの開発を前進させる。
  論文  参考訳（メタデータ） (2024-12-30T07:27:50Z)
• BrainMAE: A Region-aware Self-supervised Learning Framework for Brain Signals [11.030708270737964]
  本稿では,fMRI時系列データから直接表現を学習するBrain Masked Auto-Encoder(BrainMAE)を提案する。 BrainMAEは、4つの異なる下流タスクにおいて、確立されたベースラインメソッドをかなりのマージンで一貫して上回っている。
  論文  参考訳（メタデータ） (2024-06-24T19:16:24Z)
• TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
  本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。 TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。 また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• DSAM: A Deep Learning Framework for Analyzing Temporal and Spatial Dynamics in Brain Networks [4.041732967881764]
  ほとんどのrs-fMRI研究は、関心のある脳領域にまたがる単一の静的機能接続行列を計算している。 これらのアプローチは、脳のダイナミクスを単純化し、目の前のゴールを適切に考慮していないリスクがある。 本稿では,時系列から直接ゴール固有の機能的接続行列を学習する,解釈可能な新しいディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-19T23:35:06Z)
• Understanding Activation Patterns in Artificial Neural Networks by Exploring Stochastic Processes [0.0]
  我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。 我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。 各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
  論文  参考訳（メタデータ） (2023-08-01T22:12:30Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
  強化学習のための自己予測学習の学習ダイナミクスについて検討する。 本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-06T20:43:37Z)
• Deep Representations for Time-varying Brain Datasets [4.129225533930966]
  本稿では、領域マップされたfMRIシーケンスと構造接続性の両方を入力として組み込んだ効率的なグラフニューラルネットワークモデルを構築する。 サンプルレベルの適応的隣接行列を学習することで、潜伏する脳のダイナミクスのよい表現を見つけ出す。 これらのモジュールは容易に適応でき、神経科学領域以外の用途にも有用である可能性がある。
  論文  参考訳（メタデータ） (2022-05-23T21:57:31Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。