論文の概要: Self-Supervised Foundation Model for Calcium-imaging Population Dynamics
- arxiv url: http://arxiv.org/abs/2604.04958v2
- Date: Wed, 08 Apr 2026 06:17:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-09 14:06:05.088596
- Title: Self-Supervised Foundation Model for Calcium-imaging Population Dynamics
- Title(参考訳): カルシウムイメージング人口動態の自己監督基礎モデル
- Abstract要約: カルシウムトレースのみに基づく自己教師型神経基盤モデルである textbfCalM を提案する。
大規模・マルチアニマル・マルチセッションデータセット上でCalMを評価する。
- 参考スコア(独自算出の注目度): 8.988419599192138
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work suggests that large-scale, multi-animal modeling can significantly improve neural recording analysis. However, for functional calcium traces, existing approaches remain task-specific, limiting transfer across common neuroscience objectives. To address this challenge, we propose \textbf{CalM}, a self-supervised neural foundation model trained solely on neuronal calcium traces and adaptable to multiple downstream tasks, including forecasting and decoding. Our key contribution is a pretraining framework, composed of a high-performance tokenizer mapping single-neuron traces into a shared discrete vocabulary, and a dual-axis autoregressive transformer modeling dependencies along both the neural and the temporal axis. We evaluate CalM on a large-scale, multi-animal, multi-session dataset. On the neural population dynamics forecasting task, CalM outperforms strong specialized baselines after pretraining. With a task-specific head, CalM further adapts to the behavior decoding task and achieves superior results compared with supervised decoding models. Moreover, linear analyses of CalM representations reveal interpretable functional structures beyond predictive accuracy. Taken together, we propose a novel and effective self-supervised pretraining paradigm for foundation models based on calcium traces, paving the way for scalable pretraining and broad applications in functional neural analysis. Code will be released soon.
- Abstract(参考訳): 近年の研究では、大規模マルチアニマルモデリングがニューラル記録解析を大幅に改善する可能性が示唆されている。
しかし、機能的なカルシウムの痕跡については、既存のアプローチはタスク特異的であり、共通の神経科学の目的にまたがる移動を制限する。
この課題に対処するために、我々は、神経細胞のカルシウムトレースのみを訓練し、予測や復号を含む複数の下流タスクに適応できる自己教師型ニューラルネットワーク基盤モデルである \textbf{CalM} を提案する。
我々の重要な貢献は、単一ニューロントレースを共有離散語彙にマッピングする高性能なトークン化器と、神経軸と時間軸の両方に沿って依存をモデル化する2軸自己回帰変換器からなる事前学習フレームワークである。
大規模・マルチアニマル・マルチセッションデータセット上でCalMを評価する。
神経集団動態予測タスクにおいて、CalMは前訓練後の強い専門ベースラインよりも優れる。
タスク固有のヘッドでは、CalMはさらに振る舞い復号タスクに適応し、教師付き復号モデルよりも優れた結果が得られる。
さらに、CalM表現の線形解析により、予測精度を超える解釈可能な機能構造が明らかになる。
本稿では, カルシウムトレースに基づく基礎モデルのための新しい, 効果的な自己教師型事前学習パラダイムを提案する。
コードはまもなくリリースされる。
関連論文リスト
- CAPT: A Multi-task Continuous Autoregressive Transformer enabling Cross-dataset and Cross-species Transfer for Calcium Population Dynamics [9.819202688456096]
カルシウム人口動態解析のためのtextbfContinuous textbfAutoregressive textbfPopulation textbfTransformer について述べる。
CAPTは連続的なパッチトークン化戦略を通じて連続的なカルシウムトレースをモデル化し、自己回帰的に訓練される。
神経集団の予測と行動復号タスク全体において、CAPTは特殊および汎用のベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2026-07-25T15:53:55Z) - Tiny Brains, Giant Impact: Uncovering the Keystone Neurons of LLM with Just a Few Prompts [57.98275914877019]
広い範囲のオープンウェイトトランスフォーマーにおいて、ニューロンのサブセットは、複数の能力次元のタスクをまたいだ推論において、常に高度に活性化されることが示される。
クロスタスク活性化強度に沿って探索することにより、非常にスパースなサブセットが分離され、その除去はモデル挙動の崩壊を引き起こす。
解析の結果,キーストーンニューロンは,前訓練中にほぼ確立されたモデルの安定で内在的なニューロンサブセットであることが明らかとなった。
論文 参考訳(メタデータ) (2026-05-24T03:31:07Z) - On Neural Scaling Laws for Weather Emulation through Continual Training [76.70310203875866]
我々はScientific Machine Learningにおけるニューラルスケーリングについて研究し、天気予報モデルに焦点を当てた。
可能な限り簡単な設定でスケーリング動作を解析するために、最小限でスケーラブルで汎用的なSwin Transformerアーキテクチャを採用する。
この最小限の方法でトレーニングされたモデルは、予測可能なスケーリングトレンドに従っており、標準的なコサイン学習率のスケジュールよりも優れています。
論文 参考訳(メタデータ) (2026-03-26T17:37:25Z) - Foundation Model for Skeleton-Based Human Action Understanding [56.89025287217221]
本稿では,統一骨格に基づくDense Representation Learningフレームワークを提案する。
USDRLはトランスフォーマーベースのDense Spatio-Temporal (DSTE)、Multi-Grained Feature Deorrelation (MG-FD)、Multi-Perspective Consistency Training (MPCT)で構成されている。
論文 参考訳(メタデータ) (2025-08-18T02:42:16Z) - Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。
われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。
本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
論文 参考訳(メタデータ) (2025-07-15T17:57:48Z) - POCO: Scalable Neural Forecasting through Population Conditioning [6.135391899876823]
POCOは、ニューロン特異的および脳全体のダイナミクスをキャプチャする統合予測モデルである。
プレトレーニング後、POCOは最小限の微調整で新しい録音に迅速に適応する。
包括的分析により、コンテキスト長、セッションの多様性、前処理など、パフォーマンスに影響を及ぼすいくつかの重要な要因が明らかになった。
論文 参考訳(メタデータ) (2025-06-17T20:15:04Z) - BLEND: Behavior-guided Neural Population Dynamics Modeling via Privileged Knowledge Distillation [6.3559178227943764]
本稿では,特権的知識蒸留による行動誘導型ニューラル人口動態モデリングフレームワークBLENDを提案する。
特権情報として行動を考えることにより、行動観察(私的特徴)と神経活動(正規特徴)の両方を入力として扱う教師モデルを訓練する。
学生モデルは神経活動のみを用いて蒸留される。
論文 参考訳(メタデータ) (2024-10-02T12:45:59Z) - P-SpikeSSM: Harnessing Probabilistic Spiking State Space Models for Long-Range Dependency Tasks [1.9775291915550175]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワークに代わる計算効率が高く生物学的に妥当な代替品として提案されている。
長距離依存タスクのためのスケーラブルな確率的スパイク学習フレームワークを開発した。
我々のモデルは、様々な長距離依存タスクにまたがるSNNモデル間の最先端性能を実現する。
論文 参考訳(メタデータ) (2024-06-05T04:23:11Z) - TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。
TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。
また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
論文 参考訳(メタデータ) (2024-05-27T05:45:51Z) - Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data [3.46029409929709]
最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。
視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。
我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
論文 参考訳(メタデータ) (2023-10-31T20:17:32Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。