論文の概要: Cross-Modal Representational Knowledge Distillation for Enhanced Spike-Informed LFP Modeling

• arxiv url: http://arxiv.org/abs/2512.12461v1
• Date: Sat, 13 Dec 2025 21:20:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.269888
• Title: Cross-Modal Representational Knowledge Distillation for Enhanced Spike-Informed LFP Modeling
• Title（参考訳）: 強化スパイクインフォームドLFPモデリングのためのクロスモーダル表現的知識蒸留
• Authors: Eray Erturk, Saba Hashemi, Maryam M. Shanechi,
• Abstract要約: 潜伏電位(LFPs)は、神経実験においてスパイク活動と共に日常的に記録される。 LFPは集団レベルでの集合性のため、固有のモデリング上の課題を提起する。 本稿では,多段スパイク変圧器モデルからLFP変圧器モデルへ高忠実度表現知識を伝達するクロスモーダルな知識蒸留フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Local field potentials (LFPs) can be routinely recorded alongside spiking activity in intracortical neural experiments, measure a larger complementary spatiotemporal scale of brain activity for scientific inquiry, and can offer practical advantages over spikes, including greater long-term stability, robustness to electrode degradation, and lower power requirements. Despite these advantages, recent neural modeling frameworks have largely focused on spiking activity since LFP signals pose inherent modeling challenges due to their aggregate, population-level nature, often leading to lower predictive power for downstream task variables such as motor behavior. To address this challenge, we introduce a cross-modal knowledge distillation framework that transfers high-fidelity representational knowledge from pretrained multi-session spike transformer models to LFP transformer models. Specifically, we first train a teacher spike model across multiple recording sessions using a masked autoencoding objective with a session-specific neural tokenization strategy. We then align the latent representations of the student LFP model to those of the teacher spike model. Our results show that the Distilled LFP models consistently outperform single- and multi-session LFP baselines in both fully unsupervised and supervised settings, and can generalize to other sessions without additional distillation while maintaining superior performance. These findings demonstrate that cross-modal knowledge distillation is a powerful and scalable approach for leveraging high-performing spike models to develop more accurate LFP models.
• Abstract（参考訳）: 局所野電位(LFP)は、皮質内神経実験においてスパイク活動と共に定期的に記録され、科学的な調査のためにより大きな補間的時空間的な脳活動尺度を測定でき、スパイクよりも実用的な利点を提供することができる。 これらの利点にもかかわらず、最近のニューラル・モデリング・フレームワークは、LFP信号が集団レベルの性質によって固有のモデリング課題を引き起こすため、スパイク活動に重点を置いている。 この課題に対処するために、事前訓練されたマルチセッションスパイクトランスモデルからLFPトランスモデルへ高忠実度表現知識を伝達するクロスモーダル知識蒸留フレームワークを導入する。 具体的には、まず、セッション固有の神経トークン化戦略を用いて、マスク付き自動符号化目標を用いて、複数の録音セッション間で教師スパイクモデルを訓練する。 次に、学生LFPモデルの潜在表現と教師スパイクモデルの潜在表現を一致させる。 以上の結果から, フル教師なしおよび教師付きの両方の設定において, LFPモデルが単段および多段のLFPベースラインより一貫して優れており, 優れた性能を維持しつつ, 蒸留を加味せずに他のセッションに一般化可能であることがわかった。 これらの結果から,クロスモーダルな知識蒸留は,高性能スパイクモデルを利用してより正確なLFPモデルを開発するための,強力でスケーラブルなアプローチであることが示唆された。

関連論文リスト

• Deep Generative Continual Learning using Functional LoRA: FunLoRA [12.547444644243543]
  共通の戦略は、忘れを和らげるために、生成モデルを自身の合成データで再訓練することである。 低階適応(LoRA)に基づく生成モデルのための新しい、より表現力のある条件付け機構を提案する。 提案手法は,拡散モデルに基づく先行技術結果を上回るパラメータ効率細調整(PEFT)手法である。
  論文  参考訳（メタデータ） (2025-10-03T00:18:05Z)
• Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
  逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。 われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。 本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
  論文  参考訳（メタデータ） (2025-07-15T17:57:48Z)
• Hybrid Autoregressive-Diffusion Model for Real-Time Sign Language Production [0.0]
  我々は手話生成のための自己回帰モデルと拡散モデルを組み合わせたハイブリッドアプローチを開発する。 微粒な体の動きを捉えるため,異なる音節から細かな特徴を別々に抽出するマルチスケール・ポース表現モジュールを設計した。 ポーズ生成過程を動的に導くために,共同レベルの信頼度スコアを利用する信頼度対応型因果注意機構を導入する。
  論文  参考訳（メタデータ） (2025-07-12T01:34:50Z)
• Large EEG-U-Transformer for Time-Step Level Detection Without Pre-Training [1.3254304182988286]
  局所的特徴と大域的特徴の両方を捉えることで表現を効率的に学習する単純なU字モデルを提案する。 他のウィンドウレベルの分類モデルと比較して,本手法は時間段階の予測を直接出力する。 我々のモデルは、てんかんおよび他の神経疾患における人工知能に関する国際会議において、2025年の第1回「青信号検出チャレンジ」で優勝した。
  論文  参考訳（メタデータ） (2025-04-01T01:33:42Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• Exploring Model Transferability through the Lens of Potential Energy [78.60851825944212]
  トランスファーラーニングは、事前訓練されたディープラーニングモデルが広く利用可能であることから、コンピュータビジョンタスクにおいて重要になっている。 既存のトレーニング済みモデルの転送可能性の測定方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存する。 我々はこれらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:15:57Z)
• Continual Learners are Incremental Model Generalizers [70.34479702177988]
  本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。 その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。 本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:26:28Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。