論文の概要: RPNT: Robust Pre-trained Neural Transformer -- A Pathway for Generalized Motor Decoding

• arxiv url: http://arxiv.org/abs/2601.17641v1
• Date: Sun, 25 Jan 2026 01:18:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:08.106272
• Title: RPNT: Robust Pre-trained Neural Transformer -- A Pathway for Generalized Motor Decoding
• Title（参考訳）: RPNT:ロバストな事前学習型ニューラルトランス -- 一般化モータデコーディングの道
• Authors: Hao Fang, Ryan A. Canfield, Tomohiro Ouchi, Beatrice Macagno, Eli Shlizerman, Amy L. Orsborn,
• Abstract要約: 本稿では,事前学習による堅牢な一般化を実現するためにRPNT(Robust Pretrained Neural Transformer)を提案する。 RPNTのユニークな構成要素は, サイト座標, セッション名, 行動タイプなどの実験メタデータを集約する多次元回転型位置埋め込み (MRoPE) , 2) コンボリューションカーネルを介し, 局所時間構造を学習し, 神経活動の非定常性を扱うこと, 3) 統一因果マスキング戦略とコントラスト表現を用いたロバスト自己教師あり学習 (SSL) の目的である。 この結果から,RPNTは既存のデコードモデルのデコード性能を常に達成し,上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 12.246453522508341
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Brain decoding aims to interpret and translate neural activity into behaviors. As such, it is imperative that decoding models are able to generalize across variations, such as recordings from different brain sites, distinct sessions, different types of behavior, and a variety of subjects. Current models can only partially address these challenges and warrant the development of pretrained neural transformer models capable to adapt and generalize. In this work, we propose RPNT - Robust Pretrained Neural Transformer, designed to achieve robust generalization through pretraining, which in turn enables effective finetuning given a downstream task. In particular, RPNT unique components include 1) Multidimensional rotary positional embedding (MRoPE) to aggregate experimental metadata such as site coordinates, session name and behavior types; 2) Context-based attention mechanism via convolution kernels operating on global attention to learn local temporal structures for handling non-stationarity of neural population activity; 3) Robust self-supervised learning (SSL) objective with uniform causal masking strategies and contrastive representations. We pretrained two separate versions of RPNT on distinct datasets a) Multi-session, multi-task, and multi-subject microelectrode benchmark; b) Multi-site recordings using high-density Neuropixel 1.0 probes. The datasets include recordings from the dorsal premotor cortex (PMd) and from the primary motor cortex (M1) regions of nonhuman primates (NHPs) as they performed reaching tasks. After pretraining, we evaluated the generalization of RPNT in cross-session, cross-type, cross-subject, and cross-site downstream behavior decoding tasks. Our results show that RPNT consistently achieves and surpasses the decoding performance of existing decoding models in all tasks.
• Abstract（参考訳）: 脳の復号化は神経活動を解釈し、行動に翻訳することを目的としている。 このように、デコーディングモデルは、異なる脳部位からの録音、異なるセッション、異なる種類の行動、様々な主題など、様々なバリエーションを一般化することができることが不可欠である。 現在のモデルはこれらの課題に部分的に対処することしかできず、適応と一般化が可能な事前訓練されたニューラルトランスモデルの開発を保証できる。 本研究では,提案するRPNT-Robust Pretrained Neural Transformerを提案する。 特に, RPNTのユニークな構成要素は, 1) サイト座標やセッション名,行動タイプなどの実験メタデータを集約する多次元回転型位置埋め込み (MRoPE) , 2) グローバルな注意力に基づくコンボリューションカーネルによるコンテキストベースアテンション機構により, 神経活動の非定常性を扱うための局所時間構造を学習すること, 3) 統一因果マスキング戦略とコントラスト表現を用いたロバスト自己教師型学習 (SSL) の目標である。 我々は、異なるデータセット上でRPNTの2つの別々のバージョンを事前訓練した。 イ マルチセッション、マルチタスク及びマルチオブジェクトマイクロ電極ベンチマーク b)高密度のNeuropixel 1.0プローブを用いた多地点記録 データセットには、背側前運動野(PMd)および非ヒト霊長類(NHP)の一次運動野(M1)領域からの録音が含まれる。 プレトレーニング後, RPNTのクロスセッション, クロスタイプ, クロスオブジェクト, クロスサイト下流行動復号処理における一般化について検討した。 この結果から,RPNTは既存のデコードモデルのデコード性能を常に達成し,上回っていることがわかった。

関連論文リスト

• SPINT: Spatial Permutation-Invariant Neural Transformer for Consistent Intracortical Motor Decoding [24.243269278855415]
  皮質内脳-コンピュータインタフェース (Intracortical Brain-Computer Interfaces, IBCI) は、運動障害のある個人が運動機能やコミュニケーション能力を取り戻すことができるように、神経集団の活動から振る舞いを復号することを目的としている。 長期iBCIにおける重要な課題は、記録された人口の構成とチューニングプロファイルが記録セッションを通して不安定である、ニューラル記録の非定常性である。 本稿では,非順序のニューラルネットワーク上で直接動作する行動復号化フレームワークであるSPINTを紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:20:19Z)
• Generalizable, real-time neural decoding with hybrid state-space models [19.90083268518243]
  本稿では、クロスアテンションモジュールによる個別スパイクトークン化と、再帰状態空間モデル(SSM)のバックボーンを組み合わせた、新しいハイブリッドアーキテクチャPOSSMを提案する。 サル運動タスクの皮質内復号におけるPOSSMの復号性能と推論速度を評価し,臨床応用に拡張することを示す。 これらすべてのタスクにおいて、POSSMは、最先端のトランスフォーマーに匹敵する復号精度を推論コストのごく一部で達成している。
  論文  参考訳（メタデータ） (2025-06-05T17:57:08Z)
• Neural Encoding and Decoding at Scale [42.33285735011587]
  NEDS(Neural and Decoding at Scale)を実現するマルチモーダルマルチタスクモデルを提案する。 私たちのアプローチの中心は、神経、行動、内部モダリティ、および相互モダリティマスキングを交互に交互に行う、新しいマルチタスクマスキング戦略です。 NEDSは、複数動物データに基づいて事前訓練された後、新しい動物に微調整された際に、符号化と復号の両方の最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-04-11T02:06:20Z)
• Toward Relative Positional Encoding in Spiking Transformers [76.72869420863749]
  スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、脳内のニューロンが離散スパイクを通してどのように通信するかを模倣するバイオインスパイアネットワークである。 スパイクのバイナリ特性を保ちながら、スパイク変換器における相対的な位置エンコーディングを近似する戦略をいくつか導入する。
  論文  参考訳（メタデータ） (2025-01-28T06:42:37Z)
• Locality-Aware Generalizable Implicit Neural Representation [54.93702310461174]
  一般化可能な暗黙的ニューラル表現(INR)は、単一の連続関数が複数のデータインスタンスを表現することを可能にする。 本稿では、変換器エンコーダと局所性を考慮したINRデコーダを組み合わせた一般化可能なINRのための新しいフレームワークを提案する。 我々のフレームワークは、従来の一般化可能なINRよりも大幅に優れており、下流タスクにおける局所性を考慮した潜在能力の有効性を検証している。
  論文  参考訳（メタデータ） (2023-10-09T11:26:58Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Neural Pre-Processing: A Learning Framework for End-to-end Brain MRI Pre-processing [13.195381426141731]
  頭部MRI前処理では、標準座標空間内の強度正規化され頭蓋骨が張られた脳に生画像が変換される。 ニューラルネットワークを介して3つのサブタスクを同時に解くために,NPP(Neural Pre-processing)と呼ばれる,エンドツーエンドの教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2023-03-21T19:10:21Z)
• Multi-Tones' Phase Coding (MTPC) of Interaural Time Difference by Spiking Neural Network [68.43026108936029]
  雑音の多い実環境下での正確な音像定位のための純粋スパイクニューラルネットワーク(SNN)に基づく計算モデルを提案する。 このアルゴリズムを,マイクロホンアレイを用いたリアルタイムロボットシステムに実装する。 実験の結果, 平均誤差方位は13度であり, 音源定位に対する他の生物学的に妥当なニューロモルフィックアプローチの精度を上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T08:22:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。