論文の概要: The Von-Neumann State-Space Transformer for neural decoding

• arxiv url: http://arxiv.org/abs/2608.25088v1
• Date: Tue, 25 Aug 2026 19:28:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.42147
• Title: The Von-Neumann State-Space Transformer for neural decoding
• Title（参考訳）: ニューラルデコードのためのフォン・ノイマン状態空間変換器
• Abstract要約: 皮質計算は驚くほど低次元である。 フィードフォワードブロックが低ランクの命令バンクであるメモリ拡張トランスを導入する。 VN-SSTは現代のTransformerよりもはるかにデータ効率が高い。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cortical computation is strikingly low-dimensional: a handful of latent variables, carried in a neural population's activity, steer the higher-dimensional responses of individual neurons. Our aim is sample efficiency-models that decode well from limited data and at small parameter budgets. In a standard Transformer layer, the feed-forward block applies the same operator to every token. We suggest a von-Neumann inspired hypothesis of efficient computation as an alternative for neural decoding: a controller decodes an instruction and then executes a token-specific operator; the usual realization-a soft mixture of experts-only blends their outputs, not operators. We introduce a von-Neumann State-Space Transformer (VN-SST), a memory-augmented Transformer whose feed-forward block is a low-rank instruction bank: a shared base operator plus a small set of learned low-rank instructions, from which a per-token code synthesizes the weight matrix actually used at that token. The code is read from a low- dimensional projection of a carried state-space memory, so a slow latent trajectory acts as an instruction pointer-mirroring how low-dimensional dynamics may route cortical computation. On three motor-cortex neural-decoding benchmarks, VN-SST is far more data-efficient than a modern Transformer, each jointly predicting spikes and decoding behavior. This model wins by a wide margin on the scarcest benchmark, leads on the other two, and turns longer context into rising rather than falling accuracy. We evaluated that the network compresses a large instruction bank to a few bits per token, so program capacity acts as a control channel, not an accuracy lever. The same model is also more parameter-efficient on two small text benchmarks used for language modeling (LLMs), suggesting a generic mechanism.
• Abstract（参考訳）: 皮質の計算は驚くほど低次元であり、少数の潜伏変数が神経集団の活動を担い、個々のニューロンの高次元の反応を制御している。 我々の目標は、限られたデータと小さなパラメータ予算からよくデコードされるサンプル効率モデルです。 標準的なTransformer層では、フィードフォワードブロックはすべてのトークンに同じ演算子を適用する。 制御器は命令を復号し、トークン固有の演算子を実行する; 通常の実現-専門家のみのソフトな混合は演算子ではなく出力をブレンドする。 メモリ拡張型トランスであるvon-Neumann State-Space Transformer (VN-SST) を導入し、フィードフォワードブロックを低ランクの命令バンクとする。 コードは、搬送された状態空間メモリの低次元投影から読み出され、低次元ダイナミクスが皮質の計算をルートする方法を反映する命令ポインタとして、遅延軌道が機能する。 3つの運動皮質ニューラルデコードベンチマークでは、VN-SSTは現代のトランスフォーマーよりもはるかにデータ効率が高く、それぞれがスパイクとデコード動作を共同で予測する。 このモデルは、希少なベンチマークにおいて広いマージンで勝利し、他の2つを導き、より長いコンテキストを精度を低下させるのではなく、上昇させる。 ネットワークはトークンあたり数ビットに大容量の命令バンクを圧縮するので、プログラムのキャパシティは精度の高いレバーではなく制御チャネルとして機能する。 同じモデルは、言語モデリング(LLM)に使用される2つの小さなテキストベンチマークにおいて、よりパラメータ効率が良く、一般的なメカニズムを示唆している。

関連論文リスト

• Efficient Approximation for Encoder--Decoder Neural Operators via Variation Spaces [7.820614736576814]
  エンコーダ-デコーダニューラルネットワークを用いた演算子学習について検討する。 非線形作用素に対する無限次元構造クラスとして変分空間を導入する。 この空間の作用素に対しては、Bochner $Lq$ normにおけるエンコーダ-デコーダ2層ネットワークの近似境界を確立する。
  論文  参考訳（メタデータ） (2026-05-31T13:53:17Z)
• qecGPT: decoding Quantum Error-correcting Codes with Generative Pre-trained Transformers [5.392298820599664]
  生成モデルを用いて量子誤り訂正符号を復号するフレームワークを提案する。 自動回帰ニューラルネットワーク、特にトランスフォーマーを用いて、論理演算子とシンドロームの結合確率を学習する。 我々のフレームワークは汎用的であり、様々なトポロジを持つ任意のエラーモデルや量子コードに適用できる。
  論文  参考訳（メタデータ） (2023-07-18T07:34:02Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Predicting Attention Sparsity in Transformers [0.9786690381850356]
  本稿では, 遠心注意の空間パターンを計算前に同定するモデルであるスペーサーファインダーを提案する。 我々の研究は、予測された注目グラフの間隔とリコールの間のトレードオフを広範囲に分析することで、モデル効率を研究するための新しい角度を提供する。
  論文  参考訳（メタデータ） (2021-09-24T20:51:21Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• CANINE: Pre-training an Efficient Tokenization-Free Encoder for Language Representation [12.005340904206697]
  CANINEは、明示的なトークン化や語彙のない文字シーケンス上で直接動作する神経エンコーダです。 CanINEは、TyDi QAにおいて、比較可能なmBERTモデルを >= 1 F1 で上回っている。
  論文  参考訳（メタデータ） (2021-03-11T18:57:44Z)
• RE-MIMO: Recurrent and Permutation Equivariant Neural MIMO Detection [85.44877328116881]
  無線通信システムにおけるシンボル検出のための新しいニューラルネットワークを提案する。 無線通信システムにおけるいくつかの重要な考察に動機付けられている。 その性能を既存手法と比較し,ネットワークが可変数の送信機を効率的に処理できることを示す。
  論文  参考訳（メタデータ） (2020-06-30T22:43:01Z)
• Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing [112.2208052057002]
  本稿では,隠れ状態の列を短く圧縮するFunnel-Transformerを提案する。 Funnel-TransformerはFLOPに匹敵する数が少ないため、様々なシーケンスレベルの予測タスクにおいて標準のTransformerよりも優れている。
  論文  参考訳（メタデータ） (2020-06-05T05:16:23Z)
• Learning to Encode Position for Transformer with Continuous Dynamical Model [88.69870971415591]
  本研究では,トランスフォーマーモデルなどの非リカレントモデルの位置情報をエンコードする新しい学習方法を提案する。 このような力学系による位置指数に沿った符号化結果の進化をモデル化する。
  論文  参考訳（メタデータ） (2020-03-13T00:41:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。