Fugu-MT 論文翻訳(概要): URCHIN: A Horizontal Spiking Language Model for Data-Constrained Pretraining

論文の概要: URCHIN: A Horizontal Spiking Language Model for Data-Constrained Pretraining

arxiv url: http://arxiv.org/abs/2609.13899v1
Date: Sat, 12 Sep 2026 12:06:01 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:05.604031
Title: URCHIN: A Horizontal Spiking Language Model for Data-Constrained Pretraining
Title（参考訳）: URCHIN:データ制約付き事前学習のための水平スパイク言語モデル
Abstract要約: BabyLMの課題は、発達的に評価可能な子スケールのデータから、モデルがどの程度の言語を学習できるかを測定することである。本稿では,言語モデリングに並列化された階層型コネクトームスパイキング状態空間モデルを適用するURCHINを提案する。 3つのBabyLMトラック(Strict-100M、Strict-Small、Multilingual)にまたがって、URCHINは生物学的に信頼性が高く、効率的で、直接デプロイ可能な参照ポイントを提供する。
参考スコア（独自算出の注目度）: 1.185706452828542
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The BabyLM challenge measures how much language a model can learn from developmentally-plausible, child-scale data rather than internet-scale corpora, yet prior language models forgo the biological constraints of the neural circuitry that acquires human language: spiking neurons separated into excitatory and inhibitory populations wired by a recurrent lateral connectome. This paper presents URCHIN (Unified Recurrent Connectome with Horizontal Integrate-and-fire Neurons), which applies the Parallelized Hierarchical Connectome Spiking State-space Model (PHCSSM) to language modeling: leaky integrate-and-fire neurons coupled by a Dale's-law lateral connectome resolve each token through a multi-transmission loop that recirculates activity to a fixed point. The instantiation is deliberately minimal: a single horizontal layer of 128 neurons, no attention, and 4.23M parameters. Two implementations share one set of weights and produce identical benchmark scores, so URCHIN is trained once and deployed either way with no conversion step: a parallel state-space model (SSM) scan that is GPU-efficient for training, or an event-driven recurrent spiking neural network (RSNN) with constant-cost inference for CPU or neuromorphic edge deployment. Across all three BabyLM tracks (Strict-100M, Strict-Small, and Multilingual), URCHIN offers a biologically plausible, efficient, and directly deployable reference point.
Abstract（参考訳）: BabyLMの課題は、インターネットスケールのコーパスではなく、発達的に証明可能な子スケールのデータから、どれだけの言語を学習できるかを計測するが、以前の言語モデルは人間の言語を取得する神経回路の生物学的制約を強制する。本稿では,Dale's-law 側コネクトームによって結合された漏洩積分・発火ニューロンが,各トークンを一定点に再循環するマルチトランスミッションループを通じて分解する,並列化された階層接続型スパイキング状態空間モデル(PHCSSM)を言語モデリングに適用したURCHINを提案する。 128個のニューロンと4.23Mのパラメータからなる単一の水平層である。 2つの実装が重みを共有し、同じベンチマークスコアを生成するため、URCHINは一度トレーニングされ、変換ステップなしでデプロイされる。トレーニングにGPU効率の並列状態空間モデル(SSM)スキャンか、CPUやニューロモルフィックエッジデプロイメントのための一定のコスト推論を備えたイベント駆動リカレントスパイクニューラルネットワーク(RSNN)である。 3つのBabyLMトラック(Strict-100M、Strict-Small、Multilingual)にまたがって、URCHINは生物学的に信頼性が高く、効率的で、直接デプロイ可能な参照ポイントを提供する。

関連論文リスト

Scaling Laws and Tradeoffs in Recurrent Networks of Expressive Neurons [27.855778669417592]
皮質ニューロンは複雑で、マルチタイムスケールのプロセッサで、リカレント回路に接続されている。機械学習は主に、初期のニューラルネットワーク理論から継承された、非常に単純なユニットのモデルを構築する。本稿では,Expressive Memory (ELM) ニューロンからリカレント層を構築するEMMネットワークを紹介する。
論文参考訳（メタデータ） (2026-05-12T12:29:33Z)
UniBCI: Towards a Unified Pretrained Model for Invasive Brain-Computer Interfaces [7.71021447675552]
既存のアプローチでは、限られたスケールの異種データ、クロスドメインの分散シフト、トレーニング可能なニューラルネットワークの削減など、重要な課題に直面している。本研究では、侵襲的脳インターフェイスのための統合された事前学習モデルを提案する。結果は、UniBCIが汎用神経基盤モデルへの実践的なステップを提供することを示唆している。
論文参考訳（メタデータ） (2026-04-30T06:30:24Z)
NeuronSpark: A Spiking Neural Network Language Model with Selective State Space Dynamics [0.7614628596146601]
本稿では、次トーケン予測と代理勾配を訓練した0.9BパラメータSNN言語モデルであるNeuronSparkを紹介する。制約された予算の下では、NeuronSpark-0.9Bは3.6の事前訓練損失に達し、SFT後の初期のマルチターン対話動作を示す。これらの結果は、このスケールでの純粋なSNNアーキテクチャによるエンドツーエンド言語モデリングの実現性を支持する。
論文参考訳（メタデータ） (2026-03-17T06:01:05Z)
PTS-SNN: A Prompt-Tuned Temporal Shift Spiking Neural Networks for Efficient Speech Emotion Recognition [12.087823767638788]
音声感情認識(SER)は人間とコンピュータのインタラクションに広く利用されているが、高い計算コストはリソースに制約のあるエッジデバイスの実装を妨げる。本稿では, スパイキングダイナミクスを用いたパラメータ効率のよいニューロモルフィック適応である, Prompt-Tuned Spiking Neural Networks (PTS-SNN) を提案する。
論文参考訳（メタデータ） (2026-02-09T03:29:16Z)
Language Model Circuits Are Sparse in the Neuron Basis [50.460651620833055]
その結果, textbfMLP ニューロンは SAE と同様の機能的基盤であることがわかった。この作業は、追加のトレーニングコストなしで言語モデルの自動解釈可能性を向上させる。
論文参考訳（メタデータ） (2026-01-30T05:41:19Z)
A Scalable, Causal, and Energy Efficient Framework for Neural Decoding with Spiking Neural Networks [30.855279392147082]
Spikachuはスケーラブルで因果的でエネルギー効率のよいSNNベースのニューラルデコーディングフレームワークである。我々は,ヒト以外の霊長類6種の記録セッション113回に対するアプローチを評価した。本手法は,2.26から418.81倍のエネルギーで単一セッションでトレーニングした場合,因果ベースラインよりも優れる。
論文参考訳（メタデータ） (2025-10-23T15:55:45Z)
In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文参考訳（メタデータ） (2024-01-23T18:59:21Z)
The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文参考訳（メタデータ） (2023-06-14T13:34:13Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
論文参考訳（メタデータ） (2022-08-28T17:50:19Z)
Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-09-29T07:46:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。