論文の概要: Dendritic In-Context Learning in a Single-Layer Spiking Neural Network

• arxiv url: http://arxiv.org/abs/2607.02283v1
• Date: Thu, 02 Jul 2026 15:02:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.87897
• Title: Dendritic In-Context Learning in a Single-Layer Spiking Neural Network
• Title（参考訳）: 単層スパイクニューラルネットワークにおける樹状内環境学習
• Authors: Juwei Shen, Yujie Wu, Changwen Chen,
• Abstract要約: インコンテキスト学習(ICL)は、現代のAIアーキテクチャの前方パスに埋め込まれた暗黙の降下を通じて動作する。 既存のスパイキングニューラルネットワーク(SNN)は、Garg-2022ベンチマークを非自明なタスク次元でフェールさせる。 単層コンパートメンタルスパイクアーキテクチャであるDendriCLを提案する。このアーキテクチャは,心尖部再発がオンラインWidrow-Hoff LMSの漏洩と構造的に同一である。
• 参考スコア（独自算出の注目度）: 31.20601020243998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) operates via implicit gradient descent embedded in the forward pass of modern AI architectures -- Transformers, Mamba, state-space models, and MLPs. Capturing this capability in biologically plausible Spiking Neural Networks (SNNs) has remained an open challenge: existing SNNs fail the Garg-2022 benchmark at non-trivial task dimensions. We trace this failure to a structural assumption: prior SNN designs route adaptation through inference-time synaptic plasticity, viewing the dendritic compartment as a passive conduit for error or teacher signals. We challenge this assumption. The subthreshold dynamics of a single dendritic compartment already implement a complete online learning algorithm. By treating the compartment as the computational substrate rather than a passive conduit, we propose DendriCL -- a single-layer compartmental spiking architecture whose apical recurrence is structurally identical to leaky online Widrow-Hoff LMS. This dynamics-only update collapses the architectural depth required for general-purpose ICL to a single layer. DendriCL is uniquely seed-stable at super-dimensional Garg-2022 ICL -- where dense Transformers exhibit grokking-style instability and fail past moderate task dimension -- and a linear probe recovers the reference online-LMS trajectory directly from the apical membrane at R^2 = 0.93, showing the algorithm is structurally embedded in the dynamics rather than implicitly discovered during training. Taken together, ICL requires neither attention, depth, nor inference-time plasticity: a single compartment with online-LMS dynamics is sufficient.
• Abstract（参考訳）: インコンテキストラーニング(ICL)は、トランスフォーマー、Mamba、ステートスペースモデル、MPPといった、現代のAIアーキテクチャの前方パスに埋め込まれた暗黙の勾配降下を通じて実行される。 既存のSNNは、非自明なタスク次元でGarg-2022ベンチマークを失敗する。 従来のSNNは、予測時シナプス可塑性による経路適応を設計し、樹状部を誤りや教師信号の受動的導管と見なしている。 私たちはこの仮定に挑戦する。 1つのデンドライトコンパートメントのサブスレッショルドダイナミクスは、既に完全なオンライン学習アルゴリズムを実装している。 コンパートメントをパッシブコンジットではなく計算基板として扱うことにより,オンラインウィドローホフLMSと構造的に同一な単層コンパートメントスパイクアーキテクチャDendriCLを提案する。 このダイナミックスのみの更新は、汎用ICLに必要なアーキテクチャの深さを単一のレイヤに分解する。 DendriCLは超次元Garg-2022 ICL(英語版)で種が安定であり、密度の高いトランスフォーマーはグラッキングのような不安定性を示し、中程度のタスク次元を過ぎて失敗し、線形プローブはR^2 = 0.93の先端膜から直接オンラインLMS軌道を復元し、トレーニング中に暗黙的に発見されるのではなく、動的に構造的に埋め込まれていることを示す。 まとめると、ICLは注意も深さも推論時の塑性も必要とせず、オンラインLMSのダイナミックスを備えた1つのコンパートメントで十分である。

関連論文リスト

• Non-linear mechanical field reconstruction coupling recurrent neural networks with physics-informed graph neural networks [0.6978367196609415]
  局所応力場再構成の時間的側面と空間的側面を結合したLSTMGNNフレームワークを提案する。 線形ウォームアップによる相対重み付け戦略を導入し,データ駆動型再構成損失と離散発散型平衡ペナルティのバランスをとる。 このモデルは有限要素シミュレーションよりも3桁のスピードアップを達成し、累積誤差1.9%でトレーニング長の2倍の負荷列に一般化する。
  論文  参考訳（メタデータ） (2026-06-09T14:20:39Z)
• Alternating Gradient Flow Utility: A Unified Metric for Structural Pruning and Dynamic Routing in Deep Networks [52.153950303594684]
  交互勾配流(Alternating Gradient Flow, AGF)に着想を得た非結合型運動パラダイムを提案する。 AGFはネットワークの構造的「運動ユーティリティ」を正確にキャプチャする 我々は、AGFに誘導されるオフライン構造探索を、ゼロコストの物理プリミティブを介してオンライン実行から切り離すハイブリッドルーティングフレームワークを設計する。
  論文  参考訳（メタデータ） (2026-03-12T18:19:21Z)
• Cannistraci-Hebb Training on Ultra-Sparse Spiking Neural Networks [10.30800655748035]
  スパイキングニューラルネットワーク(SNN)は本質的に時間的アクティベーション間隔を持つ。 既存の手法では、大きな性能損失を伴わずに超スパースネットワーク構造を達成できない。 本稿では,SNN のための新規かつ一般化可能な動的スパーストレーニングフレームワークである Cannistraci-Hebb Spiking Neural Network (CH-SNN) を提案する。
  論文  参考訳（メタデータ） (2025-11-05T07:59:19Z)
• Training Deep Morphological Neural Networks as Universal Approximators [16.985704173494074]
  深部形態素ニューラルネットワーク(DMNN)について検討する。 非直線性にもかかわらず、DMNNには「線形」アクティベーションが不可欠であることを示す。 線形」アクティベーションのパラメータを制約するアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-05-14T18:10:49Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• On-Chip Error-triggered Learning of Multi-layer Memristive Spiking Neural Networks [1.7958576850695402]
  オンライン3次重み更新を用いた局所的,勾配に基づく,エラートリガー付き学習アルゴリズムを提案する。 提案アルゴリズムは,多層SNNを記憶型ニューロモルフィックハードウェアでオンライントレーニングすることを可能にする。
  論文  参考訳（メタデータ） (2020-11-21T19:44:19Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• Gating creates slow modes and controls phase-space complexity in GRUs and LSTMs [5.672132510411465]
  ゲートの追加がGRUとLSTMの動的および訓練性に与える影響について検討した。 GRUの更新ゲートとLSTMの忘れゲートは、動的に遅いモードが蓄積される可能性があることを示す。
  論文  参考訳（メタデータ） (2020-01-31T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。