論文の概要: Phase State Space Models: Parallel, Surrogate-Free Training of Spiking Networks
- arxiv url: http://arxiv.org/abs/2608.07754v1
- Date: Fri, 07 Aug 2026 20:37:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 14:33:52.580151
- Title: Phase State Space Models: Parallel, Surrogate-Free Training of Spiking Networks
- Title(参考訳): 位相状態空間モデル:スパイキングネットワークの並列・サロゲートフリートレーニング
- Abstract要約: 我々は、Resonate-and-fire(R&F)ニューラルネットワークの新たな解釈を提供するために、状態空間モデル(SSM)を適用する。
本稿では,STFT,リカレントメモリ,注目機能を1つのスパイク互換ネットワークに統合する手法の実装について述べる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-space models (SSMs) provide a powerful theoretical framework to enable parallel training of recurrent networks. We expand on previous work adapting SSMs to spiking models to provide a novel interpretation of resonate-and-fire (R\&F) neural networks which is compatible both with real and spiking inputs, parallel and recurrent execution, has clear connections to hyperdimensional (HD) computing, and maintains biologically-realistic features. We demonstrate an implementation of this approach which integrates an STFT, recurrent memory, and attentional features within a single spike-compatible network.
- Abstract(参考訳): 状態空間モデル(SSM)は、リカレントネットワークの並列トレーニングを可能にする強力な理論フレームワークを提供する。
我々は、従来のSSMをスパイクモデルに適応させ、実際の入力とスパイク入力の両方と互換性があり、並列かつ反復実行であり、超次元(HD)コンピューティングとの明確な接続を持ち、生物学的に現実的な特徴を維持している共鳴・アンド・ファイア(R\&F)ニューラルネットワークの新たな解釈を提供するために、拡張した。
本稿では,STFT,リカレントメモリ,注目機能を1つのスパイク互換ネットワークに統合する手法の実装について述べる。
関連論文リスト
- DynaTrain: Fast Online Parallelism Switching for Elastic LLM Training [21.939190885925754]
任意の多次元並列処理を網羅したサブ秒再構成のための分散トレーニングシステムDynaTrainを提案する。
その中核として,1つの論理座標空間の下で全ての分散トレーニング状態を統一する仮想VPS空間の抽象化を提案する。
235Bパラメータの高密度モデルと235Bパラメータのモデルでは、DynaTrainは2s未満の70B密度モデルと4.36sの235BMoEモデルを使用しており、正確性を保ちながら、最先端のチェックポイントベースおよび弾性システムよりも最大3桁の精度で性能を向上している。
論文 参考訳(メタデータ) (2026-05-12T09:51:28Z) - Globally Optimal Training of Spiking Neural Networks via Parameter Reconstruction [21.873941320853763]
スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わる生物学的に妥当でエネルギー効率のよい代替手段として提案されている。
本稿では,SNN学習におけるパラメータ再構成アルゴリズムを提案する。
論文 参考訳(メタデータ) (2026-05-08T17:10:08Z) - ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling [57.91760520589592]
ネットワークの深度を拡大することは、現代の基礎モデルの成功の背後にある中心的な要因である。
本稿では,ニューラルネットワークの奥行き,すなわち残差接続の既定メカニズムを再考する。
我々は、データから残余接続性をパラメータ化し、学習する原則的かつ軽量なフレームワークである、適応型ニューラルネットワーク再割り当て(ANCRe)を導入する。
論文 参考訳(メタデータ) (2026-02-09T18:54:18Z) - Rethinking Dynamic Networks and Heterogeneous Computing with Automatic Parallelization [8.918295350787465]
現在の並列計画フレームワークは、ノードの不均一性と動的ネットワークトポロジの変化を同時に考慮している。
本研究では,不実現不可能な並列構成を高速に破棄するストラテジ・プルーニング手法を提案する。
予備評価では,本手法が異種ノードのトレーニング性能を向上させることが確認された。
論文 参考訳(メタデータ) (2025-06-03T12:14:17Z) - Learning to Dissipate Energy in Oscillatory State-Space Models [51.98491034847041]
状態空間モデル (SSM) はシーケンス学習のためのネットワークのクラスである。
我々は,D-LinOSSがLinOSSの手法を長距離学習タスクで一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2025-05-17T23:15:17Z) - World Model-Based Learning for Long-Term Age of Information Minimization in Vehicular Networks [53.98633183204453]
本稿では,車載ネットワークにおけるパケット完全性認識情報(CAoI)の年齢を最小化するために,新しい世界モデルに基づく学習フレームワークを提案する。
mmWave V2X環境の動的モデルを共同で学習し、リンクスケジューリングの方法を学ぶための軌跡を想像するために使用する世界モデルフレームワークを提案する。
特に、長期的な政策は環境相互作用の代わりに、異なる想像軌道で学習される。
論文 参考訳(メタデータ) (2025-05-03T06:23:18Z) - SpikingSSMs: Learning Long Sequences with Sparse and Parallel Spiking State Space Models [19.04709216497077]
長いシーケンス学習のためのスパイキング状態空間モデル(SpikingSSM)を開発した。
樹状ニューロン構造にインスパイアされた我々は、神経力学を元のSSMブロックと階層的に統合する。
そこで本研究では,リセット後の膜電位を正確に予測し,学習可能なしきい値に適合する軽量サロゲート動的ネットワークを提案する。
論文 参考訳(メタデータ) (2024-08-27T09:35:49Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳(メタデータ) (2024-05-22T17:23:15Z) - Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust
Closed-Loop Control [63.310780486820796]
繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。
パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
論文 参考訳(メタデータ) (2023-10-05T21:44:18Z) - Cross-receptive Focused Inference Network for Lightweight Image
Super-Resolution [64.25751738088015]
トランスフォーマーに基づく手法は、単一画像超解像(SISR)タスクにおいて顕著な性能を示した。
動的に特徴を抽出するために文脈情報を組み込む必要がある変換器は無視される。
我々は,CNNとTransformerを混合したCTブロックのカスケードで構成される,軽量なクロスレセプティブ・フォーカスド・推論・ネットワーク(CFIN)を提案する。
論文 参考訳(メタデータ) (2022-07-06T16:32:29Z) - Revisiting the double-well problem by deep learning with a hybrid
network [7.308730248177914]
本稿では,lstmとresnetの2種類のニューラルネットワークを統合するハイブリッドネットワークを提案する。
このようなハイブリッドネットワークは、空間的または時間的変調が速いシステムにおける協調ダイナミクスの解決に応用できる。
論文 参考訳(メタデータ) (2021-04-25T07:51:43Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳(メタデータ) (2020-06-19T22:05:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。