論文の概要: SpikingMoE: SDPrompt-Guided Dynamic Expert Fusion in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2605.23188v1
• Date: Fri, 22 May 2026 03:14:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.178402
• Title: SpikingMoE: SDPrompt-Guided Dynamic Expert Fusion in Spiking Neural Networks
• Title（参考訳）: SpikingMoE:スパイクニューラルネットワークにおけるSDプロンプト誘導動的エキスパートフュージョン
• Authors: Yukai Yang, Chenxi Qin, Jungang Li, Xin Zhang, Wenwei Shao, Liqun Chen,
• Abstract要約: スパイク駆動トランスフォーマーとMixture-of-Experts(MoE)フレームワークを統合した動的計算を行うSpkingMoEを提案する。 外側原性核(LGN)に刺激されたスパイク駆動プロンプト(SDprompt)は、生物学的に妥当な方法で入力依存のエキスパートルーティングを可能にする。
• 参考スコア（独自算出の注目度）: 5.082774423495258
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) provide an energy-efficient paradigm for visual recognition. We present SpikingMoE, which integrates a spike-driven Transformer with a Mixture-of-Experts (MoE) framework for dynamic computation. Inspired by the lateral geniculate nucleus (LGN), a spike-driven prompt (SDprompt) enables input-dependent expert routing in a biologically plausible manner. By replacing standard MLPs with spike-compatible expert modules and enforcing binary spike communication, SpikingMoE is designed for neuromorphic hardware. Experiments on CIFAR-10 and CIFAR-100 achieve 94.09% and 74.54% top-1 accuracy, showing that modular expert routing can be incorporated while retaining reasonable performance. To our knowledge, SpikingMoE is the first open-source SNN framework that integrates MoE into a spike-driven Transformer with LGN-inspired routing.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、視覚認識のためのエネルギー効率の良いパラダイムを提供する。 スパイク駆動トランスフォーマーとMixture-of-Experts(MoE)フレームワークを統合した動的計算を行うSpkingMoEを提案する。 外側原性核(LGN)に刺激されたスパイク駆動プロンプト(SDprompt)は、生物学的に妥当な方法で入力依存のエキスパートルーティングを可能にする。 標準的なMPPをスパイク互換のエキスパートモジュールに置き換え、バイナリスパイク通信を強制することにより、SpikeMoEはニューロモルフィックハードウェア用に設計されている。 CIFAR-10とCIFAR-100の実験は94.09%と74.54%のトップ-1の精度を達成した。 私たちの知る限り、SpikeMoEは、MoEをスパイク駆動トランスフォーマーとLGNにインスパイアされたルーティングに統合する最初のオープンソースのSNNフレームワークです。

関連論文リスト

• CBDES MoE: Hierarchically Decoupled Mixture-of-Experts for Functional Modules in Autonomous Driving [2.9741451632381755]
  本稿では,階層的に分離されたMixture-of-Expertsアーキテクチャを機能モジュールレベルで提案する。 CBDES MoEは、複数の構造的に異質な専門家ネットワークと軽量なセルフアテンションルータゲーティング機構を統合している。 3Dオブジェクト検出において、固定されたシングルエキスパートベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-08-11T10:44:25Z)
• ReMoE: Fully Differentiable Mixture-of-Experts with ReLU Routing [28.73697327316267]
  計算予算を増大させることなく、モデルキャパシティをスケールアップするために、緩やかに活性化されたMixture-of-Experts (MoE)モデルが広く採用されている。 我々は,従来のTopK+Softmaxルーティングの簡易かつ効果的なドロップイン置換を提供する,完全に微分可能なMoEアーキテクチャであるReMoEを提案する。 ReMoEは、さまざまなモデルサイズ、専門家数、粒度のレベルにおいて、バニラTopKのMoEを一貫して上回る。
  論文  参考訳（メタデータ） (2024-12-19T10:21:20Z)
• Mixture-of-Modules: Reinventing Transformers as Dynamic Assemblies of Modules [96.21649779507831]
  そこで我々は,Mix-of-modules (MoM) と呼ばれる新しいアーキテクチャを提案する。 MoMは、任意の層がその位置に関係なくトークンを計算することができるという直感によって動機付けられている。 MoMはトランスフォーマーのための統一されたフレームワークを提供するだけでなく、冗長性を減らすための柔軟で学習可能なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-07-09T08:50:18Z)
• Spike-driven Transformer V2: Meta Spiking Neural Network Architecture Inspiring the Design of Next-generation Neuromorphic Chips [37.305308839310136]
  ニューロモルフィックコンピューティングは、ニューロモルフィックチップ上でスパイキングニューラルネットワーク(SNN)を利用する。 CNNベースのSNNは、現在のニューロモルフィックコンピューティングの主流である。 特にトランスフォーマーベースのSNN向けには、ニューロモルフィックチップは設計されていない。
  論文  参考訳（メタデータ） (2024-02-15T13:26:18Z)
• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• Robust Mixture-of-Expert Training for Convolutional Neural Networks [141.3531209949845]
  スパースゲート型Mixture of Expert (MoE) は高精度で超効率的なモデル推論を実現するための大きな可能性を実証している。 本稿では、AdvMoEと呼ばれるMoEのための新しいルータ-エキスパート交互学習フレームワークを提案する。 その結果,AdvMoEは従来の高密度CNNに比べて1%の対向ロバスト性向上を実現し,親和性に富むMoEの有効性を享受できることがわかった。
  論文  参考訳（メタデータ） (2023-08-19T20:58:21Z)
• AutoMoE: Heterogeneous Mixture-of-Experts with Adaptive Computation for Efficient Neural Machine Translation [104.0979785739202]
  ニューラルネットワーク翻訳(NMT)タスクにおいて、Mixture-of-Expert(MoE)モデルが最先端のパフォーマンスを得た。 既存のMoEモデルは、ネットワーク全体に同じサイズの専門家が一様に配置される均質な設計を主に考慮している。 計算制約下での不均一なMoEを設計するためのフレームワークであるAutoMoEを開発した。
  論文  参考訳（メタデータ） (2022-10-14T05:32:17Z)
• Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
  本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。 我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T14:16:49Z)
• A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP [121.35904748477421]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。 トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。 本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
  論文  参考訳（メタデータ） (2021-08-30T06:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。