論文の概要: SpikeMoE: Brain-Inspired Competitive Routing for Flexible Spiking Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2610.01418v1
• Date: Thu, 01 Oct 2026 10:22:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.052172
• Title: SpikeMoE: Brain-Inspired Competitive Routing for Flexible Spiking Mixture-of-Experts
• Title（参考訳）: SpikeMoE: フレキシブルなスパイク・オブ・エクササイズのためのブレインインスパイアされた競争的ルーティング
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされた神経スケールでのダイナミックスによるイベント駆動型計算を可能にする。 ニューラルスケールのスパイクダイナミクスとモデルスケールのエキスパート選択を統合するフレームワークであるSpikeMoEを紹介する。 ビジョン、言語、マルチモーダルベンチマークの実験は、SpikeMoEが最先端のパフォーマンスを達成することを示した。
• 参考スコア（独自算出の注目度）: 24.348854630824743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) enable event-driven computation through biologically inspired dynamics at the neuronal scale, while Mixture-of-Experts (MoE) perform conditional computation through expert selection at the model scale. Integrating their strengths offers potential for flexible neural architectures. A key challenge, however, lies in designing an expert selection mechanism based on spiking activity. To address this, we introduce a spike-based k-WTA Router inspired by competition-inhibition observed in the hippocampal CA1 region. The router incorporates lateral inhibition and refractory period to select Top-K experts according to discrete spike counts. Building on this, we present SpikeMoE, a framework that integrates neuronal-scale spiking dynamics with model-scale expert selection. To address incomplete multisensory inputs in multimodal tasks, we further equip SpikeMoE with a two-stage missing-modality modeling module that combines empirical prototypes from an observed-modality pool with modality-specific learnable embeddings to construct missing-modality representations. Experiments on vision, language, and multimodal benchmarks demonstrate that SpikeMoE achieves state-of-the-art performance among the SNN baselines, matches or exceeds the performance of ANN counterparts, and maintains robustness across diverse missing-modality conditions. These results demonstrate a favorable trade-off between performance and energy efficiency, validating the integration of spiking dynamics with sparse expert computation and highlighting SpikeMoE as a promising approach to energy-efficient brain-inspired computing.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューロンスケールでのダイナミクスによるイベント駆動型計算を可能にし、Mixture-of-Experts(MoE)はモデルスケールでのエキスパート選択による条件付き計算を実行する。 彼らの強みを統合することで、フレキシブルなニューラルアーキテクチャの可能性を秘めている。 しかし、重要な課題は、スパイク活動に基づいた専門家の選択メカニズムを設計することである。 そこで本研究では,海馬CA1領域で観測された競争抑制に触発されたスパイクベースのk-WTAルータを提案する。 ルータは横方向の抑制と屈折期間を組み込んで、離散スパイク数に応じてトップKの専門家を選択する。 これに基づいて、ニューラルスケールのスパイキングダイナミクスとモデルスケールのエキスパート選択を統合するフレームワークであるSpikeMoEを紹介する。 マルチモーダルタスクにおける不完全多感覚入力に対処するため、我々はさらにSpikeMoEに、2段階の欠損モダリティモデリングモジュールを装備する。 視覚、言語、マルチモーダルベンチマークの実験では、SpikeMoEはSNNベースライン間の最先端のパフォーマンスを達成し、ANNのパフォーマンスにマッチするか超え、様々な欠落モード条件で堅牢性を維持する。 これらの結果は、性能とエネルギー効率のトレードオフを良好に示し、スパイキングダイナミクスとスパース専門家計算の統合を検証し、エネルギー効率の高い脳誘発コンピューティングへの有望なアプローチとしてSpikeMoEを強調した。

関連論文リスト

• Brain-Inspired Multimodal Spiking Neural Network for Image-Text Retrieval [79.04396446873932]
  スパイキングニューラルネットワーク(SNN)は、最近、視覚的タスクとテキストタスクに強い可能性を示している。 画像テキスト検索(ITR)のようなマルチモーダルアプリケーションのための直接訓練され、低エネルギーで高性能なSNNを構築することは、依然として非常に困難である。 我々は脳にインスパイアされたクロスモーダルスパイク・フュージョン・ネットワーク(CMSF)を提案し、初めてITRに適用した。
  論文  参考訳（メタデータ） (2026-03-25T08:41:07Z)
• ExpertWeaver: Unlocking the Inherent MoE in Dense LLMs with GLU Activation Patterns [68.61814799047956]
  Mixture-of-Experts (MoE)は、スパース専門家のアクティベーションを通じて計算効率を保ちながら、モデル容量を効果的にスケールする。 ExpertWeaverは、ニューロンをアクティベーションパターンに従ってパーティショニングする、トレーニング不要のフレームワークで、共有専門家と特殊なルーティング専門家をレイヤ適応構成で構成する。
  論文  参考訳（メタデータ） (2026-02-17T11:50:58Z)
• Beyond Benchmarks: Understanding Mixture-of-Experts Models through Internal Mechanisms [55.1784306456972]
  Mixture-of-Experts (MoE)アーキテクチャは、推論中にパラメータのサブセットだけをアクティベートすることで、効率とスケーラビリティを提供する、有望な方向性として登場した。 内部メトリックを用いて、ルーティング機構を明示的に取り入れ、専門家レベルの振る舞いを分析することで、MoEアーキテクチャのメカニズムを解明する。 その結果,(1)モデルの発展に伴ってニューロンの利用が減少し,より高度な一般化が期待できる,(2)ベンチマークのパフォーマンスが限られた信号のみを提供するダイナミックな軌道を示す,(3)複数の専門家の協力的貢献からタスク完了が生じる,(4)ニューロンレベルでの活性化パターンがデータ多様性のきめ細かいプロキシを提供する,といった結果が得られた。
  論文  参考訳（メタデータ） (2025-09-28T15:13:38Z)
• P-SpikeSSM: Harnessing Probabilistic Spiking State Space Models for Long-Range Dependency Tasks [1.9775291915550175]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワークに代わる計算効率が高く生物学的に妥当な代替品として提案されている。 長距離依存タスクのためのスケーラブルな確率的スパイク学習フレームワークを開発した。 我々のモデルは、様々な長距離依存タスクにまたがるSNNモデル間の最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-06-05T04:23:11Z)
• Unchosen Experts Can Contribute Too: Unleashing MoE Models' Power by Self-Contrast [58.98411447739218]
  Mixture-of-Experts (MoE) は、計算効率を保ちながら、モデルサイズをスケールするための顕著なアーキテクチャとして登場した。 本研究では,無声専門家を推論中に自己コントラスト的に活用する学習自由戦略である自己コントラスト混合(SCMoE)を提案する。 我々の手法は概念的には単純で計算量も軽量であり、グリージー復号法に比べて最小限の遅延を発生させる。
  論文  参考訳（メタデータ） (2024-05-23T12:45:29Z)
• SpikeCLIP: A Contrastive Language-Image Pretrained Spiking Neural Network [39.54624592783459]
  従来のニューラルネットワーク(ANN)の代替として、スパイキングニューラルネットワーク(SNN)が登場した。 本稿ではスパイクベースの計算におけるモダリティギャップを埋める新しいフレームワークであるSpikeCLIPを提案する。
  論文  参考訳（メタデータ） (2023-10-10T09:57:17Z)
• Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
  SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。 常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
  論文  参考訳（メタデータ） (2023-08-19T08:17:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。