論文の概要: SpikeOcc: Towards Resilient Multimodal 3D Occupancy Perception via Spiking Experts

• arxiv url: http://arxiv.org/abs/2610.15745v1
• Date: Sun, 11 Oct 2026 16:28:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 16:56:49.032069
• Title: SpikeOcc: Towards Resilient Multimodal 3D Occupancy Perception via Spiking Experts
• Title（参考訳）: SpikeOcc:スパイク専門家によるレジリエントなマルチモーダル3D活動の認識を目指して
• Abstract要約: Spiking Mixture-of-Experts(SMoE)とSensor Availability Learning(SAL) SpikeOccは2つの補完的なコンポーネント、Spike Mixture-of-Experts (SMoE)とSensor Availability Learning (SAL)を備えている。 実験では、SpikeOccは競争力のあるフルセンサーの精度を維持しながら、センサーの停止下でパフォーマンスフロアを著しく上昇させることを示した。
• 参考スコア（独自算出の注目度）: 71.09023015847714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal 3D occupancy prediction underpins safe autonomous driving through comprehensive scene understanding. However, existing methods have largely pursued higher accuracy through sophisticated fusion, leaving resilience to missing sensors underexplored. In this paper, we investigate spiking neural networks (SNNs) as a means of building more resilient multimodal perception. Still, the discrete nature of spiking neurons makes optimization challenging. To overcome this difficulty, SpikeOcc is introduced with two complementary components, a Spiking Mixture-of-Experts (SMoE) and Sensor Availability Learning (SAL). Specifically, SMoE organizes RGB, LiDAR, and joint fusion into specialized pathways, enabling full-width unimodal representations while retaining the original multimodal features via a bounded residual. Beyond sensor dropout, SAL employs a staged curriculum with explicit routing supervision, progressively improving robustness under severe sensing conditions. Remarkably, SAL also yields notable gains for conventional models, highlighting its broader potential for resilient multimodal learning. Extensive experiments demonstrate that SpikeOcc maintains competitive full-sensor accuracy while markedly raising the performance floor under sensor outages. SpikeOcc illustrates the promise of neuromorphic computing, pointing toward more reliable and energy-efficient autonomous driving.
• Abstract（参考訳）: マルチモーダル3D占有予測は、総合的なシーン理解を通して安全な自動運転を支える。 しかし、既存の手法は高度な融合によって高い精度を追求しており、未発見のセンサーにレジリエンスが残されている。 本稿では、より弾力性のあるマルチモーダル知覚を構築する手段として、スパイキングニューラルネットワーク(SNN)について検討する。 それでも、スパイクニューロンの離散的な性質は、最適化を困難にしている。 この難しさを克服するため、SpikeOccはSpike Mixture-of-Experts (SMoE)とSensor Availability Learning (SAL)の2つの補完コンポーネントを備えている。 具体的には、SMoEはRGB、LiDAR、関節融合を特別な経路に編成し、元のマルチモーダル特徴を有界残差を介して保持しながら、全幅のユニモーダル表現を可能にする。 センサーのドロップアウト以外にも、SALは明確なルーティング監視を備えた段階的なカリキュラムを採用しており、厳しい検知条件下での堅牢性を徐々に改善している。 注目すべきは、SALが従来のモデルに顕著な利益をもたらし、回復力のあるマルチモーダル学習の可能性を強調していることだ。 大規模な実験では、SpikeOccは競争力のあるフルセンサーの精度を維持しながら、センサーの停止下でパフォーマンスのフロアを著しく高くしている。 SpikeOccは、より信頼性が高くエネルギー効率のよい自動運転を目指して、ニューロモルフィックコンピューティングの可能性を説明している。

関連論文リスト

• DeepIPCv3: Event-Aware Multi-Modal Sensor Fusion for Sudden Pedestrian Crossing Avoidance [4.219150964619931]
  DeepIPCv3は、新しいマルチモーダル自律ナビゲーションフレームワークである。 ダイナミックビジョンセンサーのマイクロ秒レベルの非同期イベントストリームとLiDAR点雲の密度の高い3次元空間幾何学を相乗化する。 提案されたLiDARとDVSの融合は、低軌道と制御コマンドエラーをもたらし、非常に反応性が高く数学的に拘束された回避操作を可能にする。
  論文  参考訳（メタデータ） (2026-05-31T14:59:01Z)
• Metropolis-Scale Resilient and Trustworthy Traffic Flow Inference Using Multi-Source Data [20.65202203037699]
  Task-Aware Attentive Neural Process (TA-ANP)は、信頼できるグローバルトラフィック状態推論(GTSI)のための統合フレームワークである。 不確実性定量化のために、我々はニューラルプロセスとモンテカルロ・ドロップアウトを組み合わせることで、アレタリックと不確実性の両方を捉える。 TA-ANPは、決定論的および確率論的指標の下で、すべてのサブタスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-24T11:12:02Z)
• Brain-Inspired Multimodal Spiking Neural Network for Image-Text Retrieval [79.04396446873932]
  スパイキングニューラルネットワーク(SNN)は、最近、視覚的タスクとテキストタスクに強い可能性を示している。 画像テキスト検索(ITR)のようなマルチモーダルアプリケーションのための直接訓練され、低エネルギーで高性能なSNNを構築することは、依然として非常に困難である。 我々は脳にインスパイアされたクロスモーダルスパイク・フュージョン・ネットワーク(CMSF)を提案し、初めてITRに適用した。
  論文  参考訳（メタデータ） (2026-03-25T08:41:07Z)
• Filling the Gaps: A Multitask Hybrid Multiscale Generative Framework for Missing Modality in Remote Sensing Semantic Segmentation [28.992992584085787]
  マルチモーダル学習は、通常の単調モデルと比較して大きな性能向上を示した。 現実のシナリオでは、センサーの故障と悪天候のためにマルチモーダル信号が欠落する可能性がある。 本稿では,これらの制約に対処するために,GEMMNet(Generative-Enhanced MultiModal Learning Network)を提案する。
  論文  参考訳（メタデータ） (2025-09-14T05:40:35Z)
• Spiking Meets Attention: Efficient Remote Sensing Image Super-Resolution with Attention Spiking Neural Networks [86.28783985254431]
  従来の人工ニューラルネットワーク(ANN)の代替手段としてスパイキングニューラルネットワーク(SNN)が登場 本稿では,AID,DOTA,DIORなどのリモートセンシングベンチマークにおいて,最先端の性能を実現するSpikeSRを提案する。
  論文  参考訳（メタデータ） (2025-03-06T09:06:06Z)
• EPNet++: Cascade Bi-directional Fusion for Multi-Modal 3D Object Detection [56.03081616213012]
  本稿では,新しいCasscade Bi-directional Fusion(CB-Fusion)モジュールを導入することで,マルチモーダル3Dオブジェクト検出のためのEPNet++を提案する。 提案したCB-Fusionモジュールは、カスケード双方向相互作用融合方式で画像特徴と点特徴の豊富な意味情報を高める。 KITTI、JRDB、SUN-RGBDデータセットの実験結果は、最先端の手法よりもEPNet++の方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-12-21T10:48:34Z)
• Object Tracking through Residual and Dense LSTMs [67.98948222599849]
  LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが、強力な代替手段として登場した。 DenseLSTMはResidualおよびRegular LSTMより優れ、ニュアンセに対する高いレジリエンスを提供する。 ケーススタディは、他のトラッカーの堅牢性を高めるために残差ベースRNNの採用を支援する。
  論文  参考訳（メタデータ） (2020-06-22T08:20:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。