論文の概要: SpikeStereoNet: A Brain-Inspired Framework for Stereo Depth Estimation from Spike Streams

• arxiv url: http://arxiv.org/abs/2505.19487v1
• Date: Mon, 26 May 2025 04:14:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.157873
• Title: SpikeStereoNet: A Brain-Inspired Framework for Stereo Depth Estimation from Spike Streams
• Title（参考訳）: SpikeStereoNet:スパイクストリームからステレオ深度を推定するためのブレインインスパイアされたフレームワーク
• Authors: Zhuoheng Gao, Yihao Li, Jiyao Zhang, Rui Zhao, Tong Wu, Hao Tang, Zhaofei Yu, Hao Dong, Guozhang Chen, Tiejun Huang,
• Abstract要約: バイオインスパイクカメラは、マイクロ秒レベルの解像度で非同期イベントを出力し、代替のセンシングモードを提供する。 既存の手法には、スパイクデータに適した特別なステレオアルゴリズムとベンチマークが欠けている。 本稿では,脳にインスパイアされたフレームワークであるSpikeStereoNetを提案する。
• 参考スコア（独自算出の注目度）: 43.43061247688823
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventional frame-based cameras often struggle with stereo depth estimation in rapidly changing scenes. In contrast, bio-inspired spike cameras emit asynchronous events at microsecond-level resolution, providing an alternative sensing modality. However, existing methods lack specialized stereo algorithms and benchmarks tailored to the spike data. To address this gap, we propose SpikeStereoNet, a brain-inspired framework and the first to estimate stereo depth directly from raw spike streams. The model fuses raw spike streams from two viewpoints and iteratively refines depth estimation through a recurrent spiking neural network (RSNN) update module. To benchmark our approach, we introduce a large-scale synthetic spike stream dataset and a real-world stereo spike dataset with dense depth annotations. SpikeStereoNet outperforms existing methods on both datasets by leveraging spike streams' ability to capture subtle edges and intensity shifts in challenging regions such as textureless surfaces and extreme lighting conditions. Furthermore, our framework exhibits strong data efficiency, maintaining high accuracy even with substantially reduced training data. The source code and datasets will be publicly available.
• Abstract（参考訳）: 従来のフレームベースのカメラは、急速に変化するシーンにおいてステレオ深度推定に苦慮することが多い。 対照的に、バイオインスパイクカメラはマイクロ秒レベルの解像度で非同期イベントを出力し、代替のセンシングモードを提供する。 しかし、既存の手法にはスパイクデータに合わせた特殊なステレオアルゴリズムやベンチマークが欠けていた。 このギャップに対処するために,脳にインスパイアされたフレームワークであるSpikeStereoNetを提案し,生のスパイクストリームから直接ステレオ深度を推定する。 このモデルは2つの視点から生のスパイクストリームを融合させ、繰り返しスパイクニューラルネットワーク(RSNN)更新モジュールを通じて深さ推定を反復的に洗練する。 提案手法をベンチマークするために,大規模合成スパイクストリームデータセットと,深度アノテーションを用いた実世界のステレオスパイクデータセットを導入する。 SpikeStereoNetは、テクスチャレス表面や極端な照明条件といった挑戦的な領域において、微妙なエッジと強度シフトをキャプチャするスパイクストリームの能力を活用することで、両方のデータセット上の既存の方法よりも優れています。 さらに,本フレームワークは,トレーニングデータを大幅に削減した場合でも高い精度を維持しながら,強力なデータ効率を示す。 ソースコードとデータセットが公開されている。

関連論文リスト

• SOTA: Spike-Navigated Optimal TrAnsport Saliency Region Detection in Composite-bias Videos [50.51658520045165]
  Spike-d TrAnsport Saliency Region Detection (SOTA)は、スパイクカメラの強度を活用しつつ、空間次元と時間次元の両方のバイアスを緩和するフレームワークである。 本手法では,微妙なフレーム・ツー・フレームの変動を捉えるために,スパイクに基づくマイクロデビア(SM)を導入する。 SOTAは様々な条件にまたがる不整合を減らして予測を洗練させる。
  論文  参考訳（メタデータ） (2025-05-01T08:30:40Z)
• DERD-Net: Learning Depth from Event-based Ray Densities [11.309936820480111]
  イベントカメラは、多視点ステレオ深度推定とSLAMのための有望な道を提供する。 本稿では,単眼・ステレオ両方のイベントカメラを用いた画素幅推定のための,スケーラブルでフレキシブルで適応可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-22T12:58:05Z)
• SpikeNeRF: Learning Neural Radiance Fields from Continuous Spike Stream [26.165424006344267]
  スパイクカメラは、標準的なカメラよりも明確な利点がある。 スパイクカメラに依存する既存のアプローチは、しばしば最適な照明を仮定する。 スパイクカメラデータからNeRFに基づくボリュームシーン表現を導出した最初の作品であるSpikeNeRFを紹介する。
  論文  参考訳（メタデータ） (2024-03-17T13:51:25Z)
• Recurrent Spike-based Image Restoration under General Illumination [21.630646894529065]
  スパイクカメラは、高時間分解能(2万Hz)のスパイクアレイの形で光強度を記録する、バイオインスパイアされた新しいタイプの視覚センサーである 既存のスパイクベースのアプローチは通常、シーンは十分な光強度を持つと仮定し、雨の日や夕暮れのシーンのような多くの現実のシナリオでは利用できない。 本稿では、一般的な照明下でのスパイクアレイからの鮮明な画像の復元に向けた最初の取り組みである、リカレントスパイクに基づく画像復元(RSIR)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-06T04:24:28Z)
• DynamicStereo: Consistent Dynamic Depth from Stereo Videos [91.1804971397608]
  ステレオビデオの相違を推定するためにDynamicStereoを提案する。 ネットワークは、その予測の時間的一貫性を改善するために、隣接するフレームからの情報をプールすることを学ぶ。 スキャンされた環境における人や動物の合成ビデオを含む新しいベンチマークデータセットであるDynamic Replicaも導入した。
  論文  参考訳（メタデータ） (2023-05-03T17:40:49Z)
• Unsupervised Spike Depth Estimation via Cross-modality Cross-domain Knowledge Transfer [53.413305467674434]
  スパイク深度推定をサポートするためにオープンソースのRGBデータを導入し,そのアノテーションと空間情報を活用する。 教師なしスパイク深さ推定を実現するために,クロスモーダルクロスドメイン(BiCross)フレームワークを提案する。 提案手法は,RGB指向の教師なし深度推定法と比較して,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-08-26T09:35:20Z)
• StereoSpike: Depth Learning with a Spiking Neural Network [0.0]
  深度推定のためのエンドツーエンドのニューロモルフィック手法を提案する。 我々はSpiking Neural Network (SNN) と、StereoSpikeという名前のU-Netライクなエンコーダデコーダアーキテクチャを用いている。 このアーキテクチャは、スポーキング以外のアーキテクチャよりも、非常によく一般化されていることを実証します。
  論文  参考訳（メタデータ） (2021-09-28T14:11:36Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)
• Depthwise Non-local Module for Fast Salient Object Detection Using a Single Thread [136.2224792151324]
  本稿では,高速な物体検出のための新しいディープラーニングアルゴリズムを提案する。 提案アルゴリズムは,1つのCPUスレッドと同時に,競合精度と高い推論効率を実現する。
  論文  参考訳（メタデータ） (2020-01-22T15:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。