論文の概要: Seeing the Unseen in Low-light Spike Streams

• arxiv url: http://arxiv.org/abs/2509.23304v1
• Date: Sat, 27 Sep 2025 13:33:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.147378
• Title: Seeing the Unseen in Low-light Spike Streams
• Title（参考訳）: 低照度スパイクストリームで見えないものを見る
• Authors: Liwen Hu, Yang Li, Mianzhi Liu, Yijia Guo, Shenghao Xie, Ziluo Ding, Tiejun Huang, Lei Ma,
• Abstract要約: スパイクカメラは、高時間分解能のニューロモルフィックセンサーの一種で、高速な視覚タスクに非常に有望である。 独自のデータモダリティのため、スパイクストリームは人間の目に知覚されるように再構築方法を必要とする。 スパイクカメラの最初の拡散型再構成法であるDiff-SPKを提案する。
• 参考スコア（独自算出の注目度）: 31.57903575317722
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spike camera, a type of neuromorphic sensor with high-temporal resolution, shows great promise for high-speed visual tasks. Unlike traditional cameras, spike camera continuously accumulates photons and fires asynchronous spike streams. Due to unique data modality, spike streams require reconstruction methods to become perceptible to the human eye. However, lots of methods struggle to handle spike streams in low-light high-speed scenarios due to severe noise and sparse information. In this work, we propose Diff-SPK, the first diffusion-based reconstruction method for spike camera. Diff-SPK effectively leverages generative priors to supplement texture information in low-light conditions. Specifically, it first employs an \textbf{E}nhanced \textbf{T}exture \textbf{f}rom Inter-spike \textbf{I}nterval (ETFI) to aggregate sparse information from low-light spike streams. Then, ETFI serves as a conditioning input for ControlNet to generate the high-speed scenes. To improve the quality of results, we introduce an ETFI-based feature fusion module during the generation process. Moreover, we establish the first bona fide benchmark for the low-light spike stream reconstruction task. It significantly surpasses existing reconstruction datasets in scale and provides quantitative illumination information. The performance on real low-light spike streams demonstrates the superiority of Diff-SPK.
• Abstract（参考訳）: スパイクカメラは、高時間分解能のニューロモルフィックセンサーの一種で、高速な視覚タスクに非常に有望である。 従来のカメラとは異なり、スパイクカメラは光子を継続的に蓄積し、非同期スパイクストリームを発射する。 独自のデータモダリティのため、スパイクストリームは人間の目に知覚されるように再構築方法を必要とする。 しかし,低照度高速シナリオでは,ノイズやスパース情報によってスパイクストリームの処理に苦慮する手法が数多く存在する。 本研究では,スパイクカメラの最初の拡散型再構成手法であるDiff-SPKを提案する。 Diff-SPKは、低照度条件下でテクスチャ情報を補うために、生成前の情報を効果的に活用する。 具体的には、まず、低照度スパイクストリームからスパース情報を集約するために、textbf{E}nhanced \textbf{T}exture \textbf{f}rom Inter-spike \textbf{I}nterval (ETFI)を使用する。 そして、ETFIは制御ネットの条件入力として機能し、高速なシーンを生成する。 結果の質を向上させるため,ETFIベースの特徴融合モジュールを生成プロセス中に導入する。 さらに,低照度スパイクストリーム再構成タスクのための最初のボナフェイドベンチマークを構築した。 既存の復元データセットを大幅に超え、定量的照明情報を提供する。 実低照度スパイクストリームの性能はDiff-SPKの優位性を示している。

関連論文リスト

• SpikeStereoNet: A Brain-Inspired Framework for Stereo Depth Estimation from Spike Streams [43.43061247688823]
  バイオインスパイクカメラは、マイクロ秒レベルの解像度で非同期イベントを出力し、代替のセンシングモードを提供する。 既存の手法には、スパイクデータに適した特別なステレオアルゴリズムとベンチマークが欠けている。 本稿では,脳にインスパイアされたフレームワークであるSpikeStereoNetを提案する。
  論文  参考訳（メタデータ） (2025-05-26T04:14:34Z)
• Rethinking High-speed Image Reconstruction Framework with Spike Camera [48.627095354244204]
  スパイクカメラは連続的なスパイクストリームを生成し、従来のRGBカメラよりも低帯域幅でダイナミックレンジの高速シーンをキャプチャする。 従来のトレーニングパラダイムを超える新しいスパイク・ツー・イメージ再構築フレームワークであるSpikeCLIPを導入する。 実世界の低照度データセットに対する実験により、SpikeCLIPはテクスチャの詳細と回復した画像の輝度バランスを大幅に向上することが示された。
  論文  参考訳（メタデータ） (2025-01-08T13:00:17Z)
• Learning to Robustly Reconstruct Low-light Dynamic Scenes from Spike Streams [28.258022350623023]
  ニューロモルフィックセンサーとして、スパイクカメラは連続したバイナリスパイクストリームを生成してピクセル当たりの光強度を捉えることができる。 本稿では,光ロバスト表現(LR-Rep)と融合モジュールを含む双方向のリカレントに基づく再構成フレームワークを提案する。 我々は,高速低照度シーンの再現ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-01-19T03:01:07Z)
• LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models [54.93010869546011]
  本稿では,事前学習した潜伏拡散モデルを用いて,超低照度画像の高精細化のためのニューラルISPを実現することを提案する。 具体的には、RAWドメイン上で動作するために事前訓練された潜在拡散モデルを調整するために、軽量なテーミングモジュールのセットをトレーニングする。 遅延拡散モデルにおけるUNet復調と復号化の異なる役割を観察し、低照度画像強調タスクを遅延空間低周波コンテンツ生成と復号位相高周波ディテール保守に分解するきっかけとなる。
  論文  参考訳（メタデータ） (2023-12-02T04:31:51Z)
• Recurrent Spike-based Image Restoration under General Illumination [21.630646894529065]
  スパイクカメラは、高時間分解能(2万Hz)のスパイクアレイの形で光強度を記録する、バイオインスパイアされた新しいタイプの視覚センサーである 既存のスパイクベースのアプローチは通常、シーンは十分な光強度を持つと仮定し、雨の日や夕暮れのシーンのような多くの現実のシナリオでは利用できない。 本稿では、一般的な照明下でのスパイクアレイからの鮮明な画像の復元に向けた最初の取り組みである、リカレントスパイクに基づく画像復元(RSIR)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-06T04:24:28Z)
• Spike Stream Denoising via Spike Camera Simulation [64.11994763727631]
  本稿では,スパイクカメラのユニークな回路に基づくシステマティックノイズモデルを提案する。 スパイクストリームをデノナイジングするための最初のベンチマークは、クリアな(ノイズの多い)スパイクストリームを含む。 実験の結果、DnSSは提案されたベンチマークで有望なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-04-06T14:59:48Z)
• SCFlow: Optical Flow Estimation for Spiking Camera [50.770803466875364]
  スパイキングカメラは、特に高速シーンのモーション推定において、現実の応用において大きな可能性を秘めている。 光フロー推定は画像ベースおよびイベントベースの視覚において顕著な成功を収めているが、既存の手法はスパイクカメラからのスパイクストリームに直接適用することはできない。 本稿では、スパイキングカメラのための光フロー推定のための新しいディープラーニングパイプラインSCFlowについて述べる。
  論文  参考訳（メタデータ） (2021-10-08T06:16:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。