論文の概要: Recurrent Spike-based Image Restoration under General Illumination
- arxiv url: http://arxiv.org/abs/2308.03018v1
- Date: Sun, 6 Aug 2023 04:24:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 17:21:25.759068
- Title: Recurrent Spike-based Image Restoration under General Illumination
- Title（参考訳）: 一般照明下における繰り返しスパイク画像復元
- Authors: Lin Zhu, Yunlong Zheng, Mengyue Geng, Lizhi Wang, Hua Huang
- Abstract要約: スパイクカメラは、高時間分解能(2万Hz)のスパイクアレイの形で光強度を記録する、バイオインスパイアされた新しいタイプの視覚センサーである
既存のスパイクベースのアプローチは通常、シーンは十分な光強度を持つと仮定し、雨の日や夕暮れのシーンのような多くの現実のシナリオでは利用できない。
本稿では、一般的な照明下でのスパイクアレイからの鮮明な画像の復元に向けた最初の取り組みである、リカレントスパイクに基づく画像復元(RSIR)ネットワークを提案する。
- 参考スコア（独自算出の注目度）: 21.630646894529065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spike camera is a new type of bio-inspired vision sensor that records light
intensity in the form of a spike array with high temporal resolution (20,000
Hz). This new paradigm of vision sensor offers significant advantages for many
vision tasks such as high speed image reconstruction. However, existing
spike-based approaches typically assume that the scenes are with sufficient
light intensity, which is usually unavailable in many real-world scenarios such
as rainy days or dusk scenes. To unlock more spike-based application scenarios,
we propose a Recurrent Spike-based Image Restoration (RSIR) network, which is
the first work towards restoring clear images from spike arrays under general
illumination. Specifically, to accurately describe the noise distribution under
different illuminations, we build a physical-based spike noise model according
to the sampling process of the spike camera. Based on the noise model, we
design our RSIR network which consists of an adaptive spike transformation
module, a recurrent temporal feature fusion module, and a frequency-based spike
denoising module. Our RSIR can process the spike array in a recursive manner to
ensure that the spike temporal information is well utilized. In the training
process, we generate the simulated spike data based on our noise model to train
our network. Extensive experiments on real-world datasets with different
illuminations demonstrate the effectiveness of the proposed network. The code
and dataset are released at https://github.com/BIT-Vision/RSIR.
- Abstract（参考訳）: Spikeカメラは、バイオインスパイアされた視覚センサーの一種で、高時間分解能(20,000Hz)のスパイクアレイの形で光強度を記録する。
この新しい視覚センサのパラダイムは、高速画像再構成のような多くの視覚タスクに大きな利点をもたらす。
しかし、既存のスパイクベースのアプローチは通常、シーンは十分な光度を持つと仮定し、雨の日や夕暮れのシーンのような多くの現実のシナリオでは利用できない。
よりスパイクベースのアプリケーションシナリオを解き放つために、一般的な照明下でスパイクアレイから鮮明なイメージを復元する最初の試みである、Recurrent Spike-based Image Restoration (RSIR) ネットワークを提案する。
具体的には、異なる照度下でのノイズ分布を正確に記述するために、スパイクカメラのサンプリング過程に応じて物理ベースのスパイクノイズモデルを構築する。
ノイズモデルに基づいて,適応型スパイク変換モジュール,リカレント時間特徴融合モジュール,周波数ベースのスパイクデノージングモジュールからなるrsirネットワークを設計する。
我々のRSIRはスパイクアレイを再帰的に処理し、スパイク時間情報が適切に利用されるようにします。
トレーニングプロセスでは、ノイズモデルに基づいてシミュレーションされたスパイクデータを生成し、ネットワークをトレーニングする。
異なる照度を持つ実世界のデータセットに関する広範な実験は、提案ネットワークの有効性を示している。
コードとデータセットはhttps://github.com/BIT-Vision/RSIRで公開されている。
関連論文リスト
- SwinSF: Image Reconstruction from Spatial-Temporal Spike Streams [2.609896297570564]
スパイクストリームからの動的シーン再構築のための新しいモデルであるSwin Spikeformer(SwinSF)を紹介する。
SwinSFは、シフトしたウィンドウの自己注意と時間的スパイクアテンションを組み合わせ、包括的な特徴抽出を保証する。
我々は、最新のスパイクカメラの解像度と一致するスパイク画像再構成のための新しい合成データセットを構築した。
論文 参考訳（メタデータ） (2024-07-22T15:17:39Z) - SpikeNeRF: Learning Neural Radiance Fields from Continuous Spike Stream [26.165424006344267]
スパイクカメラは、標準的なカメラよりも明確な利点がある。
スパイクカメラに依存する既存のアプローチは、しばしば最適な照明を仮定する。
スパイクカメラデータからNeRFに基づくボリュームシーン表現を導出した最初の作品であるSpikeNeRFを紹介する。
論文 参考訳（メタデータ） (2024-03-17T13:51:25Z) - Finding Visual Saliency in Continuous Spike Stream [23.591309376586835]
本稿では,連続スパイク流における視覚的塩分濃度を初めて検討する。
本稿では,フルスパイクニューラルネットワークに基づくRecurrent Spiking Transformerフレームワークを提案する。
我々のフレームワークは、スパイクストリームにおける視覚的サリエンシの強調とキャプチャにおいて、大幅に改善されている。
論文 参考訳（メタデータ） (2024-03-10T15:15:35Z) - Learning to Robustly Reconstruct Low-light Dynamic Scenes from Spike Streams [28.258022350623023]
ニューロモルフィックセンサーとして、スパイクカメラは連続したバイナリスパイクストリームを生成してピクセル当たりの光強度を捉えることができる。
本稿では,光ロバスト表現(LR-Rep)と融合モジュールを含む双方向のリカレントに基づく再構成フレームワークを提案する。
我々は,高速低照度シーンの再現ベンチマークを開発した。
論文 参考訳（メタデータ） (2024-01-19T03:01:07Z) - LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models [54.93010869546011]
本稿では,事前学習した潜伏拡散モデルを用いて,超低照度画像の高精細化のためのニューラルISPを実現することを提案する。
具体的には、RAWドメイン上で動作するために事前訓練された潜在拡散モデルを調整するために、軽量なテーミングモジュールのセットをトレーニングする。
遅延拡散モデルにおけるUNet復調と復号化の異なる役割を観察し、低照度画像強調タスクを遅延空間低周波コンテンツ生成と復号位相高周波ディテール保守に分解するきっかけとなる。
論文 参考訳（メタデータ） (2023-12-02T04:31:51Z) - Spike Stream Denoising via Spike Camera Simulation [64.11994763727631]
本稿では,スパイクカメラのユニークな回路に基づくシステマティックノイズモデルを提案する。
スパイクストリームをデノナイジングするための最初のベンチマークは、クリアな(ノイズの多い)スパイクストリームを含む。
実験の結果、DnSSは提案されたベンチマークで有望なパフォーマンスを示している。
論文 参考訳（メタデータ） (2023-04-06T14:59:48Z) - SpikeCV: Open a Continuous Computer Vision Era [56.0388584615134]
SpikeCVはスパイクカメラ用の新しいオープンソースのコンピュータビジョンプラットフォームである。
スパイクカメラは、近年急速に発達しているニューロモルフィックな視覚センサーである。
SpikeCVは、さまざまな超高速シーンデータセット、ハードウェアインターフェース、使いやすいモジュールライブラリを提供する。
論文 参考訳（メタデータ） (2023-03-21T09:00:12Z) - Seeing Through The Noisy Dark: Toward Real-world Low-Light Image
Enhancement and Denoising [125.56062454927755]
現実の低照度環境は通常、光やハードウェアの限界が不足しているため、視界が低く、騒音が重い。
我々は、RLED-Net(Real-world Low-light Enhancement & Denoising Network)と呼ばれる新しいエンドツーエンド手法を提案する。
論文 参考訳（メタデータ） (2022-10-02T14:57:23Z) - Wavelet-Based Network For High Dynamic Range Imaging [64.66969585951207]
光学フローベースやエンド・ツー・エンドのディープラーニングベースのソリューションのような既存の方法は、詳細な復元やゴーストを除去する際にエラーを起こしやすい。
本研究では、周波数領域でHDR融合を行うための新しい周波数誘導型エンド・ツー・エンドディープニューラルネットワーク(FNet)を提案し、ウェーブレット変換(DWT)を用いて入力を異なる周波数帯域に分解する。
低周波信号は特定のゴーストアーティファクトを避けるために使用され、高周波信号は詳細を保存するために使用される。
論文 参考訳（メタデータ） (2021-08-03T12:26:33Z) - EventSR: From Asynchronous Events to Image Reconstruction, Restoration,
and Super-Resolution via End-to-End Adversarial Learning [75.17497166510083]
イベントカメラは強度の変化を感知し、従来のカメラよりも多くの利点がある。
イベントストリームからの強度画像の再構成手法が提案されている。
出力は依然として低解像度(LR)、ノイズ、非現実的である。
本研究では、イベントストリームからLR画像を再構成し、画像品質を高め、EventSRと呼ばれる拡張イメージをアップサンプリングする、新しいエンドツーエンドパイプラインを提案する。
論文 参考訳（メタデータ） (2020-03-17T10:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。