論文の概要: Rethinking High-speed Image Reconstruction Framework with Spike Camera
- arxiv url: http://arxiv.org/abs/2501.04477v1
- Date: Wed, 08 Jan 2025 13:00:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-09 14:55:56.118177
- Title: Rethinking High-speed Image Reconstruction Framework with Spike Camera
- Title（参考訳）: スパイクカメラによる高速画像再構成フレームワークの再考
- Authors: Kang Chen, Yajing Zheng, Tiejun Huang, Zhaofei Yu,
- Abstract要約: スパイクカメラは連続的なスパイクストリームを生成し、従来のRGBカメラよりも低帯域幅でダイナミックレンジの高速シーンをキャプチャする。
従来のトレーニングパラダイムを超える新しいスパイク・ツー・イメージ再構築フレームワークであるSpikeCLIPを導入する。
実世界の低照度データセットに対する実験により、SpikeCLIPはテクスチャの詳細と回復した画像の輝度バランスを大幅に向上することが示された。
- 参考スコア（独自算出の注目度）: 48.627095354244204
- License:
- Abstract: Spike cameras, as innovative neuromorphic devices, generate continuous spike streams to capture high-speed scenes with lower bandwidth and higher dynamic range than traditional RGB cameras. However, reconstructing high-quality images from the spike input under low-light conditions remains challenging. Conventional learning-based methods often rely on the synthetic dataset as the supervision for training. Still, these approaches falter when dealing with noisy spikes fired under the low-light environment, leading to further performance degradation in the real-world dataset. This phenomenon is primarily due to inadequate noise modelling and the domain gap between synthetic and real datasets, resulting in recovered images with unclear textures, excessive noise, and diminished brightness. To address these challenges, we introduce a novel spike-to-image reconstruction framework SpikeCLIP that goes beyond traditional training paradigms. Leveraging the CLIP model's powerful capability to align text and images, we incorporate the textual description of the captured scene and unpaired high-quality datasets as the supervision. Our experiments on real-world low-light datasets U-CALTECH and U-CIFAR demonstrate that SpikeCLIP significantly enhances texture details and the luminance balance of recovered images. Furthermore, the reconstructed images are well-aligned with the broader visual features needed for downstream tasks, ensuring more robust and versatile performance in challenging environments.
- Abstract（参考訳）: スパイクカメラは、革新的なニューロモルフィックデバイスとして、従来のRGBカメラよりも低帯域幅でダイナミックレンジの高い高速シーンをキャプチャするために、連続的なスパイクストリームを生成する。
しかし、低照度条件下でのスパイク入力による高品質画像の再構成は依然として困難である。
従来の学習に基づく手法は、しばしば訓練の監督として合成データセットに依存している。
それでもこれらのアプローチは、低照度環境下で発生したノイズの多いスパイクに対処する際のフェールに近づき、現実のデータセットのさらなるパフォーマンス低下につながります。
この現象は、主に不十分なノイズモデリングと、合成データセットと実際のデータセットの間の領域ギャップにより、不明瞭なテクスチャ、過剰なノイズ、明るさの低下を伴う。
これらの課題に対処するために、従来のトレーニングパラダイムを超えて、スパイク・ツー・イメージの再構築フレームワークであるSpikeCLIPを紹介します。
テキストと画像を整列するCLIPモデルの強力な機能を活用して、キャプチャされたシーンのテキスト記述と、高品質なデータセットを監視対象として組み込む。
実世界の低照度データセットU-CALTECHとU-CIFARに関する実験により、SpikeCLIPはテクスチャの詳細と回復した画像の輝度バランスを大幅に向上することが示された。
さらに、再構成された画像は、下流タスクに必要なより広い視覚的特徴と整合し、挑戦的な環境でより堅牢で汎用的なパフォーマンスを保証する。
関連論文リスト
- SwinSF: Image Reconstruction from Spatial-Temporal Spike Streams [2.609896297570564]
スパイクストリームからの動的シーン再構築のための新しいモデルであるSwin Spikeformer(SwinSF)を紹介する。
SwinSFは、シフトしたウィンドウの自己注意と時間的スパイクアテンションを組み合わせ、包括的な特徴抽出を保証する。
我々は、最新のスパイクカメラの解像度と一致するスパイク画像再構成のための新しい合成データセットを構築した。
論文 参考訳（メタデータ） (2024-07-22T15:17:39Z) - CodeEnhance: A Codebook-Driven Approach for Low-Light Image Enhancement [97.95330185793358]
低照度画像強調(LLIE)は、低照度画像を改善することを目的としている。
既存の手法では、様々な明るさ劣化からの回復の不確実性と、テクスチャと色情報の喪失という2つの課題に直面している。
我々は、量子化された先行値と画像の精細化を利用して、新しいエンハンスメント手法、CodeEnhanceを提案する。
論文 参考訳（メタデータ） (2024-04-08T07:34:39Z) - SpikeNeRF: Learning Neural Radiance Fields from Continuous Spike Stream [26.165424006344267]
スパイクカメラは、標準的なカメラよりも明確な利点がある。
スパイクカメラに依存する既存のアプローチは、しばしば最適な照明を仮定する。
スパイクカメラデータからNeRFに基づくボリュームシーン表現を導出した最初の作品であるSpikeNeRFを紹介する。
論文 参考訳（メタデータ） (2024-03-17T13:51:25Z) - SpikeReveal: Unlocking Temporal Sequences from Real Blurry Inputs with Spike Streams [44.02794438687478]
スパイクカメラは、動きの特徴を捉え、この不適切な問題を解くのに有効であることが証明されている。
既存の手法は教師付き学習パラダイムに陥り、現実のシナリオに適用した場合、顕著なパフォーマンス劣化に悩まされる。
本研究では,スパイク誘導動作の劣化に対する最初の自己教師型フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-14T15:29:09Z) - LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models [54.93010869546011]
本稿では,事前学習した潜伏拡散モデルを用いて,超低照度画像の高精細化のためのニューラルISPを実現することを提案する。
具体的には、RAWドメイン上で動作するために事前訓練された潜在拡散モデルを調整するために、軽量なテーミングモジュールのセットをトレーニングする。
遅延拡散モデルにおけるUNet復調と復号化の異なる役割を観察し、低照度画像強調タスクを遅延空間低周波コンテンツ生成と復号位相高周波ディテール保守に分解するきっかけとなる。
論文 参考訳（メタデータ） (2023-12-02T04:31:51Z) - SCRNet: a Retinex Structure-based Low-light Enhancement Model Guided by
Spatial Consistency [22.54951703413469]
本稿では,SCRNet(Spatial Consistency Retinex Network)と呼ばれる,新しい低照度画像強調モデルを提案する。
提案モデルでは, 空間的整合性の原理に着想を得て, チャネルレベル, セマンティックレベル, テクスチャレベルという3つのレベルの整合性を考慮した。
様々な低照度画像データセットに対する広範囲な評価は、提案したSCRNetが既存の最先端手法より優れていることを示している。
論文 参考訳（メタデータ） (2023-05-14T03:32:19Z) - Seeing Through The Noisy Dark: Toward Real-world Low-Light Image
Enhancement and Denoising [125.56062454927755]
現実の低照度環境は通常、光やハードウェアの限界が不足しているため、視界が低く、騒音が重い。
我々は、RLED-Net(Real-world Low-light Enhancement & Denoising Network)と呼ばれる新しいエンドツーエンド手法を提案する。
論文 参考訳（メタデータ） (2022-10-02T14:57:23Z) - INFWIDE: Image and Feature Space Wiener Deconvolution Network for
Non-blind Image Deblurring in Low-Light Conditions [32.35378513394865]
画像と特徴空間Wener deconvolution Network (INFWIDE) と呼ばれる新しい非盲点分解法を提案する。
INFWIDEは、画像空間におけるノイズを除去し、飽和領域を幻覚し、特徴空間におけるリングアーティファクトを抑制する。
合成データと実データを用いた実験は,提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2022-07-17T15:22:31Z) - Enhancing Low-Light Images in Real World via Cross-Image Disentanglement [58.754943762945864]
そこで本研究では,現実の汚職とミスアライメントされたトレーニング画像からなる,新しい低照度画像強調データセットを提案する。
本モデルでは,新たに提案したデータセットと,他の一般的な低照度データセットの両方に対して,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-01-10T03:12:52Z) - Unsupervised Low-light Image Enhancement with Decoupled Networks [103.74355338972123]
我々は、実世界の低照度画像を教師なしで拡張する2段階のGANベースのフレームワークを学習する。
提案手法は,照度向上と雑音低減の両面から,最先端の教師なし画像強調法より優れる。
論文 参考訳（メタデータ） (2020-05-06T13:37:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。