論文の概要: NEC-Diff: Noise-Robust Event-RAW Complementary Diffusion for Seeing Motion in Extreme Darkness
- arxiv url: http://arxiv.org/abs/2603.20005v1
- Date: Fri, 20 Mar 2026 14:51:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 19:48:39.189469
- Title: NEC-Diff: Noise-Robust Event-RAW Complementary Diffusion for Seeing Motion in Extreme Darkness
- Title(参考訳): NEC-Diff:極暗視における動きの観測のためのノイズ・ロバスト事象・RAW相補拡散
- Authors: Haoyue Liu, Jinghan Xu, Luxin Feng, Hanyu Zhou, Haozhi Zhao, Yi Chang, Luxin Yan,
- Abstract要約: NEC-Diffは拡散型イベント-RAWハイブリッドイメージングフレームワークである。
ノイズの多い信号から信頼できる情報を抽出し、微細なシーン構造を再構築する。
47,800ピクセルの低照度RAW画像,イベント,高品質な参照を0.001-0.8 lux 照明下で提供するREALデータセットを構築した。
- 参考スコア(独自算出の注目度): 32.700771429075694
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: High-quality imaging of dynamic scenes in extremely low-light conditions is highly challenging. Photon scarcity induces severe noise and texture loss, causing significant image degradation. Event cameras, featuring a high dynamic range (120 dB) and high sensitivity to motion, serve as powerful complements to conventional cameras by offering crucial cues for preserving subtle textures. However, most existing approaches emphasize texture recovery from events, while paying little attention to image noise or the intrinsic noise of events themselves, which ultimately hinders accurate pixel reconstruction under photon-starved conditions. In this work, we propose NEC-Diff, a novel diffusion-based event-RAW hybrid imaging framework that extracts reliable information from heavily noisy signals to reconstruct fine scene structures. The framework is driven by two key insights: (1) combining the linear light-response property of RAW images with the brightness-change nature of events to establish a physics-driven constraint for robust dual-modal denoising; and (2) dynamically estimating the SNR of both modalities based on denoising results to guide adaptive feature fusion, thereby injecting reliable cues into the diffusion process for high-fidelity visual reconstruction. Furthermore, we construct the REAL (Raw and Event Acquired in Low-light) dataset which provides 47,800 pixel-aligned low-light RAW images, events, and high-quality references under 0.001-0.8 lux illumination. Extensive experiments demonstrate the superiority of NEC-Diff under extreme darkness. The project are available at: https://github.com/jinghan-xu/NEC-Diff.
- Abstract(参考訳): 極めて低照度条件下でのダイナミックシーンの高画質イメージングは非常に困難である。
光子不足は大きなノイズとテクスチャ損失を引き起こし、画像の劣化を引き起こす。
イベントカメラは、ダイナミックレンジ(120dB)が高く、動きに対する感度が高く、微妙なテクスチャを保存するための重要な手段を提供することで、従来のカメラの強力な補完となる。
しかし、既存のほとんどのアプローチは、画像ノイズやそれ自身固有のノイズにほとんど注意を払わずに、イベントからのテクスチャリカバリを強調しており、最終的に光子スターベッド条件下での正確なピクセル再構成を妨げている。
本研究では,NEC-Diffを提案する。これは拡散型イベント-RAWハイブリッドイメージングフレームワークで,ノイズの多い信号から信頼性の高い情報を抽出し,微細なシーン構造を再構築する。
この枠組みは,(1)RAW画像の線形光応答特性と事象の輝度変化特性を組み合わせることにより,ロバストなデュアルモードデノイングのための物理駆動制約を確立すること,(2)適応的特徴融合を導出するために両モードのSNRを動的に推定すること,そして,高忠実度視覚再構成のための拡散過程に信頼性のあるキューを注入すること,の2つの重要な知見によって駆動される。
さらに, 47,800画素の低照度RAW画像, イベント, 高品質な参照を0.001-0.8 lux照明下で提供するREALデータセットを構築した。
極端な実験は、極暗の下でのNEC-Diffの優越性を実証している。
プロジェクトは、https://github.com/jinghan-xu/NEC-Diff.comで入手できる。
関連論文リスト
- EvRWKV: A Continuous Interactive RWKV Framework for Effective Event-Guided Low-Light Image Enhancement [10.556338127441167]
イベントカメラは、輝度変化を非同期にキャプチャすることで、高ダイナミックレンジとマイクロ秒の時間分解能を提供する。
EvRWKVは、二重ドメイン処理による連続的な相互モーダル相互作用を実現する新しいフレームワークである。
我々は,EvRWKVが最先端性能を実現し,ノイズを抑制し,構造的詳細を復元し,低照度環境に挑戦する際の視覚的明瞭度を向上させることにより,画像品質を効果的に向上することを示す。
論文 参考訳(メタデータ) (2025-07-01T19:05:04Z) - Bidirectional Image-Event Guided Fusion Framework for Low-Light Image Enhancement [24.5584423318892]
極端に低照度な条件下では、フレームベースのカメラは、ダイナミックレンジの制限により、細部が著しく失われる。
近年の研究では、イベント誘導型低照度画像強調のためのイベントカメラが導入されている。
低光画像強調のための双方向画像イベント誘導融合フレームワークBiLIEを提案する。
論文 参考訳(メタデータ) (2025-06-06T14:28:17Z) - Rethinking High-speed Image Reconstruction Framework with Spike Camera [48.627095354244204]
スパイクカメラは連続的なスパイクストリームを生成し、従来のRGBカメラよりも低帯域幅でダイナミックレンジの高速シーンをキャプチャする。
従来のトレーニングパラダイムを超える新しいスパイク・ツー・イメージ再構築フレームワークであるSpikeCLIPを導入する。
実世界の低照度データセットに対する実験により、SpikeCLIPはテクスチャの詳細と回復した画像の輝度バランスを大幅に向上することが示された。
論文 参考訳(メタデータ) (2025-01-08T13:00:17Z) - LED: A Large-scale Real-world Paired Dataset for Event Camera Denoising [19.51468512911655]
イベントカメラは、ノイズ干渉を受けやすい場合に動的シーン情報をキャプチャする点で大きな利点がある。
我々は,高解像度(1200*680)イベントストリームで18K秒の3Kシーケンスを含む,新しいペア化された実世界のイベントデノゲーションデータセット(LED)を構築した。
そこで本研究では,GTを生音から分離して生成する手法として,均質な二重事象を用いた新しい効果的なデノナイジングフレームワーク(DED)を提案する。
論文 参考訳(メタデータ) (2024-05-30T06:02:35Z) - LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models [54.93010869546011]
本稿では,事前学習した潜伏拡散モデルを用いて,超低照度画像の高精細化のためのニューラルISPを実現することを提案する。
具体的には、RAWドメイン上で動作するために事前訓練された潜在拡散モデルを調整するために、軽量なテーミングモジュールのセットをトレーニングする。
遅延拡散モデルにおけるUNet復調と復号化の異なる役割を観察し、低照度画像強調タスクを遅延空間低周波コンテンツ生成と復号位相高周波ディテール保守に分解するきっかけとなる。
論文 参考訳(メタデータ) (2023-12-02T04:31:51Z) - Towards High-quality HDR Deghosting with Conditional Diffusion Models [88.83729417524823]
高ダイナミックレンジ(LDR)画像は、既存のディープニューラルネットワーク(DNN)技術により、複数の低ダイナミックレンジ(LDR)画像から復元することができる。
DNNは、LDR画像が飽和度と大きな動きを持つ場合、ゴーストアーティファクトを生成する。
拡散モデルの条件としてLDR特徴を利用する画像生成としてHDRデゴースト問題を定式化する。
論文 参考訳(メタデータ) (2023-11-02T01:53:55Z) - Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。
これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。
まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。
次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
論文 参考訳(メタデータ) (2023-05-17T13:56:48Z) - INFWIDE: Image and Feature Space Wiener Deconvolution Network for
Non-blind Image Deblurring in Low-Light Conditions [32.35378513394865]
画像と特徴空間Wener deconvolution Network (INFWIDE) と呼ばれる新しい非盲点分解法を提案する。
INFWIDEは、画像空間におけるノイズを除去し、飽和領域を幻覚し、特徴空間におけるリングアーティファクトを抑制する。
合成データと実データを用いた実験は,提案手法の優れた性能を示す。
論文 参考訳(メタデータ) (2022-07-17T15:22:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。