論文の概要: Towards Robust Event-guided Low-Light Image Enhancement: A Large-Scale Real-World Event-Image Dataset and Novel Approach
- arxiv url: http://arxiv.org/abs/2404.00834v1
- Date: Mon, 1 Apr 2024 00:18:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 01:41:21.566921
- Title: Towards Robust Event-guided Low-Light Image Enhancement: A Large-Scale Real-World Event-Image Dataset and Novel Approach
- Title（参考訳）: ロバストなイベント誘導型低光画像強調に向けて:大規模実世界のイベント画像データセットと新しいアプローチ
- Authors: Guoqiang Liang, Kanghao Chen, Hangyu Li, Yunfan Lu, Lin Wang,
- Abstract要約: そこで本研究では,低照度および常照度条件下での30万組以上の画像とイベントからなる実世界(屋内および屋外)データセットを提案する。
このデータセットに基づいて、実世界の低照度シーンにおけるロバストなパフォーマンスを実現するために、EvLightと呼ばれるイベント誘導型LIEアプローチを提案する。
- 参考スコア（独自算出の注目度）: 7.974102031202597
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Event camera has recently received much attention for low-light image enhancement (LIE) thanks to their distinct advantages, such as high dynamic range. However, current research is prohibitively restricted by the lack of large-scale, real-world, and spatial-temporally aligned event-image datasets. To this end, we propose a real-world (indoor and outdoor) dataset comprising over 30K pairs of images and events under both low and normal illumination conditions. To achieve this, we utilize a robotic arm that traces a consistent non-linear trajectory to curate the dataset with spatial alignment precision under 0.03mm. We then introduce a matching alignment strategy, rendering 90% of our dataset with errors less than 0.01s. Based on the dataset, we propose a novel event-guided LIE approach, called EvLight, towards robust performance in real-world low-light scenes. Specifically, we first design the multi-scale holistic fusion branch to extract holistic structural and textural information from both events and images. To ensure robustness against variations in the regional illumination and noise, we then introduce a Signal-to-Noise-Ratio (SNR)-guided regional feature selection to selectively fuse features of images from regions with high SNR and enhance those with low SNR by extracting regional structure information from events. Extensive experiments on our dataset and the synthetic SDSD dataset demonstrate our EvLight significantly surpasses the frame-based methods. Code and datasets are available at https://vlislab22.github.io/eg-lowlight/.
- Abstract（参考訳）: イベントカメラは低照度画像強調(LIE)に注目されている。
しかし、現在の研究は、大規模、実世界、空間的に時間的に整合したイベントイメージデータセットの欠如によって禁止されている。
そこで本研究では,低照度および常照度条件下での30万組以上の画像とイベントからなる実世界(屋内および屋外)データセットを提案する。
これを実現するために、一貫した非線形軌道を辿るロボットアームを用いて、空間アライメント精度0.03mm以下のデータセットをキュレートする。
次に、一致したアライメント戦略を導入し、データセットの90%を0.01秒未満のエラーでレンダリングします。
このデータセットに基づいて、実世界の低照度シーンにおけるロバストなパフォーマンスを実現するために、EvLightと呼ばれるイベント誘導型LIEアプローチを提案する。
具体的には、イベントと画像の両方から全体構造とテクスチャ情報を抽出するために、まずマルチスケールの総合的融合分枝を設計する。
地域照明と雑音の変動に対してロバスト性を確保するため,SNR(Signal-to-Noise-Ratio)誘導の地域特徴選択を導入し,高SNR領域の画像の特徴を選択的に融合させ,イベントから地域構造情報を抽出することで低SNR領域の特徴を増強する。
私たちのデータセットと合成SDSDデータセットに関する大規模な実験は、EvLightがフレームベースの方法を大幅に上回っていることを示している。
コードとデータセットはhttps://vlislab22.github.io/eg-lowlight/で公開されている。
関連論文リスト
- Super-resolving Real-world Image Illumination Enhancement: A New Dataset and A Conditional Diffusion Model [43.93772529301279]
本稿では,効率的な条件拡散確率モデルに基づくSRRIIEデータセットを提案する。
画像はILDCカメラと光学ズームレンズで撮影し、露光レベルは6EVから0EV、ISOレベルは50～12800である。
既存の手法は, 複雑なノイズから復元した画像の構造やシャープさを保ちつつも, 有効性は低いことが示唆された。
論文 参考訳（メタデータ） (2024-10-16T18:47:04Z) - EvLight++: Low-Light Video Enhancement with an Event Camera: A Large-Scale Real-World Dataset, Novel Method, and More [7.974102031202597]
EvLight++は、現実のシナリオで堅牢なパフォーマンスのために設計された、イベント誘導型低照度ビデオ拡張アプローチである。
EvLight++は1.37dBと3.71dBの2つのイメージベースとビデオベースの両方で大幅に性能が向上した。
論文 参考訳（メタデータ） (2024-08-29T04:30:31Z) - BVI-RLV: A Fully Registered Dataset and Benchmarks for Low-Light Video Enhancement [56.97766265018334]
本稿では,2つの異なる低照度条件下での様々な動きシナリオを持つ40のシーンからなる低照度映像データセットを提案する。
我々は、プログラム可能なモータードリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供し、異なる光レベルにわたるピクセルワイドフレームアライメントのための画像ベースアプローチによりそれを洗練する。
実験の結果,Low-light Video enhancement (LLVE) における完全登録ビデオペアの重要性が示された。
論文 参考訳（メタデータ） (2024-07-03T22:41:49Z) - Implicit Event-RGBD Neural SLAM [54.74363487009845]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
論文 参考訳（メタデータ） (2023-11-18T08:48:58Z) - Chasing Day and Night: Towards Robust and Efficient All-Day Object Detection Guided by an Event Camera [8.673063170884591]
EOLOは、RGBとイベントモダリティの両方を融合させることで、堅牢で効率的な全日検出を実現する、新しいオブジェクト検出フレームワークである。
我々のEOLOフレームワークは、イベントの非同期特性を効率的に活用するために、軽量スパイキングニューラルネットワーク(SNN)に基づいて構築されている。
論文 参考訳（メタデータ） (2023-09-17T15:14:01Z) - A ground-based dataset and a diffusion model for on-orbit low-light image enhancement [7.815138548685792]
軌道上低光画像強調(LLIE)のためのバイドゥナビゲーション衛星のデータセットを提案する。
衝突することなく異なる方向と距離のポーズを均一にサンプリングするために、衝突のない作業空間と階層化サンプリングのポーズを提案する。
余剰露光や細部をぼかすことなく画像のコントラストを高めるために,構造と暗黒領域を強調するために,融合した注意を設計する。
論文 参考訳（メタデータ） (2023-06-25T12:15:44Z) - RTMV: A Ray-Traced Multi-View Synthetic Dataset for Novel View Synthesis [104.53930611219654]
約2000の複雑なシーンからレンダリングされた300k画像からなる,新しいビュー合成のための大規模合成データセットを提案する。
データセットは、新しいビュー合成のための既存の合成データセットよりも桁違いに大きい。
高品質な3Dメッシュの4つのソースを使用して、私たちのデータセットのシーンは、カメラビュー、照明、形状、材料、テクスチャの難しいバリエーションを示します。
論文 参考訳（メタデータ） (2022-05-14T13:15:32Z) - Learning Neural Light Fields with Ray-Space Embedding Networks [51.88457861982689]
我々は、コンパクトで、光線に沿った統合放射率を直接予測する新しいニューラル光場表現を提案する。
提案手法は,Stanford Light Field データセットのような,高密度の前方向きデータセットの最先端品質を実現する。
論文 参考訳（メタデータ） (2021-12-02T18:59:51Z) - Spatially-Varying Outdoor Lighting Estimation from Intrinsics [66.04683041837784]
本稿では,空間変動型屋外照明推定のためのニューラルネットワークSOLID-Netを提案する。
グローバルスカイ環境マップとワープ画像情報を組み合わせて,空間変動する局所照明環境マップを生成する。
合成データセットと実データセットの両方の実験は、SOLID-Netが以前の方法を大幅に上回っていることを示しています。
論文 参考訳（メタデータ） (2021-04-09T02:28:54Z) - Low Light Image Enhancement via Global and Local Context Modeling [164.85287246243956]
低照度画像強調のためのコンテキスト認識ディープネットワークを導入。
まず、全空間領域上の補完的な手がかりを見つけるために空間相関をモデル化するグローバルコンテキストモジュールを特徴とする。
第二に、比較的大きな受容フィールドで局所的なコンテキストをキャプチャする密な残留ブロックを導入する。
論文 参考訳（メタデータ） (2021-01-04T09:40:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。