論文の概要: Towards Real-world Event-guided Low-light Video Enhancement and Deblurring
- arxiv url: http://arxiv.org/abs/2408.14916v1
- Date: Tue, 27 Aug 2024 09:44:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 14:13:27.296805
- Title: Towards Real-world Event-guided Low-light Video Enhancement and Deblurring
- Title（参考訳）: リアルタイムイベント誘導型低照度映像の高機能化とデブロアリングを目指して
- Authors: Taewoo Kim, Jaeseok Jeong, Hoonhee Cho, Yuhwan Jeong, Kuk-Jin Yoon,
- Abstract要約: イベントカメラは、低照度環境における画質向上のための有望なソリューションとして登場した。
これらのタスクを効果的に処理するためのエンドツーエンドフレームワークを導入します。
我々のフレームワークは、イベントやフレームからの時間情報を効率的に活用するためのモジュールを組み込んでいます。
- 参考スコア（独自算出の注目度）: 39.942568142125126
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In low-light conditions, capturing videos with frame-based cameras often requires long exposure times, resulting in motion blur and reduced visibility. While frame-based motion deblurring and low-light enhancement have been studied, they still pose significant challenges. Event cameras have emerged as a promising solution for improving image quality in low-light environments and addressing motion blur. They provide two key advantages: capturing scene details well even in low light due to their high dynamic range, and effectively capturing motion information during long exposures due to their high temporal resolution. Despite efforts to tackle low-light enhancement and motion deblurring using event cameras separately, previous work has not addressed both simultaneously. To explore the joint task, we first establish real-world datasets for event-guided low-light enhancement and deblurring using a hybrid camera system based on beam splitters. Subsequently, we introduce an end-to-end framework to effectively handle these tasks. Our framework incorporates a module to efficiently leverage temporal information from events and frames. Furthermore, we propose a module to utilize cross-modal feature information to employ a low-pass filter for noise suppression while enhancing the main structural information. Our proposed method significantly outperforms existing approaches in addressing the joint task. Our project pages are available at https://github.com/intelpro/ELEDNet.
- Abstract（参考訳）: 低照度環境では、フレームベースのカメラでビデオを撮影するには長時間の露光が必要で、動きがぼやけ、視界が低下する。
フレームベースの動きの鈍化と低照度化が研究されているが、それらは依然として重大な課題である。
イベントカメラは、低照度環境での画像品質を改善し、動きのぼやけに対処するための有望なソリューションとして登場した。
この2つの重要な利点は、高ダイナミックレンジによる低照度でもシーンの詳細をうまく捉え、高時間分解能による長時間露光時の動作情報を効果的に捉えることである。
イベントカメラを別々に使用した低照度化や動作不良に対処する努力にもかかわらず、以前の作業は同時には対応していない。
そこで我々はまず,ビームスプリッタに基づくハイブリッドカメラシステムを用いて,イベント誘導型低照度化とデブロアリングのための実世界のデータセットを構築した。
その後、これらのタスクを効果的に処理するためのエンドツーエンドフレームワークを導入します。
我々のフレームワークは、イベントやフレームからの時間情報を効率的に活用するためのモジュールを組み込んでいます。
さらに,主構造情報を強化しつつ,雑音抑圧のための低域通過フィルタを用いたクロスモーダル特徴情報を利用するモジュールを提案する。
提案手法は,共同作業に対処する既存の手法よりも優れている。
私たちのプロジェクトページはhttps://github.com/intelpro/ELEDNet.comで公開されています。
関連論文リスト
- Event-guided Low-light Video Semantic Segmentation [6.938849566816958]
イベントカメラは、モーションダイナミクスをキャプチャし、時間依存情報をフィルタリングし、照明条件に対して堅牢である。
本稿では、イベントモダリティを利用した軽量なフレームワークであるEVSNetを提案し、統一照明不変表現の学習を指導する。
具体的には、動き抽出モジュールを利用して、事象のモーダルから短期・長期の時間的動きを抽出し、モーションフュージョンモジュールを用いて画像特徴と動き特徴を適応的に統合する。
論文 参考訳（メタデータ） (2024-11-01T14:54:34Z) - CMTA: Cross-Modal Temporal Alignment for Event-guided Video Deblurring [44.30048301161034]
ビデオデブロアリングは、隣接するビデオフレームから情報を集めることで、モーションレッドビデオの復元結果の品質を高めることを目的としている。
1) フレーム内機能拡張は, 単一のぼやけたフレームの露出時間内で動作し, 2) フレーム間時間的特徴アライメントは, 重要な長期時間情報を対象のフレームに収集する。
提案手法は, 合成および実世界のデブロアリングデータセットを用いた広範囲な実験により, 最先端のフレームベースおよびイベントベース動作デブロアリング法より優れていることを示す。
論文 参考訳（メタデータ） (2024-08-27T10:09:17Z) - Unrolled Decomposed Unpaired Learning for Controllable Low-Light Video Enhancement [48.76608212565327]
本稿では,2対の地上真実を使わずに,低照度映像のエンハンスメントを学習する上での取り組みについて述べる。
低照度画像の強調に比べて、空間領域におけるノイズ、露出、コントラストの相互干渉効果により、時間的コヒーレンスの必要性が伴うため、低照度映像の強調は困難である。
本稿では,信号の空間的・時間的関連要因に分解するために,最適化関数を深層ネットワークにアンロールすることで低照度映像の高精細化を実現するUnrolled Decompposed Unpaired Network (UDU-Net)を提案する。
論文 参考訳（メタデータ） (2024-08-22T11:45:11Z) - Event-Based Motion Magnification [28.057537257958963]
イベントカメラと従来のRGBカメラを組み合わせたデュアルカメラシステムを提案する。
この革新的な組み合わせは、広範かつ費用対効果の高い高周波運動の増幅を可能にする。
両カメラシステムとネットワークの有効性と精度を実証し、モーション検出と倍率化のための費用対効果とフレキシブルなソリューションを提供する。
論文 参考訳（メタデータ） (2024-02-19T08:59:58Z) - Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳（メタデータ） (2023-11-30T18:59:23Z) - Lightweight High-Speed Photography Built on Coded Exposure and Implicit Neural Representation of Videos [34.152901518593396]
高速シーンを高解像度で記録できるコンパクトカメラの需要は着実に増加している。
しかし、そのような能力を達成するには、しばしば高帯域幅の要求が伴うため、低容量のプラットフォームには不適当で重いシステムになる。
本稿では,ビデオの暗黙的表現と古典的符号化露光画像技術を組み合わせることで,これらの課題に対処する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-22T03:41:13Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳（メタデータ） (2023-03-27T09:43:42Z) - MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。
バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。
本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
論文 参考訳（メタデータ） (2021-11-30T23:18:35Z) - ESL: Event-based Structured Light [62.77144631509817]
イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。
本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
論文 参考訳（メタデータ） (2021-11-30T15:47:39Z) - Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。
予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:18:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。