論文の概要: Event-guided Deblurring of Unknown Exposure Time Videos

• arxiv url: http://arxiv.org/abs/2112.06988v1
• Date: Mon, 13 Dec 2021 19:46:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-16 07:30:41.160534
• Title: Event-guided Deblurring of Unknown Exposure Time Videos
• Title（参考訳）: イベント誘導による未知の露光時間ビデオの劣化
• Authors: Taewoo Kim, Jungmin Lee, Lin Wang and Kuk-Jin Yoon
• Abstract要約: イベントカメラは、高時間分解能で見かけの動きを捉えることができる。 本稿では,イベント特徴を選択的に利用するための新しい露光時間に基づくイベント選択モジュールを提案する。 本手法は最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 31.992673443516235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video deblurring is a highly ill-posed problem due to the loss of motion information in the blur degradation process. Since event cameras can capture apparent motion with a high temporal resolution, several attempts have explored the potential of events for guiding video deblurring. These methods generally assume that the exposure time is the same as the reciprocal of the video frame rate. However,this is not true in real situations, and the exposure time might be unknown and dynamically varies depending on the video shooting environment(e.g., illumination condition). In this paper, we address the event-guided video deblurring assuming dynamically variable unknown exposure time of the frame-based camera. To this end, we first derive a new formulation for event-guided video deblurring by considering the exposure and readout time in the video frame acquisition process. We then propose a novel end-toend learning framework for event-guided video deblurring. In particular, we design a novel Exposure Time-based Event Selection(ETES) module to selectively use event features by estimating the cross-modal correlation between the features from blurred frames and the events. Moreover, we propose a feature fusion module to effectively fuse the selected features from events and blur frames. We conduct extensive experiments on various datasets and demonstrate that our method achieves state-of-the-art performance. Our project code and pretrained models will be available.
• Abstract（参考訳）: 映像の劣化は, ぼやけた劣化過程における動き情報の喪失により, 極めて不良な問題である。 イベントカメラは高時間分解能で見かけの動きを捉えることができるため、ビデオの劣化を導くためのイベントの可能性を探る試みがいくつかある。 これらの方法は一般に、露光時間がビデオフレームレートの逆数と同じであると仮定する。 しかし、これは実際の状況では正しくないため、露光時間は未知であり、撮影環境(例えば照明条件)によって動的に変化する可能性がある。 本稿では,フレームベースカメラのダイナミックな未知露光時間を想定したイベント誘導映像の劣化に対処する。 この目的のために、まず、ビデオフレーム取得プロセスにおける露出と読み出し時間を考慮して、イベント誘導型ビデオデブリの新しい定式化を導出する。 次に,イベント誘導ビデオデブリのための新しいエンドツーエンド学習フレームワークを提案する。 特に,新しい露光時間に基づくイベント選択(etes)モジュールを設計し,ぼやけたフレームとイベントとのクロスモーダル相関を推定することにより,イベント特徴を選択的に利用する。 さらに,イベントやぼかしフレームから選択した特徴を効果的に融合する機能融合モジュールを提案する。 各種データセットについて広範な実験を行い,本手法が最先端の性能を実現することを示す。 プロジェクトコードと事前訓練されたモデルが利用可能になります。

関連論文リスト

• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• CMTA: Cross-Modal Temporal Alignment for Event-guided Video Deblurring [44.30048301161034]
  ビデオデブロアリングは、隣接するビデオフレームから情報を集めることで、モーションレッドビデオの復元結果の品質を高めることを目的としている。 1) フレーム内機能拡張は, 単一のぼやけたフレームの露出時間内で動作し, 2) フレーム間時間的特徴アライメントは, 重要な長期時間情報を対象のフレームに収集する。 提案手法は, 合成および実世界のデブロアリングデータセットを用いた広範囲な実験により, 最先端のフレームベースおよびイベントベース動作デブロアリング法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-08-27T10:09:17Z)
• EGVD: Event-Guided Video Deraining [57.59935209162314]
  本稿では,ビデオデライニングのためのイベントカメラの可能性を解放するエンド・ツー・エンドの学習ネットワークを提案する。 雨の多いビデオと時間的に同期されたイベントストリームからなる現実世界のデータセットを構築します。
  論文  参考訳（メタデータ） (2023-09-29T13:47:53Z)
• Deformable Convolutions and LSTM-based Flexible Event Frame Fusion Network for Motion Deblurring [7.187030024676791]
  イベントカメラは、非同期データシーケンスを生成するという点で、従来のRGBカメラとは異なる。 RGBカメラは固定レートですべてのフレームをキャプチャするが、イベントカメラはシーンの変化のみをキャプチャし、スパースと非同期のデータ出力をもたらす。 最近のCNNベースのデブロアリングソリューションは、イベントデータの蓄積に基づいて、複数の2次元イベントフレームを生成する。 特に、照明条件や現場における動きの速い物体の存在といった要因によって露光時間が異なるシナリオでは特に有用である。
  論文  参考訳（メタデータ） (2023-06-01T15:57:12Z)
• Joint Video Multi-Frame Interpolation and Deblurring under Unknown Exposure Time [101.91824315554682]
  本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。 我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。 次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
  論文  参考訳（メタデータ） (2023-03-27T09:43:42Z)
• Video Frame Interpolation without Temporal Priors [91.04877640089053]
  ビデオフレームは、既存の中間フレームをビデオシーケンスで合成することを目的としている。 フレーム/秒(FPS)やフレーム露光時間といったビデオの時間的先行は、異なるカメラセンサーによって異なる場合がある。 我々は、より良い合成結果を得るために、新しい光フロー改善戦略を考案する。
  論文  参考訳（メタデータ） (2021-12-02T12:13:56Z)
• MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
  従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。 バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。 本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
  論文  参考訳（メタデータ） (2021-11-30T23:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。