論文の概要: Recovering Continuous Scene Dynamics from A Single Blurry Image with Events

• arxiv url: http://arxiv.org/abs/2304.02695v1
• Date: Wed, 5 Apr 2023 18:44:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-07 16:20:09.720227
• Title: Recovering Continuous Scene Dynamics from A Single Blurry Image with Events
• Title（参考訳）: イベントを伴う単一ぼやけた画像からの連続シーンダイナミクスの復元
• Authors: Zhangyi Cheng, Xiang Zhang, Lei Yu, Jianzhuang Liu, Wen Yang, Gui-Song Xia
• Abstract要約: インプリシットビデオ関数(IVF)は、同時イベントを伴う単一の動きのぼやけた画像を表現する。 両モードの利点を効果的に活用するために、二重注意変換器を提案する。 提案するネットワークは,限られた参照タイムスタンプの地平線画像の監督のみで訓練される。
• 参考スコア（独自算出の注目度）: 58.7185835546638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper aims at demystifying a single motion-blurred image with events and revealing temporally continuous scene dynamics encrypted behind motion blurs. To achieve this end, an Implicit Video Function (IVF) is learned to represent a single motion blurred image with concurrent events, enabling the latent sharp image restoration of arbitrary timestamps in the range of imaging exposures. Specifically, a dual attention transformer is proposed to efficiently leverage merits from both modalities, i.e., the high temporal resolution of event features and the smoothness of image features, alleviating temporal ambiguities while suppressing the event noise. The proposed network is trained only with the supervision of ground-truth images of limited referenced timestamps. Motion- and texture-guided supervisions are employed simultaneously to enhance restorations of the non-referenced timestamps and improve the overall sharpness. Experiments on synthetic, semi-synthetic, and real-world datasets demonstrate that our proposed method outperforms state-of-the-art methods by a large margin in terms of both objective PSNR and SSIM measurements and subjective evaluations.
• Abstract（参考訳）: 本稿では,1つの動きブルイメージをイベントで復調し,時間的に連続的なシーンダイナミクスを動作ぼけの裏で暗号化することを目的とする。 この目的を達成するために、Implicit Video Function (IVF) が学習され、単一の動きぼやけた画像と同時イベントを同時に表現し、画像露光範囲における任意のタイムスタンプの遅延シャープな画像復元を可能にする。 具体的には、イベントノイズを抑制しながら時間的曖昧さを緩和し、イベント特徴の高時間分解能と画像特徴の滑らかさの両方の利点を効果的に活用するために、デュアルアテンショントランスが提案されている。 提案するネットワークは,限られた参照タイムスタンプの地中画像の監督のみで訓練される。 非参照タイムスタンプの復元性を高め、全体的なシャープ性を向上させるために、モーションおよびテクスチャガイドによる監督を同時に行う。 合成, 半合成, 実世界のデータセット実験により, 提案手法はPSNRとSSIMの両方の客観的測定と主観評価において, 最先端の手法よりも高い性能を示した。

関連論文リスト

• Non-Uniform Exposure Imaging via Neuromorphic Shutter Control [9.519068512865463]
  動作のぼやけを回避し,瞬時雑音を軽減する新しいニューロモルフィックシャッター制御(NSC)システムを提案する。 本稿では,SNR(Inconsistent Signal-to-Noise Ratio)を安定化させるために,自己教師付き学習パラダイム内でのイベントベース画像復調ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-04-22T08:28:41Z)
• Motion Blur Decomposition with Cross-shutter Guidance [33.72961622720793]
  動きのぼかしは、十分に明るい画像のためにより多くの光子を集めるために露光時間を延ばさなければならない、照明が不十分な人工物である。 近年の研究では、ぼやけた画像を空間的・時間的コヒーレンスのある複数のシャープな画像に分解することを目的としている。 本稿では, ローリングシャッター画像におけるスキャニングラインの遅延の順序を利用して, 単一のぼやけた画像の運動分解を強固にする手法を提案する。
  論文  参考訳（メタデータ） (2024-04-01T13:55:40Z)
• Joint Video Multi-Frame Interpolation and Deblurring under Unknown Exposure Time [101.91824315554682]
  本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。 我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。 次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
  論文  参考訳（メタデータ） (2023-03-27T09:43:42Z)
• Event-based Image Deblurring with Dynamic Motion Awareness [10.81953574179206]
  露光時間における実RGBのぼかし画像と関連する事象のペアを含む最初のデータセットを紹介する。 以上の結果より,PSNRは合成データで1.57dB,実イベントデータで1.08dBまで改善された。
  論文  参考訳（メタデータ） (2022-08-24T09:39:55Z)
• Unifying Motion Deblurring and Frame Interpolation with Events [11.173687810873433]
  フレームベースのカメラのスローシャッター速度と長時間露光は、しばしばフレーム間の情報の視覚的曖昧さと損失を引き起こし、キャプチャされたビデオの全体的な品質を劣化させる。 イベントの極めて低レイテンシを利用して、動きのぼやけを緩和し、中間フレーム予測を容易にする、ぼやけたビデオ強調のためのイベントベースモーションデブロアリングとフレーム拡張の統一フレームワークを提案する。 ぼやけたフレーム,潜入画像,イベントストリーム間の相互制約を探索することにより,実世界のぼやけたビデオやイベントによるネットワークトレーニングを可能にする,自己教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-23T03:43:12Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• Blind Motion Deblurring Super-Resolution: When Dynamic Spatio-Temporal Learning Meets Static Image Understanding [87.5799910153545]
  シングルイメージ超解像(SR)とマルチフレームSR(SR)は、低解像度画像を超解する2つの方法である。 単一静止画像から動的時間情報を学習するために, ブラインド・モーション・デブロアリング・スーパー・レゾリューション・ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-05-27T11:52:45Z)
• Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
  本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。 予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:18:25Z)
• Exposure Trajectory Recovery from Motion Blur [90.75092808213371]
  ダイナミックシーンにおける動きのぼやけは重要な研究テーマである。 本稿では、ぼやけた画像に含まれる動き情報を表す露光軌跡を定義する。 静止シャープ画像の画素方向の変位をモデル化するための新しい動きオフセット推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-06T05:23:33Z)
• Single Image Optical Flow Estimation with an Event Camera [38.92408855196647]
  イベントカメラはバイオインスパイアされたセンサーで、マイクロ秒解像度の強度変化を報告している。 本稿では,単一画像(潜在的にぼやけた)とイベントに基づく光フロー推定手法を提案する。
  論文  参考訳（メタデータ） (2020-04-01T11:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。