論文の概要: Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time
- arxiv url: http://arxiv.org/abs/2303.15043v1
- Date: Mon, 27 Mar 2023 09:43:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 16:09:00.838385
- Title: Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time
- Title（参考訳）: 未知の露光時間下でのマルチフレーム補間と劣化
- Authors: Wei Shang, Dongwei Ren, Yi Yang, Hongzhi Zhang, Kede Ma, Wangmeng Zuo
- Abstract要約: 本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
- 参考スコア（独自算出の注目度）: 101.91824315554682
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural videos captured by consumer cameras often suffer from low framerate
and motion blur due to the combination of dynamic scene complexity, lens and
sensor imperfection, and less than ideal exposure setting. As a result,
computational methods that jointly perform video frame interpolation and
deblurring begin to emerge with the unrealistic assumption that the exposure
time is known and fixed. In this work, we aim ambitiously for a more realistic
and challenging task - joint video multi-frame interpolation and deblurring
under unknown exposure time. Toward this goal, we first adopt a variant of
supervised contrastive learning to construct an exposure-aware representation
from input blurred frames. We then train two U-Nets for intra-motion and
inter-motion analysis, respectively, adapting to the learned exposure
representation via gain tuning. We finally build our video reconstruction
network upon the exposure and motion representation by progressive
exposure-adaptive convolution and motion refinement. Extensive experiments on
both simulated and real-world datasets show that our optimized method achieves
notable performance gains over the state-of-the-art on the joint video x8
interpolation and deblurring task. Moreover, on the seemingly implausible x16
interpolation task, our method outperforms existing methods by more than 1.5 dB
in terms of PSNR.
- Abstract（参考訳）: 消費者カメラが撮影した自然なビデオは、ダイナミックなシーンの複雑さ、レンズとセンサーの不完全さ、理想的な露出設定などによって、フレームレートと動きのぼやけが少なくなることが多い。
その結果,映像フレームの補間とデブロアリングを共同で行う計算手法が,露光時間が知られて固定されているという非現実的な仮定によって出現し始める。
本研究は,より現実的で挑戦的な課題 - 未知の露光時間下での映像マルチフレーム補間とデブラリング - を,野心的に目標とする。
この目的に向けて、我々はまず教師付きコントラスト学習の変種を採用し、入力されたぼやけたフレームから露出認識表現を構築する。
次に、2つのU-Netを運動内および運動間分析のために訓練し、ゲインチューニングにより学習した露光表現に適応する。
我々は, プログレッシブな露出適応畳み込みとモーションリファインメントにより, 露出と動き表現に基づく映像再構成ネットワークを構築した。
シミュレーションデータセットと実世界のデータセットの両方に対する広範囲な実験により,本手法は,ジョイントビデオのx8補間とデブラリングタスクにおいて,最先端の性能向上を実現する。
さらに,疑わしいx16補間タスクでは,PSNRの観点から既存の手法よりも1.5dB以上優れていた。
関連論文リスト
- CMTA: Cross-Modal Temporal Alignment for Event-guided Video Deblurring [44.30048301161034]
ビデオデブロアリングは、隣接するビデオフレームから情報を集めることで、モーションレッドビデオの復元結果の品質を高めることを目的としている。
1) フレーム内機能拡張は, 単一のぼやけたフレームの露出時間内で動作し, 2) フレーム間時間的特徴アライメントは, 重要な長期時間情報を対象のフレームに収集する。
提案手法は, 合成および実世界のデブロアリングデータセットを用いた広範囲な実験により, 最先端のフレームベースおよびイベントベース動作デブロアリング法より優れていることを示す。
論文 参考訳（メタデータ） (2024-08-27T10:09:17Z) - Event-Based Frame Interpolation with Ad-hoc Deblurring [68.97825675372354]
本稿では,入力ビデオのアドホックを損なうイベントベースフレームの一般的な手法を提案する。
我々のネットワークは、フレーム上の最先端の手法、単一画像のデブロアリング、および共同作業のデブロアリングを一貫して上回ります。
コードとデータセットは公開されます。
論文 参考訳（メタデータ） (2023-01-12T18:19:00Z) - Time Lens++: Event-based Frame Interpolation with Parametric Non-linear
Flow and Multi-scale Fusion [47.57998625129672]
イベントや画像から1ショットの非線形なフレーム間動きを複数スケールのフィーチャレベル融合と計算する。
提案手法は,PSNRで最大0.2dB,LPIPSで最大15%の再現性向上を実現する。
論文 参考訳（メタデータ） (2022-03-31T17:14:58Z) - Unifying Motion Deblurring and Frame Interpolation with Events [11.173687810873433]
フレームベースのカメラのスローシャッター速度と長時間露光は、しばしばフレーム間の情報の視覚的曖昧さと損失を引き起こし、キャプチャされたビデオの全体的な品質を劣化させる。
イベントの極めて低レイテンシを利用して、動きのぼやけを緩和し、中間フレーム予測を容易にする、ぼやけたビデオ強調のためのイベントベースモーションデブロアリングとフレーム拡張の統一フレームワークを提案する。
ぼやけたフレーム,潜入画像,イベントストリーム間の相互制約を探索することにより,実世界のぼやけたビデオやイベントによるネットワークトレーニングを可能にする,自己教師付き学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-03-23T03:43:12Z) - Video Frame Interpolation without Temporal Priors [91.04877640089053]
ビデオフレームは、既存の中間フレームをビデオシーケンスで合成することを目的としている。
フレーム/秒(FPS)やフレーム露光時間といったビデオの時間的先行は、異なるカメラセンサーによって異なる場合がある。
我々は、より良い合成結果を得るために、新しい光フロー改善戦略を考案する。
論文 参考訳（メタデータ） (2021-12-02T12:13:56Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z) - Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。
予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:18:25Z) - FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。
FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
論文 参考訳（メタデータ） (2020-12-15T18:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。