論文の概要: Motion-blurred Video Interpolation and Extrapolation
- arxiv url: http://arxiv.org/abs/2103.02984v1
- Date: Thu, 4 Mar 2021 12:18:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-07 16:39:56.967413
- Title: Motion-blurred Video Interpolation and Extrapolation
- Title（参考訳）: モーションブルービデオ補間と外挿
- Authors: Dawit Mureja Argaw, Junsik Kim, Francois Rameau, In So Kweon
- Abstract要約: 本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。
予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
- 参考スコア（独自算出の注目度）: 72.3254384191509
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Abrupt motion of camera or objects in a scene result in a blurry video, and
therefore recovering high quality video requires two types of enhancements:
visual enhancement and temporal upsampling. A broad range of research attempted
to recover clean frames from blurred image sequences or temporally upsample
frames by interpolation, yet there are very limited studies handling both
problems jointly. In this work, we present a novel framework for deblurring,
interpolating and extrapolating sharp frames from a motion-blurred video in an
end-to-end manner. We design our framework by first learning the pixel-level
motion that caused the blur from the given inputs via optical flow estimation
and then predict multiple clean frames by warping the decoded features with the
estimated flows. To ensure temporal coherence across predicted frames and
address potential temporal ambiguity, we propose a simple, yet effective
flow-based rule. The effectiveness and favorability of our approach are
highlighted through extensive qualitative and quantitative evaluations on
motion-blurred datasets from high speed videos.
- Abstract（参考訳）: シーン内のカメラやオブジェクトの突然の動作はぼやけたビデオになるため、高品質なビデオの復元には2つのタイプの強化が必要である。
広い範囲の研究により、ぼやけた画像列や時間的にアップサンプルフレームからクリーンフレームを補間する方法が試みられたが、両者を共同で扱う研究は非常に限られている。
そこで本研究では,映像から鮮明なフレームをエンド・ツー・エンドで切り離し,補間し,外挿する新しいフレームワークを提案する。
まず,入力のぼやけを引き起こした画素レベルの動きを光学的流れ推定によって学習し,デコードされた特徴を推定フローで反動させることで,複数のクリーンフレームを予測した。
予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
提案手法の有効性と好適性は,高速ビデオからの動色データセットの質的,定量的な評価を通じて強調される。
関連論文リスト
- CMTA: Cross-Modal Temporal Alignment for Event-guided Video Deblurring [44.30048301161034]
ビデオデブロアリングは、隣接するビデオフレームから情報を集めることで、モーションレッドビデオの復元結果の品質を高めることを目的としている。
1) フレーム内機能拡張は, 単一のぼやけたフレームの露出時間内で動作し, 2) フレーム間時間的特徴アライメントは, 重要な長期時間情報を対象のフレームに収集する。
提案手法は, 合成および実世界のデブロアリングデータセットを用いた広範囲な実験により, 最先端のフレームベースおよびイベントベース動作デブロアリング法より優れていることを示す。
論文 参考訳（メタデータ） (2024-08-27T10:09:17Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳（メタデータ） (2023-03-27T09:43:42Z) - Efficient Video Deblurring Guided by Motion Magnitude [37.25713728458234]
本稿では,MMP(Motion magnitude prior)を高効率なディープビデオデブロアリングのためのガイダンスとして利用する新しいフレームワークを提案する。
MMPは、空間的および時間的ボケレベル情報の両方で構成されており、ビデオデブロアリングのための効率的なリカレントニューラルネットワーク(RNN)にさらに統合することができる。
論文 参考訳（メタデータ） (2022-07-27T08:57:48Z) - Unifying Motion Deblurring and Frame Interpolation with Events [11.173687810873433]
フレームベースのカメラのスローシャッター速度と長時間露光は、しばしばフレーム間の情報の視覚的曖昧さと損失を引き起こし、キャプチャされたビデオの全体的な品質を劣化させる。
イベントの極めて低レイテンシを利用して、動きのぼやけを緩和し、中間フレーム予測を容易にする、ぼやけたビデオ強調のためのイベントベースモーションデブロアリングとフレーム拡張の統一フレームワークを提案する。
ぼやけたフレーム,潜入画像,イベントストリーム間の相互制約を探索することにより,実世界のぼやけたビデオやイベントによるネットワークトレーニングを可能にする,自己教師付き学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-03-23T03:43:12Z) - Video Frame Interpolation without Temporal Priors [91.04877640089053]
ビデオフレームは、既存の中間フレームをビデオシーケンスで合成することを目的としている。
フレーム/秒(FPS)やフレーム露光時間といったビデオの時間的先行は、異なるカメラセンサーによって異なる場合がある。
我々は、より良い合成結果を得るために、新しい光フロー改善戦略を考案する。
論文 参考訳（メタデータ） (2021-12-02T12:13:56Z) - Recurrent Video Deblurring with Blur-Invariant Motion Estimation and
Pixel Volumes [14.384467317051831]
本稿では,複数のビデオフレームから情報を効果的に集約することで,映像をブルーリングする2つの新しい手法を提案する。
まず、ぼやけたフレーム間の動き推定精度を向上させるために、ぼやけた不変な動き推定学習を提案する。
第二に、動き補正のために、推定した動きを歪ませてフレームを整列する代わりに、被写体がシャープな画素を含む画素体積を用いて、動き推定誤差を解消する。
論文 参考訳（メタデータ） (2021-08-23T07:36:49Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z) - Restoration of Video Frames from a Single Blurred Image with Motion
Understanding [69.90724075337194]
単一モーション赤画像からクリーンな映像フレームを生成するための新しいフレームワークを提案する。
一つのぼやけた画像からの映像復元を逆問題として、クリーンな画像シーケンスとそれぞれの動きを潜伏要因として設定する。
提案手法は,空間トランスフォーマネットワークモジュールを用いたanblur-decoder構造に基づいている。
論文 参考訳（メタデータ） (2021-04-19T08:32:57Z) - FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。
FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
論文 参考訳（メタデータ） (2020-12-15T18:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。