論文の概要: ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring
- arxiv url: http://arxiv.org/abs/2103.04260v1
- Date: Sun, 7 Mar 2021 04:33:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-10 14:33:21.826421
- Title: ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring
- Title（参考訳）: ARVo:ビデオデブリのための全行ボリューム対応学習
- Authors: Dongxu Li, Chenchen Xu, Kaihao Zhang, Xin Yu, Yiran Zhong, Wenqi Ren,
Hanna Suominen, Hongdong Li
- Abstract要約: ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。
特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。
提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
- 参考スコア（独自算出の注目度）: 92.40655035360729
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video deblurring models exploit consecutive frames to remove blurs from
camera shakes and object motions. In order to utilize neighboring sharp
patches, typical methods rely mainly on homography or optical flows to
spatially align neighboring blurry frames. However, such explicit approaches
are less effective in the presence of fast motions with large pixel
displacements. In this work, we propose a novel implicit method to learn
spatial correspondence among blurry frames in the feature space. To construct
distant pixel correspondences, our model builds a correlation volume pyramid
among all the pixel-pairs between neighboring frames. To enhance the features
of the reference frame, we design a correlative aggregation module that
maximizes the pixel-pair correlations with its neighbors based on the volume
pyramid. Finally, we feed the aggregated features into a reconstruction module
to obtain the restored frame. We design a generative adversarial paradigm to
optimize the model progressively. Our proposed method is evaluated on the
widely-adopted DVD dataset, along with a newly collected High-Frame-Rate (1000
fps) Dataset for Video Deblurring (HFR-DVD). Quantitative and qualitative
experiments show that our model performs favorably on both datasets against
previous state-of-the-art methods, confirming the benefit of modeling all-range
spatial correspondence for video deblurring.
- Abstract（参考訳）: ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。
隣接するシャープパッチを利用するために、典型的な手法は主にホモグラフィや光学フローに依存し、隣接するぼやけたフレームを空間的に整列させる。
しかし、そのような明示的なアプローチは、大きなピクセル変位を持つ高速な動きの存在において効果が低い。
本研究では,特徴空間におけるぼやけたフレーム間の空間対応を学習する新しい暗黙的手法を提案する。
遠方画素対応を構築するために, 隣接フレーム間のすべての画素対間の相関体積ピラミッドを構築する。
参照フレームの特徴を高めるために,ボリュームピラミッドに基づいて,近傍とのピクセルペア相関を最大化する相関アグリゲーションモジュールを設計した。
最後に,集約された特徴を復元モジュールに供給し,復元されたフレームを得る。
我々は,モデルを漸進的に最適化するための生成的逆パラダイムを設計する。
提案手法は,ビデオデブロアリング用高フレームレート(1000fps)データセット(HFR-DVD)とともに,広く採用されているDVDデータセットを用いて評価する。
定量的および定性的な実験は、従来の最先端の手法に対する両方のデータセットで好適に動作し、ビデオデブレーションのための全範囲空間対応のモデリングの利点を確認することを示しています。
関連論文リスト
- Adapting Image-to-Video Diffusion Models for Large-Motion Frame Interpolation [0.0]
本研究では,大動フレームに対して映像間モデルを適用するために設計された条件付きエンコーダを提案する。
性能向上のために,デュアルブランチ特徴抽出器を統合し,クロスフレームアテンション機構を提案する。
提案手法は,他の最先端手法と比較して,Fr'teche Video Distance測定において優れた性能を示す。
論文 参考訳（メタデータ） (2024-12-22T14:49:55Z) - Motion-Aware Video Frame Interpolation [49.49668436390514]
我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
論文 参考訳（メタデータ） (2024-02-05T11:00:14Z) - Aggregating Nearest Sharp Features via Hybrid Transformers for Video Deblurring [70.06559269075352]
本稿では,隣接するフレームと既存のシャープフレームの両方を特徴集約のためにハイブリッドトランスフォーマーを用いて活用するビデオデブロアリング手法を提案する。
検出されたシャープフレームから最も近いシャープ特徴を集約するために,マルチスケールマッチング機能を備えたグローバルトランスを利用する。
提案手法は,定量的な計測値と視覚的品質の観点から,最先端のビデオデブロアリング法,およびイベント駆動ビデオデブロアリング法より優れる。
論文 参考訳（メタデータ） (2023-09-13T16:12:11Z) - PDWN: Pyramid Deformable Warping Network for Video Interpolation [11.62213584807003]
Pyramid Deformable Warping Network (PDWN) と呼ばれる軽量かつ効果的なモデルを提案する。
PDWNはピラミッド構造を使用して、既知のフレームに関して未知の中間フレームのDConvオフセットを生成します。
提案手法は,複数のデータセットの最先端モデルと比較して精度が向上する。
論文 参考訳（メタデータ） (2021-04-04T02:08:57Z) - Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。
予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:18:25Z) - FineNet: Frame Interpolation and Enhancement for Face Video Deblurring [18.49184807837449]
この作品の目的は、顔のビデオを破壊することです。
本稿では,(1)ぼやけたフレームの強化,(2)ぼやけたフレームを欠落した値として扱い,目的によって見積もる方法を提案する。
3つの実および合成ビデオデータセットを用いた実験により,本手法が従来の最先端手法よりも定量的および質的結果において大きな差を示した。
論文 参考訳（メタデータ） (2021-03-01T09:47:16Z) - ALANET: Adaptive Latent Attention Network forJoint Video Deblurring and
Interpolation [38.52446103418748]
シャープな高フレームレート映像を合成する新しいアーキテクチャであるAdaptive Latent Attention Network (ALANET)を導入する。
我々は,各フレームに最適化された表現を生成するために,潜在空間内の連続するフレーム間で自己アテンションと相互アテンションのモジュールを組み合わせる。
本手法は, より困難な問題に取り組みながら, 様々な最先端手法に対して良好に機能する。
論文 参考訳（メタデータ） (2020-08-31T21:11:53Z) - All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced
Motion Modeling [52.425236515695914]
最先端の手法は、一度に1つのフレームを補間する反復解である。
この研究は、真のマルチフレーム補間子を導入している。
時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
論文 参考訳（メタデータ） (2020-07-23T02:34:39Z) - Blurry Video Frame Interpolation [57.77512131536132]
本稿では,ぼやけた動きとアップコンバートのフレームレートを同時に低減する,ぼやけたビデオフレーム手法を提案する。
具体的には、透明な中間フレームを循環的に合成するピラミッドモジュールを開発する。
我々の手法は最先端の手法に対して好適に機能する。
論文 参考訳（メタデータ） (2020-02-27T17:00:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。