論文の概要: Learning Spatio-Temporal Downsampling for Effective Video Upscaling
- arxiv url: http://arxiv.org/abs/2203.08140v1
- Date: Tue, 15 Mar 2022 17:59:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-16 15:37:13.354838
- Title: Learning Spatio-Temporal Downsampling for Effective Video Upscaling
- Title（参考訳）: 効果的なビデオアップスケーリングのための時空間ダウンサンプリングの学習
- Authors: Xiaoyu Xiang, Yapeng Tian, Vijay Rengarajan, Lucas Young, Bo Zhu,
Rakesh Ranjan
- Abstract要約: 本稿では,時空間ダウンサンプリングとアップサンプリングを学習することで,時空間エイリアス問題を解決することを目的とする。
我々のフレームワークは、任意のビデオリサンプリング、ぼやけたフレーム再構築、効率的なビデオストレージなど、様々なアプリケーションを可能にする。
- 参考スコア（独自算出の注目度）: 20.07194339353278
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Downsampling is one of the most basic image processing operations. Improper
spatio-temporal downsampling applied on videos can cause aliasing issues such
as moir\'e patterns in space and the wagon-wheel effect in time. Consequently,
the inverse task of upscaling a low-resolution, low frame-rate video in space
and time becomes a challenging ill-posed problem due to information loss and
aliasing artifacts. In this paper, we aim to solve the space-time aliasing
problem by learning a spatio-temporal downsampler. Towards this goal, we
propose a neural network framework that jointly learns spatio-temporal
downsampling and upsampling. It enables the downsampler to retain the key
patterns of the original video and maximizes the reconstruction performance of
the upsampler. To make the downsamping results compatible with popular image
and video storage formats, the downsampling results are encoded to uint8 with a
differentiable quantization layer. To fully utilize the space-time
correspondences, we propose two novel modules for explicit temporal propagation
and space-time feature rearrangement. Experimental results show that our
proposed method significantly boosts the space-time reconstruction quality by
preserving spatial textures and motion patterns in both downsampling and
upscaling. Moreover, our framework enables a variety of applications, including
arbitrary video resampling, blurry frame reconstruction, and efficient video
storage.
- Abstract（参考訳）: ダウンサンプリングは最も基本的な画像処理操作の1つである。
ビデオに印加される不適切な時空間ダウンサンプリングは、空間におけるモワーイパターンや時間におけるワゴンホイール効果などのエイリアス問題を引き起こす。
その結果,低解像度で低フレームレートの映像を空間と時間でアップスケールする逆タスクは,情報損失やアーティファクトのエイリアスなどによる問題となる。
本稿では時空間ダウンサンプラーを学習することで時空間エイリアス問題を解決することを目的とする。
この目標に向けて,時空間ダウンサンプリングとアップサンプリングを共同で学習するニューラルネットワークフレームワークを提案する。
これにより、ダウンサンプラーはオリジナルのビデオのキーパターンを保持でき、アップサンプラーの復元性能を最大化できる。
ダウンサンプリング結果を一般的な画像およびビデオストレージフォーマットと互換性を持たせるため、ダウンサンプリング結果は微分可能な量子化層でuint8に符号化される。
時空間対応を十分に活用するために,時空間伝搬と時空間特徴再構成のための2つの新しいモジュールを提案する。
実験の結果,提案手法は,ダウンサンプリングとアップスケーリングの両方において空間テクスチャと動きパターンを保ち,時空間復元の質を著しく向上させることがわかった。
さらに,任意のビデオサンプリング,ぼやけたフレーム再構成,効率的なビデオストレージなど,さまざまなアプリケーションを実現する。
関連論文リスト
- You Can Ground Earlier than See: An Effective and Efficient Pipeline for
Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。
それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。
本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
論文 参考訳（メタデータ） (2023-03-14T12:53:27Z) - Towards Interpretable Video Super-Resolution via Alternating
Optimization [115.85296325037565]
低フレームのぼかしビデオから高フレームの高解像度のシャープビデオを生成することを目的とした実時間ビデオ超解法(STVSR)問題について検討する。
本稿では,モデルベースと学習ベースの両方の手法を用いて,解釈可能なSTVSRフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-21T21:34:05Z) - Spatial-Temporal Residual Aggregation for High Resolution Video
Inpainting [14.035620730770528]
最近の学習ベースの塗装アルゴリズムは、望ましくない物体をビデオから取り除いた後に、欠落した領域を完了させることで、説得力のある結果を得た。
STRA-Netは,高分解能ビデオインペイントのための新しい空間時間残差集約フレームワークである。
定量的および定性的な評価は、高解像度ビデオの現像方法よりも、時間的コヒーレントで視覚的に魅力的な結果が得られることを示している。
論文 参考訳（メタデータ） (2021-11-05T15:50:31Z) - Efficient Space-time Video Super Resolution using Low-Resolution Flow
and Mask Upsampling [12.856102293479486]
本稿では,低解像度・低フレームレート映像から高解像度スローモーション映像を生成することを目的とする。
シンプルなソリューションは、Video Super ResolutionとVideo Frameモデルの連続実行です。
我々のモデルは軽量であり、REDS STSR検証セットの最先端モデルよりも性能が良い。
論文 参考訳（メタデータ） (2021-04-12T19:11:57Z) - ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。
特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。
提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
論文 参考訳（メタデータ） (2021-03-07T04:33:13Z) - Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。
予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:18:25Z) - Learning Spatial and Spatio-Temporal Pixel Aggregations for Image and
Video Denoising [104.59305271099967]
ピクセル集計ネットワークを提示し、画像デノイジングのためのピクセルサンプリングと平均戦略を学びます。
時間空間にまたがるサンプル画素をビデオデノナイズするための画素集約ネットワークを開発した。
本手法は,動的シーンにおける大きな動きに起因する誤認問題を解決することができる。
論文 参考訳（メタデータ） (2021-01-26T13:00:46Z) - Across Scales & Across Dimensions: Temporal Super-Resolution using Deep
Internal Learning [11.658606722158517]
我々は、低フレームの入力ビデオから直接抽出した例に基づいて、ビデオ固有のCNNを訓練する。
提案手法は,単一ビデオシーケンス内の小さな時空間パッチの強い再帰性を利用する。
ビデオフレームの高解像度化は、そのビデオの時間分解能を高めるための強力な例を提供する。
論文 参考訳（メタデータ） (2020-03-19T15:53:01Z) - Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video
Super-Resolution [95.26202278535543]
単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。
時間合成と空間超解像はこの課題に関係している。
LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-26T16:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。