論文の概要: Space-Time-Aware Multi-Resolution Video Enhancement
- arxiv url: http://arxiv.org/abs/2003.13170v1
- Date: Mon, 30 Mar 2020 00:33:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 07:46:23.198407
- Title: Space-Time-Aware Multi-Resolution Video Enhancement
- Title(参考訳): 時空間対応マルチレゾリューション映像エンハンスメント
- Authors: Muhammad Haris, Greg Shakhnarovich, Norimichi Ukita
- Abstract要約: STARnetと呼ばれる提案されたモデルは、空間と時間で共同で解決される。
また,STARnetは,空間,空間,時間的ビデオの高解像度化を,公開データセットのかなりのマージンで実現していることを示す。
- 参考スコア(独自算出の注目度): 25.90440000711309
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of space-time super-resolution (ST-SR): increasing
spatial resolution of video frames and simultaneously interpolating frames to
increase the frame rate. Modern approaches handle these axes one at a time. In
contrast, our proposed model called STARnet super-resolves jointly in space and
time. This allows us to leverage mutually informative relationships between
time and space: higher resolution can provide more detailed information about
motion, and higher frame-rate can provide better pixel alignment. The
components of our model that generate latent low- and high-resolution
representations during ST-SR can be used to finetune a specialized mechanism
for just spatial or just temporal super-resolution. Experimental results
demonstrate that STARnet improves the performances of space-time, spatial, and
temporal video super-resolution by substantial margins on publicly available
datasets.
- Abstract(参考訳): ビデオフレームの空間分解能の向上とフレームの補間を同時に行うことでフレームレートを向上する時空間超解像(ST-SR)の問題を考える。
現代のアプローチは、これらの軸を1つずつ扱う。
対照的に、提案したSTARnetと呼ばれるモデルは、空間と時間で共同で解決する。
これにより、時間と空間間の相互に情報的関係を活用できる。高解像度はより詳細な動き情報を提供し、高フレームレートはより優れたピクセルアライメントを提供する。
ST-SR中の低分解能・高分解能表現を生成するモデルのコンポーネントは、空間的あるいは時間的超解像のみのための特別なメカニズムを微調整するために使用できる。
実験の結果,STARnetは空間,空間,時間的ビデオの高解像度化を,公開データセットのかなりのマージンで実現していることがわかった。
関連論文リスト
- Continuous Space-Time Video Super-Resolution Utilizing Long-Range
Temporal Information [48.20843501171717]
本稿では,任意のフレームレートと空間解像度に変換可能な連続ST-VSR(CSTVSR)手法を提案する。
本稿では,提案アルゴリズムの柔軟性が向上し,各種データセットの性能が向上することを示す。
論文 参考訳(メタデータ) (2023-02-26T08:02:39Z) - Enhancing Space-time Video Super-resolution via Spatial-temporal Feature
Interaction [9.456643513690633]
時空ビデオ超解像(STVSR)の目的は、ビデオのフレームレートと空間解像度の両方を増加させることである。
近年のアプローチでは、エンドツーエンドのディープニューラルネットワークを用いてSTVSRを解く。
本研究では,空間的・時間的相関を利用してSTVSRを強化する空間的・時間的特徴相互作用ネットワークを提案する。
論文 参考訳(メタデータ) (2022-07-18T22:10:57Z) - VideoINR: Learning Video Implicit Neural Representation for Continuous
Space-Time Super-Resolution [75.79379734567604]
ビデオインプリシットニューラル表現(Video Implicit Neural Representation, VideoINR)は任意の空間解像度とフレームレートの映像にデコード可能であることを示す。
本稿では,最新のSTVSR手法を用いて,一般的なアップサンプリングスケールにおいて,ビデオINRが競合性能を発揮することを示す。
論文 参考訳(メタデータ) (2022-06-09T17:45:49Z) - STDAN: Deformable Attention Network for Space-Time Video
Super-Resolution [39.18399652834573]
本稿では,STDAN と呼ばれる,STVSR のための変形可能なアテンションネットワークを提案する。
まず、より近隣の入力フレームから豊富なコンテンツを得ることができるLSTFI(long-short term feature)モジュールを考案する。
第2に,空間的・時間的文脈を適応的に捕捉・集約する時空間変形可能特徴集合(STDFA)モジュールを提案する。
論文 参考訳(メタデータ) (2022-03-14T03:40:35Z) - MEGAN: Memory Enhanced Graph Attention Network for Space-Time Video
Super-Resolution [8.111645835455658]
時空ビデオスーパー解像度(STVSR)は、対応する低フレームレートの低解像度ビデオシーケンスから高解像度ビデオシーケンスを構築することを目的としている。
近年の時空超解像における時空間情報の考察の成功に触発されて,本研究の主な目的は空間的・時空間的相関を十分に考慮することである。
論文 参考訳(メタデータ) (2021-10-28T17:37:07Z) - Memory-Augmented Non-Local Attention for Video Super-Resolution [61.55700315062226]
低解像度(LR)ビデオから高忠実度高解像度(HR)ビデオを生成するための新しいビデオ超解法を提案する。
従来の方法は、主に時間的隣のフレームを利用して、現在のフレームの超解像を支援する。
対照的に、フレームアライメントなしでビデオの超解像を可能にするクロスフレーム非局所アテンション機構を考案する。
論文 参考訳(メタデータ) (2021-08-25T05:12:14Z) - Temporal Modulation Network for Controllable Space-Time Video
Super-Resolution [66.06549492893947]
宇宙時間のビデオ超解像度は、低解像度と低フレームレートのビデオの空間的および時間的解像度を高めることを目指しています。
変形性畳み込み法は、有望なSTVSR性能を達成したが、トレーニング段階で事前に定義された中間フレームのみを推測することができた。
本稿では,任意の中間フレームを高精度な高分解能再構成で補間する時間変調ネットワーク(tmnet)を提案する。
論文 参考訳(メタデータ) (2021-04-21T17:10:53Z) - Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video
Super-Resolution [100.11355888909102]
時空ビデオ超解像度は低解像度(LR)と低フレームレート(LFR)ビデオシーケンスから高解像度(HR)スローモーションビデオを生成することを目的としている。
入力LRおよびLFRビデオから直接HRスローモーション映像シーケンスを再構成できる一段階の時空間ビデオ超解像フレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-15T17:59:23Z) - Efficient Space-time Video Super Resolution using Low-Resolution Flow
and Mask Upsampling [12.856102293479486]
本稿では,低解像度・低フレームレート映像から高解像度スローモーション映像を生成することを目的とする。
シンプルなソリューションは、Video Super ResolutionとVideo Frameモデルの連続実行です。
我々のモデルは軽量であり、REDS STSR検証セットの最先端モデルよりも性能が良い。
論文 参考訳(メタデータ) (2021-04-12T19:11:57Z) - Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video
Super-Resolution [95.26202278535543]
単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。
時間合成と空間超解像はこの課題に関係している。
LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-26T16:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。