論文の概要: Temporal Modulation Network for Controllable Space-Time Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2104.10642v1
• Date: Wed, 21 Apr 2021 17:10:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 14:23:03.157745
• Title: Temporal Modulation Network for Controllable Space-Time Video Super-Resolution
• Title（参考訳）: 制御可能な時空間ビデオ超解像のための時間変調ネットワーク
• Authors: Gang Xu and Jun Xu and Zhen Li and Liang Wang and Xing Sun and Ming-Ming Cheng
• Abstract要約: 宇宙時間のビデオ超解像度は、低解像度と低フレームレートのビデオの空間的および時間的解像度を高めることを目指しています。 変形性畳み込み法は、有望なSTVSR性能を達成したが、トレーニング段階で事前に定義された中間フレームのみを推測することができた。 本稿では,任意の中間フレームを高精度な高分解能再構成で補間する時間変調ネットワーク(tmnet)を提案する。
• 参考スコア（独自算出の注目度）: 66.06549492893947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Space-time video super-resolution (STVSR) aims to increase the spatial and temporal resolutions of low-resolution and low-frame-rate videos. Recently, deformable convolution based methods have achieved promising STVSR performance, but they could only infer the intermediate frame pre-defined in the training stage. Besides, these methods undervalued the short-term motion cues among adjacent frames. In this paper, we propose a Temporal Modulation Network (TMNet) to interpolate arbitrary intermediate frame(s) with accurate high-resolution reconstruction. Specifically, we propose a Temporal Modulation Block (TMB) to modulate deformable convolution kernels for controllable feature interpolation. To well exploit the temporal information, we propose a Locally-temporal Feature Comparison (LFC) module, along with the Bi-directional Deformable ConvLSTM, to extract short-term and long-term motion cues in videos. Experiments on three benchmark datasets demonstrate that our TMNet outperforms previous STVSR methods. The code is available at https://github.com/CS-GangXu/TMNet.
• Abstract（参考訳）: 時空ビデオスーパーレゾリューション(STVSR)は、低解像度および低フレームレートのビデオの空間的および時間的解像度を高めることを目的としている。 近年, 変形可能な畳み込み法により, STVSRの性能が期待できるが, トレーニング段階で事前に定義された中間フレームのみを推測できる。 また,これらの手法は,隣接フレーム間の短期動作の手がかりを過小評価した。 本稿では,任意の中間フレームを高精度な高分解能再構成で補間する時間変調ネットワーク(tmnet)を提案する。 具体的には,制御可能な特徴補間のために,変形可能な畳み込み核を変調する時間変調ブロック(tmb)を提案する。 時間的情報をうまく活用するために,両方向変形可能なConvLSTMとともにLFCモジュールを提案し,ビデオ中の短期的・長期的な動きの手がかりを抽出する。 3つのベンチマークデータセットの実験により、我々のTMNetは以前のSTVSR法より優れていることが示された。 コードはhttps://github.com/CS-GangXu/TMNetで公開されている。

関連論文リスト

• Global Spatial-Temporal Information-based Residual ConvLSTM for Video Space-Time Super-Resolution [29.74501891293423]
  我々は、時空ビデオ超解像、すなわちGIRNetのための畳み込みニューラルネットワーク(CNN)を提案する。 高精度な特徴を生成するため,提案ネットワークは,特徴レベル時間モジュールと変形可能な畳み込みと,大域空間時空間情報に基づく残差畳み込み長短期記憶(convLSTM)を統合した。 Vimeo90Kデータセットの実験により,提案手法は,STARnet,TMNet,3DAttGAN上でのピーク信号対雑音比(1.45dB,1.14dB,0.02dB)において,最先端技術よりも優れていた。
  論文  参考訳（メタデータ） (2024-07-11T13:01:44Z)
• Continuous Space-Time Video Super-Resolution Utilizing Long-Range Temporal Information [48.20843501171717]
  本稿では,任意のフレームレートと空間解像度に変換可能な連続ST-VSR(CSTVSR)手法を提案する。 本稿では,提案アルゴリズムの柔軟性が向上し,各種データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-02-26T08:02:39Z)
• Neighbor Correspondence Matching for Flow-based Video Frame Synthesis [90.14161060260012]
  フローベースフレーム合成のための近傍対応マッチング(NCM)アルゴリズムを提案する。 NCMは現在のフレームに依存しない方法で実行され、各ピクセルの時空間近傍でマルチスケールの対応を確立する。 粗いスケールのモジュールは、近隣の対応を利用して大きな動きを捉えるように設計されている。
  論文  参考訳（メタデータ） (2022-07-14T09:17:00Z)
• RSTT: Real-time Spatial Temporal Transformer for Space-Time Video Super-Resolution [13.089535703790425]
  時空ビデオ超解像(STVSR)は、低フレームレート(LFR)と低解像度(LR)の両方でビデオを補間し、高フレームレート(HFR)と高解像度(HR)の両方を生成するタスクである。 本研究では,空間的・時間的超分解能モジュールを単一モデルに自然に組み込む空間時間変換器を提案する。
  論文  参考訳（メタデータ） (2022-03-27T02:16:26Z)
• STDAN: Deformable Attention Network for Space-Time Video Super-Resolution [39.18399652834573]
  本稿では,STDAN と呼ばれる,STVSR のための変形可能なアテンションネットワークを提案する。 まず、より近隣の入力フレームから豊富なコンテンツを得ることができるLSTFI(long-short term feature)モジュールを考案する。 第2に,空間的・時間的文脈を適応的に捕捉・集約する時空間変形可能特徴集合(STDFA)モジュールを提案する。
  論文  参考訳（メタデータ） (2022-03-14T03:40:35Z)
• Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution [52.899234731501075]
  時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。 既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。 本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:21:30Z)
• Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video Super-Resolution [100.11355888909102]
  時空ビデオ超解像度は低解像度(LR)と低フレームレート(LFR)ビデオシーケンスから高解像度(HR)スローモーションビデオを生成することを目的としている。 入力LRおよびLFRビデオから直接HRスローモーション映像シーケンスを再構成できる一段階の時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-15T17:59:23Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。