論文の概要: Spatial-Temporal Space Hand-in-Hand: Spatial-Temporal Video Super-Resolution via Cycle-Projected Mutual Learning

• arxiv url: http://arxiv.org/abs/2205.05264v1
• Date: Wed, 11 May 2022 04:30:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 19:36:09.173234
• Title: Spatial-Temporal Space Hand-in-Hand: Spatial-Temporal Video Super-Resolution via Cycle-Projected Mutual Learning
• Title（参考訳）: 時空間ハンドインハンド:周期計画型相互学習による時空間ビデオ超解法
• Authors: Mengshun Hu and Kui Jiang and Liang Liao and Jing Xiao and Junjun Jiang and Zheng Wang
• Abstract要約: 本稿では,ST-VSRのためのCycle-Projected Mutual Learning Network (CycMu-Net)を提案する。 CycMu-NetはS-VSRとT-VSRの相互学習を通じて空間的時間的相関をフル活用する。 我々の手法は最先端の手法を著しく上回っている。
• 参考スコア（独自算出の注目度）: 48.68503274323906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatial-Temporal Video Super-Resolution (ST-VSR) aims to generate super-resolved videos with higher resolution(HR) and higher frame rate (HFR). Quite intuitively, pioneering two-stage based methods complete ST-VSR by directly combining two sub-tasks: Spatial Video Super-Resolution (S-VSR) and Temporal Video Super-Resolution(T-VSR) but ignore the reciprocal relations among them. Specifically, 1) T-VSR to S-VSR: temporal correlations help accurate spatial detail representation with more clues; 2) S-VSR to T-VSR: abundant spatial information contributes to the refinement of temporal prediction. To this end, we propose a one-stage based Cycle-projected Mutual learning network (CycMu-Net) for ST-VSR, which makes full use of spatial-temporal correlations via the mutual learning between S-VSR and T-VSR. Specifically, we propose to exploit the mutual information among them via iterative up-and-down projections, where the spatial and temporal features are fully fused and distilled, helping the high-quality video reconstruction. Besides extensive experiments on benchmark datasets, we also compare our proposed CycMu-Net with S-VSR and T-VSR tasks, demonstrating that our method significantly outperforms state-of-the-art methods.
• Abstract（参考訳）: 時空間ビデオ超解法(ST-VSR)は高解像度(HR)と高フレームレート(HFR)の超解像ビデオを生成することを目的としている。 直感的には、S-VSR(Spatial Video Super-Resolution)とT-VSR(T-VSR)の2つのサブタスクを直接組み合わせてST-VSRを完成させるが、相互関係は無視する。 具体的には 1)T-VSRからS-VSR:時間的相関は、より深い手がかりを持つ正確な空間的詳細表現に役立つ。 2) S-VSR から T-VSR へ : 空間情報が豊富で時間的予測の洗練に寄与する。 そこで本研究では,S-VSR と T-VSR の相互学習を通じて空間時間相関をフル活用する,ST-VSR のための一段階型Cycle-Projected Mutual Learning Network (CycMu-Net) を提案する。 具体的には、空間的特徴と時間的特徴が完全に融合して蒸留され、高品質な映像再構成を支援する反復的上下投影による相互情報の利用を提案する。 ベンチマークデータセットに関する広範な実験に加えて,提案するcycmu-netをs-vsrおよびt-vsrタスクと比較し,提案手法が最先端手法を大幅に上回っていることを示す。

関連論文リスト

• Arbitrary-Scale Video Super-Resolution with Structural and Textural Priors [80.92195378575671]
  Arbitraスケール超解像(AVSR)の強いベースラインについて述べる。 次に、事前学習したVGGネットワークから計算したマルチスケールの構造とテクスチャをベースラインに組み込むことにより、ST-AVSRを導入する。 総合的な実験により、ST-AVSRは最先端技術よりも超解像品質、一般化能力、推論速度を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-07-13T15:27:39Z)
• Enhancing Perceptual Quality in Video Super-Resolution through Temporally-Consistent Detail Synthesis using Diffusion Models [17.570136632211693]
  本稿では,リアルタイムかつ時間的に一貫性のある細部を合成することにより,高画質映像の知覚品質を向上させるためのDMに基づくVSR手法であるStableVSRを提案する。 本稿では,既存のVSRの最先端手法と比較して,時間的整合性を向上しつつ,高画質映像の知覚品質を高める上でのStableVSRの有効性を実証する。
  論文  参考訳（メタデータ） (2023-11-27T15:14:38Z)
• Scale-Adaptive Feature Aggregation for Efficient Space-Time Video Super-Resolution [14.135298731079164]
  本稿では,個々のサンプルに対して異なる処理スケールのサブネットワークを適応的に選択する,SAFA(Scale-Adaptive Feature Aggregation)ネットワークを提案する。 我々のSAFAネットワークは,PSNRにおける平均0.5dB以上の改善により,TMNetやVideoINRといった最近の最先端手法よりも優れており,パラメータの半数未満と計算コストは1/3に満たない。
  論文  参考訳（メタデータ） (2023-10-26T10:18:51Z)
• You Only Align Once: Bidirectional Interaction for Spatial-Temporal Video Super-Resolution [14.624610700550754]
  そこで本研究では,ST-VSRの双方向相互作用を考慮した効率的なリカレントネットワークを提案する。 最初は未来から過去への後方推論を行い、その後、超解中間フレームへの前方推論を行う。 提案手法は, 最先端の手法よりも効率が良く, 計算コストを約22%削減する。
  論文  参考訳（メタデータ） (2022-07-13T17:01:16Z)
• VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution [75.79379734567604]
  ビデオインプリシットニューラル表現(Video Implicit Neural Representation, VideoINR)は任意の空間解像度とフレームレートの映像にデコード可能であることを示す。 本稿では,最新のSTVSR手法を用いて,一般的なアップサンプリングスケールにおいて,ビデオINRが競合性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-06-09T17:45:49Z)
• STDAN: Deformable Attention Network for Space-Time Video Super-Resolution [39.18399652834573]
  本稿では,STDAN と呼ばれる,STVSR のための変形可能なアテンションネットワークを提案する。 まず、より近隣の入力フレームから豊富なコンテンツを得ることができるLSTFI(long-short term feature)モジュールを考案する。 第2に,空間的・時間的文脈を適応的に捕捉・集約する時空間変形可能特徴集合(STDFA)モジュールを提案する。
  論文  参考訳（メタデータ） (2022-03-14T03:40:35Z)
• Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution [52.899234731501075]
  時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。 既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。 本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:21:30Z)
• BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond [75.62146968824682]
  ビデオ超解像(VSR)アプローチは、画像よりも多くのコンポーネントを持つ傾向がある。 高速化と回復性の向上を図った簡潔なパイプライン「BasicVSR」について述べる。
  論文  参考訳（メタデータ） (2020-12-03T18:56:14Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。