論文の概要: You Only Align Once: Bidirectional Interaction for Spatial-Temporal Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2207.06345v1
• Date: Wed, 13 Jul 2022 17:01:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 15:02:05.956997
• Title: You Only Align Once: Bidirectional Interaction for Spatial-Temporal Video Super-Resolution
• Title（参考訳）: 空間的時間的ビデオスーパーリゾリューションのための双方向インタラクション
• Authors: Mengshun Hu, Kui Jiang, Zhixiang Nie, Zheng Wang
• Abstract要約: そこで本研究では,ST-VSRの双方向相互作用を考慮した効率的なリカレントネットワークを提案する。 最初は未来から過去への後方推論を行い、その後、超解中間フレームへの前方推論を行う。 提案手法は, 最先端の手法よりも効率が良く, 計算コストを約22%削減する。
• 参考スコア（独自算出の注目度）: 14.624610700550754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatial-Temporal Video Super-Resolution (ST-VSR) technology generates high-quality videos with higher resolution and higher frame rates. Existing advanced methods accomplish ST-VSR tasks through the association of Spatial and Temporal video super-resolution (S-VSR and T-VSR). These methods require two alignments and fusions in S-VSR and T-VSR, which is obviously redundant and fails to sufficiently explore the information flow of consecutive spatial LR frames. Although bidirectional learning (future-to-past and past-to-future) was introduced to cover all input frames, the direct fusion of final predictions fails to sufficiently exploit intrinsic correlations of bidirectional motion learning and spatial information from all frames. We propose an effective yet efficient recurrent network with bidirectional interaction for ST-VSR, where only one alignment and fusion is needed. Specifically, it first performs backward inference from future to past, and then follows forward inference to super-resolve intermediate frames. The backward and forward inferences are assigned to learn structures and details to simplify the learning task with joint optimizations. Furthermore, a Hybrid Fusion Module (HFM) is designed to aggregate and distill information to refine spatial information and reconstruct high-quality video frames. Extensive experiments on two public datasets demonstrate that our method outperforms state-of-the-art methods in efficiency, and reduces calculation cost by about 22%.
• Abstract（参考訳）: 時空間ビデオ超解法(ST-VSR)技術は高解像度で高フレームレートで高品質なビデオを生成する。 S-VSRとT-VSR(S-VSRとT-VSR)を結合してST-VSRタスクを実現する。 これらの方法はS-VSRとT-VSRの2つのアライメントと融合を必要とするが、これは明らかに冗長であり、連続する空間LRフレームの情報フローを十分に探索することができない。 すべての入力フレームをカバーするために双方向学習(future-to-past and past-to-future)が導入されたが、最終的な予測の直接的融合は、全フレームからの双方向モーションラーニングと空間情報の本質的相関を十分に活用できない。 本稿では,ST-VSRの双方向相互作用を両立させる効果的な再帰的ネットワークを提案する。 具体的には、まず未来から過去までの後方推論を行い、続いて超解中間フレームへの前方推論を行う。 後方および前方の推論は、協調最適化により学習タスクを簡素化するために構造と詳細を学ぶために割り当てられる。 さらに,ハイブリット融合モジュール(hfm)は,情報を集約・蒸留し,空間情報を洗練し,高品質な映像フレームを再構築するように設計されている。 2つの公開データセットに関する広範囲な実験により、この手法が最先端の手法を効率良く上回り、計算コストを約22%削減できることが示されている。

関連論文リスト

• Arbitrary-Scale Video Super-Resolution with Structural and Textural Priors [80.92195378575671]
  Arbitraスケール超解像(AVSR)の強いベースラインについて述べる。 次に、事前学習したVGGネットワークから計算したマルチスケールの構造とテクスチャをベースラインに組み込むことにより、ST-AVSRを導入する。 総合的な実験により、ST-AVSRは最先端技術よりも超解像品質、一般化能力、推論速度を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-07-13T15:27:39Z)
• Continuous Space-Time Video Super-Resolution Utilizing Long-Range Temporal Information [48.20843501171717]
  本稿では,任意のフレームレートと空間解像度に変換可能な連続ST-VSR(CSTVSR)手法を提案する。 本稿では,提案アルゴリズムの柔軟性が向上し,各種データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-02-26T08:02:39Z)
• Spatial-Temporal Space Hand-in-Hand: Spatial-Temporal Video Super-Resolution via Cycle-Projected Mutual Learning [48.68503274323906]
  本稿では,ST-VSRのためのCycle-Projected Mutual Learning Network (CycMu-Net)を提案する。 CycMu-NetはS-VSRとT-VSRの相互学習を通じて空間的時間的相関をフル活用する。 我々の手法は最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-05-11T04:30:47Z)
• STDAN: Deformable Attention Network for Space-Time Video Super-Resolution [39.18399652834573]
  本稿では,STDAN と呼ばれる,STVSR のための変形可能なアテンションネットワークを提案する。 まず、より近隣の入力フレームから豊富なコンテンツを得ることができるLSTFI(long-short term feature)モジュールを考案する。 第2に,空間的・時間的文脈を適応的に捕捉・集約する時空間変形可能特徴集合(STDFA)モジュールを提案する。
  論文  参考訳（メタデータ） (2022-03-14T03:40:35Z)
• Fast Online Video Super-Resolution with Deformable Attention Pyramid [172.16491820970646]
  ビデオスーパーレゾリューション(VSR)には、ビデオストリーミングやテレビなど、厳格な因果性、リアルタイム、レイテンシの制約を課す多くのアプリケーションがある。 変形性アテンションピラミッド(DAP)に基づく繰り返しVSRアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-02-03T17:49:04Z)
• Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution [52.899234731501075]
  時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。 既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。 本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:21:30Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。