論文の概要: Arbitrary-Scale Video Super-Resolution with Structural and Textural Priors
- arxiv url: http://arxiv.org/abs/2407.09919v1
- Date: Sat, 13 Jul 2024 15:27:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 20:18:01.876572
- Title: Arbitrary-Scale Video Super-Resolution with Structural and Textural Priors
- Title（参考訳）: 構造とテクスチャを優先した任意スケールビデオ超解法
- Authors: Wei Shang, Dongwei Ren, Wanying Zhang, Yuming Fang, Wangmeng Zuo, Kede Ma,
- Abstract要約: Arbitraスケール超解像(AVSR)の強いベースラインについて述べる。
次に、事前学習したVGGネットワークから計算したマルチスケールの構造とテクスチャをベースラインに組み込むことにより、ST-AVSRを導入する。
総合的な実験により、ST-AVSRは最先端技術よりも超解像品質、一般化能力、推論速度を大幅に改善することが示された。
- 参考スコア（独自算出の注目度）: 80.92195378575671
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Arbitrary-scale video super-resolution (AVSR) aims to enhance the resolution of video frames, potentially at various scaling factors, which presents several challenges regarding spatial detail reproduction, temporal consistency, and computational complexity. In this paper, we first describe a strong baseline for AVSR by putting together three variants of elementary building blocks: 1) a flow-guided recurrent unit that aggregates spatiotemporal information from previous frames, 2) a flow-refined cross-attention unit that selects spatiotemporal information from future frames, and 3) a hyper-upsampling unit that generates scaleaware and content-independent upsampling kernels. We then introduce ST-AVSR by equipping our baseline with a multi-scale structural and textural prior computed from the pre-trained VGG network. This prior has proven effective in discriminating structure and texture across different locations and scales, which is beneficial for AVSR. Comprehensive experiments show that ST-AVSR significantly improves super-resolution quality, generalization ability, and inference speed over the state-of-theart. The code is available at https://github.com/shangwei5/ST-AVSR.
- Abstract（参考訳）: 任意スケールビデオ超解像(AVSR)は、ビデオフレームの解像度を高めることを目的としており、空間的詳細再生、時間的一貫性、計算複雑性に関するいくつかの課題を提起している。
本稿では,3種類の基本構造ブロックを組み立てることで,AVSRの強力なベースラインを最初に記述する。
1) 前フレームから時空間情報を集約する流路誘導リカレントユニット
2)将来のフレームから時空間情報を選択するフローリフィインクロスアテンションユニット、及び
3) スケールアウェアとコンテンツ非依存のアップサンプリングカーネルを生成するハイパーアップサンプリングユニット。
次に、事前学習したVGGネットワークから計算したマルチスケールの構造とテクスチャをベースラインに組み込むことにより、ST-AVSRを導入する。
この前者は、異なる場所やスケールで構造やテクスチャを識別するのに有効であることが証明されており、これはAVSRにとって有益である。
総合的な実験により、ST-AVSRは最先端技術よりも超解像品質、一般化能力、推論速度を大幅に改善することが示された。
コードはhttps://github.com/shangwei5/ST-AVSRで公開されている。
関連論文リスト
- You Only Align Once: Bidirectional Interaction for Spatial-Temporal
Video Super-Resolution [14.624610700550754]
そこで本研究では,ST-VSRの双方向相互作用を考慮した効率的なリカレントネットワークを提案する。
最初は未来から過去への後方推論を行い、その後、超解中間フレームへの前方推論を行う。
提案手法は, 最先端の手法よりも効率が良く, 計算コストを約22%削減する。
論文 参考訳（メタデータ） (2022-07-13T17:01:16Z) - A New Dataset and Transformer for Stereoscopic Video Super-Resolution [4.332879001008757]
ステレオビデオ超解像は高解像度映像を再構成することで低解像度の分解能を高めることを目的としている。
SVSRの主な課題は、立体的一貫性と時間的一貫性を維持することである。
本稿では,SVSR のトランスフォーマーモデル,すなわち Trans-SVSR を提案する。
論文 参考訳（メタデータ） (2022-04-21T11:49:29Z) - Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。
既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。
ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
論文 参考訳（メタデータ） (2022-04-08T03:37:39Z) - STDAN: Deformable Attention Network for Space-Time Video
Super-Resolution [39.18399652834573]
本稿では,STDAN と呼ばれる,STVSR のための変形可能なアテンションネットワークを提案する。
まず、より近隣の入力フレームから豊富なコンテンツを得ることができるLSTFI(long-short term feature)モジュールを考案する。
第2に,空間的・時間的文脈を適応的に捕捉・集約する時空間変形可能特徴集合(STDFA)モジュールを提案する。
論文 参考訳（メタデータ） (2022-03-14T03:40:35Z) - Fast Online Video Super-Resolution with Deformable Attention Pyramid [172.16491820970646]
ビデオスーパーレゾリューション(VSR)には、ビデオストリーミングやテレビなど、厳格な因果性、リアルタイム、レイテンシの制約を課す多くのアプリケーションがある。
変形性アテンションピラミッド(DAP)に基づく繰り返しVSRアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-02-03T17:49:04Z) - BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation
and Alignment [90.81396836308085]
我々は,伝播とアライメントの強化による再生フレームワークの強化により,映像情報をより効果的に活用できることを示す。
我々のモデルである BasicVSR++ は PSNR で BasicVSR を 0.82 dB で上回っている。
BasicVSR++は圧縮ビデオ強化などの他のビデオ復元タスクによく一般化される。
論文 参考訳（メタデータ） (2021-04-27T17:58:31Z) - BasicVSR: The Search for Essential Components in Video Super-Resolution
and Beyond [75.62146968824682]
ビデオ超解像(VSR)アプローチは、画像よりも多くのコンポーネントを持つ傾向がある。
高速化と回復性の向上を図った簡潔なパイプライン「BasicVSR」について述べる。
論文 参考訳（メタデータ） (2020-12-03T18:56:14Z) - Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video
Super-Resolution [95.26202278535543]
単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。
時間合成と空間超解像はこの課題に関係している。
LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-26T16:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。