論文の概要: Memory-Augmented Non-Local Attention for Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2108.11048v1
• Date: Wed, 25 Aug 2021 05:12:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-26 20:17:56.518139
• Title: Memory-Augmented Non-Local Attention for Video Super-Resolution
• Title（参考訳）: ビデオ超解像のためのメモリ拡張非局所注意法
• Authors: Jiyang Yu, Jingen Liu, Liefeng Bo, Tao Mei
• Abstract要約: 低解像度(LR)ビデオから高忠実度高解像度(HR)ビデオを生成するための新しいビデオ超解法を提案する。 従来の方法は、主に時間的隣のフレームを利用して、現在のフレームの超解像を支援する。 対照的に、フレームアライメントなしでビデオの超解像を可能にするクロスフレーム非局所アテンション機構を考案する。
• 参考スコア（独自算出の注目度）: 61.55700315062226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a novel video super-resolution method that aims at generating high-fidelity high-resolution (HR) videos from low-resolution (LR) ones. Previous methods predominantly leverage temporal neighbor frames to assist the super-resolution of the current frame. Those methods achieve limited performance as they suffer from the challenge in spatial frame alignment and the lack of useful information from similar LR neighbor frames. In contrast, we devise a cross-frame non-local attention mechanism that allows video super-resolution without frame alignment, leading to be more robust to large motions in the video. In addition, to acquire the information beyond neighbor frames, we design a novel memory-augmented attention module to memorize general video details during the super-resolution training. Experimental results indicate that our method can achieve superior performance on large motion videos comparing to the state-of-the-art methods without aligning frames. Our source code will be released.
• Abstract（参考訳）: 本稿では,低解像度(LR)ビデオから高解像度高解像度(HR)ビデオを生成するための新しいビデオ超解法を提案する。 従来の方法は、主に時間的隣接フレームを利用して、現在のフレームの超解像を支援する。 これらの手法は、空間的フレームアライメントの課題や、類似のLR隣接フレームからの有用な情報の欠如に悩まされているため、限られた性能を達成する。 対照的に、フレームアライメントなしでビデオの超高解像度化を可能にするクロスフレーム非局所アテンション機構を考案し、ビデオの大きな動きに対してより堅牢になる。 さらに, 隣接フレーム以外の情報を取得するために, 超高解像度トレーニング中に一般的な映像を記憶するためのメモリ拡張アテンションモジュールを設計する。 実験結果から,本手法はフレームの整列を伴わずに,最先端の手法と比較してより優れた性能が得られることが示された。 ソースコードはリリースされます。

関連論文リスト

• Aggregating Long-term Sharp Features via Hybrid Transformers for Video Deblurring [76.54162653678871]
  本稿では,特徴集約のためのハイブリッドトランスフォーマーを用いて,隣接するフレームとシャープフレームの両方を活用するビデオデブロアリング手法を提案する。 提案手法は,定量的な計測値と視覚的品質の観点から,最先端のビデオデブロアリング法,およびイベント駆動ビデオデブロアリング法より優れる。
  論文  参考訳（メタデータ） (2023-09-13T16:12:11Z)
• SATVSR: Scenario Adaptive Transformer for Cross Scenarios Video Super-Resolution [0.0]
  Video Super-Resolutionは、高解像度(HR)フレームのシーケンスを低解像度(LR)フレームから復元することを目的としている。 従来は、主に時間的に隣接したフレームを使用して、ターゲットフレームの再構築を支援していた。 我々は,新しい適応シナリオビデオ超解法を考案した。具体的には,光流を用いて各映像フレームのパッチをラベル付けし,同一ラベルでパッチの注意を計算し,その中の最も関連性の高いラベルを選択して,対象フレームの時空間情報を補足する。
  論文  参考訳（メタデータ） (2022-11-16T06:30:13Z)
• VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution [75.79379734567604]
  ビデオインプリシットニューラル表現(Video Implicit Neural Representation, VideoINR)は任意の空間解像度とフレームレートの映像にデコード可能であることを示す。 本稿では,最新のSTVSR手法を用いて,一般的なアップサンプリングスケールにおいて,ビデオINRが競合性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-06-09T17:45:49Z)
• Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
  ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。 既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。 ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:39Z)
• Video Super-Resolution with Long-Term Self-Exemplars [38.81851816697984]
  本稿では,長期的クロススケールアグリゲーションを用いたビデオ超解像法を提案する。 我々のモデルは、類似したパッチから派生した機能を融合するマルチ参照アライメントモジュールも構成している。 提案手法を評価するため,収集したCarCamデータセットとオープンデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-06-24T06:07:13Z)
• Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video Super-Resolution [100.11355888909102]
  時空ビデオ超解像度は低解像度(LR)と低フレームレート(LFR)ビデオシーケンスから高解像度(HR)スローモーションビデオを生成することを目的としている。 入力LRおよびLFRビデオから直接HRスローモーション映像シーケンスを再構成できる一段階の時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-15T17:59:23Z)
• Video Super-Resolution with Recurrent Structure-Detail Network [120.1149614834813]
  ほとんどのビデオ超解像法は、時間的スライディングウィンドウ内の隣接するフレームの助けを借りて単一の参照フレームを超解する。 本稿では,従来のフレームを有効かつ効率的に利用し,現行のフレームを超解する新しいビデオ超解法を提案する。
  論文  参考訳（メタデータ） (2020-08-02T11:01:19Z)
• Deep Slow Motion Video Reconstruction with Hybrid Imaging System [12.340049542098148]
  現在の技術は、難題では有効でない線形物体の動きを仮定することにより、フレームを通して標準映像のフレームレートを増大させる。 本稿では,アライメントと外観推定を組み合わせた2段階のディープラーニングシステムを提案する。 我々は、合成合成ハイブリッドビデオでモデルをトレーニングし、様々なテストシーンで高品質な結果を示す。
  論文  参考訳（メタデータ） (2020-02-27T14:18:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。