論文の概要: SATVSR: Scenario Adaptive Transformer for Cross Scenarios Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2211.08703v1
• Date: Wed, 16 Nov 2022 06:30:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 15:31:21.767816
• Title: SATVSR: Scenario Adaptive Transformer for Cross Scenarios Video Super-Resolution
• Title（参考訳）: satvsr: クロスシナリオビデオ超解像のためのシナリオ適応トランスフォーマ
• Authors: Yongjie Chen, Tieru Wu
• Abstract要約: Video Super-Resolutionは、高解像度(HR)フレームのシーケンスを低解像度(LR)フレームから復元することを目的としている。 従来は、主に時間的に隣接したフレームを使用して、ターゲットフレームの再構築を支援していた。 我々は,新しい適応シナリオビデオ超解法を考案した。具体的には,光流を用いて各映像フレームのパッチをラベル付けし,同一ラベルでパッチの注意を計算し,その中の最も関連性の高いラベルを選択して,対象フレームの時空間情報を補足する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video Super-Resolution (VSR) aims to recover sequences of high-resolution (HR) frames from low-resolution (LR) frames. Previous methods mainly utilize temporally adjacent frames to assist the reconstruction of target frames. However, in the real world, there is a lot of irrelevant information in adjacent frames of videos with fast scene switching, these VSR methods cannot adaptively distinguish and select useful information. In contrast, with a transformer structure suitable for temporal tasks, we devise a novel adaptive scenario video super-resolution method. Specifically, we use optical flow to label the patches in each video frame, only calculate the attention of patches with the same label. Then select the most relevant label among them to supplement the spatial-temporal information of the target frame. This design can directly make the supplementary information come from the same scene as much as possible. We further propose a cross-scale feature aggregation module to better handle the scale variation problem. Compared with other video super-resolution methods, our method not only achieves significant performance gains on single-scene videos but also has better robustness on cross-scene datasets.
• Abstract（参考訳）: Video Super-Resolution (VSR)は、高解像度(HR)フレームのシーケンスを低解像度(LR)フレームから復元することを目的としている。 従来の方法は、主に時間的に隣接したフレームを使用して、ターゲットフレームの再構築を支援する。 しかし、実世界では、高速なシーン切替を伴うビデオの隣接フレームには無関係な情報が多数存在するため、これらのVSR手法は有効な情報を適応的に識別・選択することはできない。 対照的に, 時間的タスクに適した変圧器構造を用いて, 適応型映像超解像法を考案する。 具体的には、各ビデオフレームのパッチに光フローをラベル付けし、同じラベルでパッチの注意を計算します。 次に、最も関連性の高いラベルを選択して、対象フレームの時空間情報を補完する。 この設計では、追加情報を可能な限り同じシーンから直接得ることができる。 さらに,スケール変動問題を解決するために,クロススケール機能集約モジュールを提案する。 他の超解像法と比較して,本手法はシングルシーン映像の性能向上だけでなく,クロスシーンデータセットの堅牢性も向上する。

関連論文リスト

• Aggregating Long-term Sharp Features via Hybrid Transformers for Video Deblurring [76.54162653678871]
  本稿では,特徴集約のためのハイブリッドトランスフォーマーを用いて,隣接するフレームとシャープフレームの両方を活用するビデオデブロアリング手法を提案する。 提案手法は,定量的な計測値と視覚的品質の観点から,最先端のビデオデブロアリング法,およびイベント駆動ビデオデブロアリング法より優れる。
  論文  参考訳（メタデータ） (2023-09-13T16:12:11Z)
• Continuous Space-Time Video Super-Resolution Utilizing Long-Range Temporal Information [48.20843501171717]
  本稿では,任意のフレームレートと空間解像度に変換可能な連続ST-VSR(CSTVSR)手法を提案する。 本稿では,提案アルゴリズムの柔軟性が向上し,各種データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-02-26T08:02:39Z)
• E-VFIA : Event-Based Video Frame Interpolation with Attention [8.93294761619288]
  軽量カーネルベース手法として,注目度の高いイベントベースビデオフレーム(E-VFIA)を提案する。 E-VFIAは、イベント情報を変形可能な畳み込みによって標準的なビデオフレームと融合し、高品質な補間フレームを生成する。 提案手法は、時間分解能の高いイベントを表現し、イベントベース情報をよりよくエンコードするためにマルチヘッド自己保持機構を使用する。
  論文  参考訳（メタデータ） (2022-09-19T21:40:32Z)
• Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
  ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。 既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。 ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:39Z)
• VRT: A Video Restoration Transformer [126.79589717404863]
  ビデオ復元(例:ビデオ超解像度)は、高品質のフレームを低品質のフレームから復元することを目的としている。 並列フレーム予測と長距離時間依存性モデリング機能を備えたビデオ再生変換器(VRT)を提案する。
  論文  参考訳（メタデータ） (2022-01-28T17:54:43Z)
• Flow-Guided Sparse Transformer for Video Deblurring [124.11022871999423]
  FlowGuided Sparse Transformer (F GST) はビデオデブリのためのフレームワークである。 FGSW-MSAは、推定光流のガイダンスを楽しみ、隣り合うフレームの同じシーンパッチに対応する、空間的にスパースな要素を世界中にサンプリングする。 提案するFGSTは,DVDおよびGOPROデータセットの最先端パッチよりも優れており,実際のビデオの劣化に対して,より視覚的に満足な結果が得られる。
  論文  参考訳（メタデータ） (2022-01-06T02:05:32Z)
• Memory-Augmented Non-Local Attention for Video Super-Resolution [61.55700315062226]
  低解像度(LR)ビデオから高忠実度高解像度(HR)ビデオを生成するための新しいビデオ超解法を提案する。 従来の方法は、主に時間的隣のフレームを利用して、現在のフレームの超解像を支援する。 対照的に、フレームアライメントなしでビデオの超解像を可能にするクロスフレーム非局所アテンション機構を考案する。
  論文  参考訳（メタデータ） (2021-08-25T05:12:14Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。