論文の概要: RealViformer: Investigating Attention for Real-World Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2407.13987v1
• Date: Fri, 19 Jul 2024 02:32:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 19:03:23.437333
• Title: RealViformer: Investigating Attention for Real-World Video Super-Resolution
• Title（参考訳）: RealViformer: 現実世界のスーパーリゾリューションに注意を喚起する
• Authors: Yuehan Zhang, Angela Yao,
• Abstract要約: 現実世界のビデオスーパーレゾリューション(VSR)では、ビデオはワイルドな劣化とアーティファクトに悩まされる。 本稿では,人工物がVSRの共分散に基づく注意機構に与える影響について検討する。 チャネルアテンションに基づくリアルタイムVSRフレームワークであるRealViformerを提案する。
• 参考スコア（独自算出の注目度）: 37.546746047196486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In real-world video super-resolution (VSR), videos suffer from in-the-wild degradations and artifacts. VSR methods, especially recurrent ones, tend to propagate artifacts over time in the real-world setting and are more vulnerable than image super-resolution. This paper investigates the influence of artifacts on commonly used covariance-based attention mechanisms in VSR. Comparing the widely-used spatial attention, which computes covariance over space, versus the channel attention, we observe that the latter is less sensitive to artifacts. However, channel attention leads to feature redundancy, as evidenced by the higher covariance among output channels. As such, we explore simple techniques such as the squeeze-excite mechanism and covariance-based rescaling to counter the effects of high channel covariance. Based on our findings, we propose RealViformer. This channel-attention-based real-world VSR framework surpasses state-of-the-art on two real-world VSR datasets with fewer parameters and faster runtimes. The source code is available at https://github.com/Yuehan717/RealViformer.
• Abstract（参考訳）: 現実世界のビデオスーパーレゾリューション(VSR)では、ビデオはワイルドな劣化とアーティファクトに悩まされる。 VSRの手法、特にリカレントな手法は、実世界の設定で時間をかけてアーティファクトを伝播する傾向があり、画像の超解像よりも脆弱である。 本稿では,人工物がVSRの共分散に基づく注意機構に与える影響について検討する。 空間上の共分散を計算する空間的注意とチャネル的注意を比べると、後者は人工物にはあまり敏感ではない。 しかし、チャネルの注意は、出力チャネル間の高い共分散によって証明されるように、特徴の冗長性につながる。 そこで我々は, 高チャネル共分散の影響に対抗するために, 圧縮励起機構や共分散に基づく再スケーリングなどの簡単な手法を探求する。 そこで本研究では,RealViformerを提案する。 このチャネルアテンションベースの実世界のVSRフレームワークは、パラメータが少なく、ランタイムが高速な2つの実世界のVSRデータセットの最先端を超越している。 ソースコードはhttps://github.com/Yuehan717/RealViformer.comで入手できる。

関連論文リスト

• NegVSR: Augmenting Negatives for Generalized Noise Modeling in Real-World Video Super-Resolution [12.103035018456566]
  理想的なデータセットから高解像度(HR)ビデオを合成するためのビデオ超解像(VSR)が多くの研究で実証されている。 VSRモデルを未知の複雑な劣化を伴う実世界のビデオに適用することは、依然として困難な課題である。 ビデオ超解法(NegVSR)課題における一般化ノイズモデリングのための負の強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-24T03:23:35Z)
• Learning Spatiotemporal Frequency-Transformer for Low-Quality Video Super-Resolution [47.5883522564362]
  Video Super-Resolution (VSR)は、高解像度(HR)ビデオを低解像度(LR)ビデオから復元することを目的としている。 既存のVSR技術は通常、近くのフレームから既知の劣化プロセスでテクスチャを抽出することでHRフレームを復元する。 本稿では,空間-時間-周波数領域の組み合わせで自己アテンションを行う低品質ビデオを扱うための新しい周波数変換器(FTVSR)を提案する。
  論文  参考訳（メタデータ） (2022-12-27T16:26:15Z)
• Benchmark Dataset and Effective Inter-Frame Alignment for Real-World Video Super-Resolution [65.20905703823965]
  ビデオ超解像(VSR)は、高解像度(HR)動画を低解像度(LR)ビデオから再構成することを目的としており、近年大きく進歩している。 既存のVSRメソッドを複雑な劣化を伴う実世界のデータにデプロイすることは依然として困難である。 EAVSRは、提案した多層適応空間変換ネットワーク(MultiAdaSTN)を用いて、事前学習した光フロー推定ネットワークが提供するオフセットを洗練する。
  論文  参考訳（メタデータ） (2022-12-10T17:41:46Z)
• Boosting Video Super Resolution with Patch-Based Temporal Redundancy Optimization [46.833568886576074]
  静止物体と背景を持つパッチにおける時間的冗長性の影響について論じる。 我々は,既存の局所的および非局所的伝搬型VSRアルゴリズムの性能向上のための,シンプルで効果的な2つのプラグアンドプレイ法を開発した。
  論文  参考訳（メタデータ） (2022-07-18T15:11:18Z)
• Investigating Tradeoffs in Real-World Video Super-Resolution [90.81396836308085]
  実世界のビデオ超解像(VSR)モデルは、一般化性を改善するために様々な劣化で訓練されることが多い。 最初のトレードオフを軽減するために,性能を犠牲にすることなく,最大40%のトレーニング時間を削減できる劣化手法を提案する。 そこで本研究では,多種多様な実世界の低品質映像系列を含むビデオLQデータセットを提案する。
  論文  参考訳（メタデータ） (2021-11-24T18:58:21Z)
• MuCAN: Multi-Correspondence Aggregation Network for Video Super-Resolution [63.02785017714131]
  ビデオ超解像(VSR)は、複数の低解像度フレームを使用して、各フレームに対して高解像度の予測を生成することを目的としている。 フレーム間およびフレーム内は、時間的および空間的情報を利用するための鍵となるソースである。 VSRのための効果的なマルチ対応アグリゲーションネットワーク(MuCAN)を構築した。
  論文  参考訳（メタデータ） (2020-07-23T05:41:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。