論文の概要: Mitigating Artifacts in Real-World Video Super-Resolution Models

• arxiv url: http://arxiv.org/abs/2212.07339v1
• Date: Wed, 14 Dec 2022 17:02:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 15:21:44.739371
• Title: Mitigating Artifacts in Real-World Video Super-Resolution Models
• Title（参考訳）: 実世界ビデオ超解像モデルにおけるアーチファクトの緩和
• Authors: Liangbin Xie, Xintao Wang, Shuwei Shi, Jinjin Gu, Chao Dong, Ying Shan
• Abstract要約: 超高解像度映像におけるアーティファクトを緩和するための隠れ状態注意(HSA)モジュールを提案する。 提案手法であるFastRealVSRは,Real-BasicVSRよりも性能が良く,2倍の高速化を実現している。
• 参考スコア（独自算出の注目度）: 33.01610786907146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recurrent structure is a prevalent framework for the task of video super-resolution, which models the temporal dependency between frames via hidden states. When applied to real-world scenarios with unknown and complex degradations, hidden states tend to contain unpleasant artifacts and propagate them to restored frames. In this circumstance, our analyses show that such artifacts can be largely alleviated when the hidden state is replaced with a cleaner counterpart. Based on the observations, we propose a Hidden State Attention (HSA) module to mitigate artifacts in real-world video super-resolution. Specifically, we first adopt various cheap filters to produce a hidden state pool. For example, Gaussian blur filters are for smoothing artifacts while sharpening filters are for enhancing details. To aggregate a new hidden state that contains fewer artifacts from the hidden state pool, we devise a Selective Cross Attention (SCA) module, in which the attention between input features and each hidden state is calculated. Equipped with HSA, our proposed method, namely FastRealVSR, is able to achieve 2x speedup while obtaining better performance than Real-BasicVSR. Codes will be available at https://github.com/TencentARC/FastRealVSR
• Abstract（参考訳）: リカレント構造は、隠れた状態を介してフレーム間の時間的依存性をモデル化するビデオスーパーレゾリューションタスクの一般的なフレームワークである。 未知の複雑な劣化を伴う現実世界のシナリオに適用すると、隠れた状態は不快なアーティファクトを含み、復元されたフレームに伝播する傾向がある。 このような状況下では,隠れた状態がよりクリーンな状態に置き換えられると,そのような成果物をほとんど軽減できることを示す。 本報告では,実世界の映像の高解像度化を実現するための隠れ状態注意(HSA)モジュールを提案する。 具体的には、まず様々な安価なフィルタを用いて隠れ状態プールを生成する。 例えば、ガウスのぼかしフィルターはアーティファクトの平滑化のためのものであり、シャープニングフィルタは詳細を強化するためのものである。 隠れた状態プールから少ないアーティファクトを含む新しい隠れた状態を集約するために、入力された特徴と隠れた状態との間の注意を計算する選択的クロスアテンション(sca)モジュールを考案する。 HSAを組み込んだ提案手法であるFastRealVSRは,Real-BasicVSRよりも高性能な2倍の高速化を実現する。 コードはhttps://github.com/TencentARC/FastRealVSRで入手できる。

関連論文リスト

• RealViformer: Investigating Attention for Real-World Video Super-Resolution [37.546746047196486]
  現実世界のビデオスーパーレゾリューション(VSR)では、ビデオはワイルドな劣化とアーティファクトに悩まされる。 本稿では,人工物がVSRの共分散に基づく注意機構に与える影響について検討する。 チャネルアテンションに基づくリアルタイムVSRフレームワークであるRealViformerを提案する。
  論文  参考訳（メタデータ） (2024-07-19T02:32:49Z)
• Video Infringement Detection via Feature Disentanglement and Mutual Information Maximization [51.206398602941405]
  本稿では,元の高次元特徴を複数のサブ機能に分解することを提案する。 歪んだサブ機能の上に,サブ機能を強化する補助的特徴を学習する。 提案手法は,大規模SVDデータセット上で90.1%のTOP-100 mAPを達成し,VCSLベンチマークデータセット上で新たな最先端を設定できる。
  論文  参考訳（メタデータ） (2023-09-13T10:53:12Z)
• AltFreezing for More General Video Face Forgery Detection [138.5732617371004]
  顔偽造検出のための1つのモデルにおいて,空間的および見えない時間的アーティファクトの両方をキャプチャすることを提案する。 より一般的な顔偽造検出のためのAltFreezingと呼ばれる新しいトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-17T08:24:58Z)
• VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution [75.79379734567604]
  ビデオインプリシットニューラル表現(Video Implicit Neural Representation, VideoINR)は任意の空間解像度とフレームレートの映像にデコード可能であることを示す。 本稿では,最新のSTVSR手法を用いて,一般的なアップサンプリングスケールにおいて,ビデオINRが競合性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-06-09T17:45:49Z)
• Pay Attention to Hidden States for Video Deblurring: Ping-Pong Recurrent Neural Networks and Selective Non-Local Attention [58.49075799159015]
  ビデオデブロアリングのためのRNNアーキテクチャを補完する2つのモジュールを提案する。 まず,隠蔽状態の更新を行うPing-Pong RNNの設計を行う。 次に、Selective Non-Local Attention(SNLA)モジュールを用いて、入力フレームの特徴からの位置情報と整列することで、隠れた状態をさらに洗練する。
  論文  参考訳（メタデータ） (2022-03-30T05:21:05Z)
• Stable Long-Term Recurrent Video Super-Resolution [0.45880283710344055]
  リプシッツ安定性理論に基づいて、安定かつ競争力のある再帰VSRネットワークの新たな枠組みを導入する。 本稿では,この枠組みに基づいて,MRVSR(Middle Recurrent Video Super-Resolution)と呼ばれる新たなリカレントVSRネットワークを提案する。
  論文  参考訳（メタデータ） (2021-12-16T15:12:52Z)
• Recursive Fusion and Deformable Spatiotemporal Attention for Video Compression Artifact Reduction [36.255863808004065]
  低品質圧縮ビデオから高品質な映像を復元するためのディープラーニングアルゴリズムが提案されている。 本稿では,長い時間範囲内での時間依存性をモデル化するための再帰核融合(RF)モジュールを提案する。 また,効率的な変形可能な時間的時間的注意(DSTA)モジュールを設計し,人工物に富む領域の復元により多くの労力を費やす。
  論文  参考訳（メタデータ） (2021-08-04T15:25:27Z)
• Context-Aware RCNN: A Baseline for Action Detection in Videos [66.16989365280938]
  まず、認識精度がアクターのバウンディングボックスサイズと高い相関関係があることを経験的に見出した。 我々はRCNNを再検討し、アクター周辺の画像パッチをトリミングおよびサイズ変更することでアクター中心のアクション認識を行う。 アクターバウンディングボックスを少し拡張し、コンテキスト機能を融合することで、パフォーマンスをさらに向上できることがわかった。
  論文  参考訳（メタデータ） (2020-07-20T03:11:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。