論文の概要: Large Motion Video Super-Resolution with Dual Subnet and Multi-Stage Communicated Upsampling

• arxiv url: http://arxiv.org/abs/2103.11744v1
• Date: Mon, 22 Mar 2021 11:52:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-23 14:58:17.655246
• Title: Large Motion Video Super-Resolution with Dual Subnet and Multi-Stage Communicated Upsampling
• Title（参考訳）: Dual SubnetとMulti-Stage Communicated Upsamplingを用いた大動画像超解像
• Authors: Hongying Liu, Peng Zhao, Zhubo Ruan, Fanhua Shang, and Yuanyuan Liu
• Abstract要約: ビデオ超解像(VSR)は、低解像度(LR)でビデオを復元し、高解像度(HR)に改善することを目的としている。 本稿では,2重サブネットと多段通信アップサンプリング(dsmc)を用いた,大規模動画の超高解像度化のための深層ニューラルネットワークを提案する。
• 参考スコア（独自算出の注目度）: 18.09730129484432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video super-resolution (VSR) aims at restoring a video in low-resolution (LR) and improving it to higher-resolution (HR). Due to the characteristics of video tasks, it is very important that motion information among frames should be well concerned, summarized and utilized for guidance in a VSR algorithm. Especially, when a video contains large motion, conventional methods easily bring incoherent results or artifacts. In this paper, we propose a novel deep neural network with Dual Subnet and Multi-stage Communicated Upsampling (DSMC) for super-resolution of videos with large motion. We design a new module named U-shaped residual dense network with 3D convolution (U3D-RDN) for fine implicit motion estimation and motion compensation (MEMC) as well as coarse spatial feature extraction. And we present a new Multi-Stage Communicated Upsampling (MSCU) module to make full use of the intermediate results of upsampling for guiding the VSR. Moreover, a novel dual subnet is devised to aid the training of our DSMC, whose dual loss helps to reduce the solution space as well as enhance the generalization ability. Our experimental results confirm that our method achieves superior performance on videos with large motion compared to state-of-the-art methods.
• Abstract（参考訳）: video super- resolution (vsr) は低解像度 (lr) のビデオの復元と高解像度 (hr) への改善を目的としている。 ビデオタスクの特徴から,vsrアルゴリズムにおいて,フレーム間の動作情報を十分に考慮し,要約し,指導するために活用することが重要である。 特に、動画が大きな動きを含む場合、従来の手法は、一貫性のない結果やアーティファクトを容易にもたらします。 本稿では,2重サブネットと多段通信アップサンプリング(dsmc)を用いた,大規模動画の超高解像度化のための深層ニューラルネットワークを提案する。 我々は,3次元畳み込み (U3D-RDN) を用いたU字状高密度ネットワークを設計し, 暗黙的な動き推定と動き補償 (MEMC) と粗い空間特徴抽出を行う。 そして、vsrを誘導するアップサンプリングの中間結果をフル活用するために、新しいマルチステージ通信アップサンプリング(mscu)モジュールを提案する。 さらに、DSMCのトレーニングを支援するために、新たな双対サブネットが考案され、二重損失は解空間の低減と一般化能力の向上に寄与する。 実験結果から,本手法は最先端の手法と比較して大きな動作の動画に対して優れた性能を達成できることを確認した。

関連論文リスト

• Correlation Matching Transformation Transformers for UHD Image Restoration [46.569124456928535]
  本稿では,UHD画像復元のための汎用変換器を提案する。 UHDformerには、(a)高分解能空間での学習と(b)低分解能空間での学習の2つの学習空間がある。 実験の結果、UHDformerは最先端の手法と比較して約97%のモデルサイズを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-06-02T06:10:48Z)
• Scale-Adaptive Feature Aggregation for Efficient Space-Time Video Super-Resolution [14.135298731079164]
  本稿では,個々のサンプルに対して異なる処理スケールのサブネットワークを適応的に選択する,SAFA(Scale-Adaptive Feature Aggregation)ネットワークを提案する。 我々のSAFAネットワークは,PSNRにおける平均0.5dB以上の改善により,TMNetやVideoINRといった最近の最先端手法よりも優れており,パラメータの半数未満と計算コストは1/3に満たない。
  論文  参考訳（メタデータ） (2023-10-26T10:18:51Z)
• Can SAM Boost Video Super-Resolution? [78.29033914169025]
  単純な有効モジュールであるSAM-guidEd refinEment Module (SEEM)を提案する。 この軽量プラグインモジュールは、セマンティック・アウェア機能の生成にアテンションメカニズムを活用するように設計されている。 我々はSEEMをEDVRとBasicVSRの2つの代表的手法に適用し、最小限の実装労力で継続的に性能を向上する。
  論文  参考訳（メタデータ） (2023-05-11T02:02:53Z)
• Efficient Unsupervised Video Object Segmentation Network Based on Motion Guidance [1.5736899098702974]
  本稿では,モーションガイダンスに基づく映像オブジェクト分割ネットワークを提案する。 モデルは、デュアルストリームネットワーク、モーションガイダンスモジュール、マルチスケールプログレッシブフュージョンモジュールを含む。 実験により,提案手法の優れた性能が証明された。
  論文  参考訳（メタデータ） (2022-11-10T06:13:23Z)
• Towards Interpretable Video Super-Resolution via Alternating Optimization [115.85296325037565]
  低フレームのぼかしビデオから高フレームの高解像度のシャープビデオを生成することを目的とした実時間ビデオ超解法(STVSR)問題について検討する。 本稿では,モデルベースと学習ベースの両方の手法を用いて,解釈可能なSTVSRフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-21T21:34:05Z)
• SALISA: Saliency-based Input Sampling for Efficient Video Object Detection [58.22508131162269]
  ビデオオブジェクト検出のための新しい一様SALiencyベースの入力SAmpling技術であるSALISAを提案する。 SALISAは小物体の検出を著しく改善することを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:59:51Z)
• Full-Duplex Strategy for Video Object Segmentation [141.43983376262815]
  Full- Strategy Network (FSNet)はビデオオブジェクトセグメンテーション(VOS)のための新しいフレームワークである 我々のFSNetは、融合復号ステージの前に、クロスモーダルな機能パス(すなわち、送信と受信)を同時に実行します。 我々のFSNetは、VOSとビデオの有能なオブジェクト検出タスクの両方において、他の最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-06T14:50:50Z)
• Revisiting Temporal Modeling for Video Super-resolution [47.90584361677039]
  ビデオ超解像のための3つの時間的モデリング手法(初期核融合2次元CNN、低核融合3次元CNN、リカレントニューラルネットワーク)について検討・比較を行った。 また,Recurrent Residual Network (RRN) を提案し,RNNのトレーニングの安定化を図る。
  論文  参考訳（メタデータ） (2020-08-13T09:09:37Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)
• Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
  深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。 本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
  論文  参考訳（メタデータ） (2020-02-15T13:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。