論文の概要: FMA-Net: Flow-Guided Dynamic Filtering and Iterative Feature Refinement
with Multi-Attention for Joint Video Super-Resolution and Deblurring
- arxiv url: http://arxiv.org/abs/2401.03707v1
- Date: Mon, 8 Jan 2024 07:34:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 17:25:56.004954
- Title: FMA-Net: Flow-Guided Dynamic Filtering and Iterative Feature Refinement
with Multi-Attention for Joint Video Super-Resolution and Deblurring
- Title（参考訳）: fma-net: フロー誘導型動的フィルタリングとマルチアテンションによる反復的特徴改善によるビデオの高分解能化とデブラリング
- Authors: Geunhyuk Youk, Jihyong Oh, Munchurl Kim
- Abstract要約: 本稿では,高分解能ビデオと高分解能ビデオとの連成学習手法であるVSRDBを,ぼやけた低分解能ビデオから復元する手法を提案する。
本稿では,フロー誘導動的フィルタリング(FGDF)とマルチアテンション(FRMA)フレームワークを用いた反復的特徴改善を提案する。
- 参考スコア（独自算出の注目度）: 32.17300726159246
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a joint learning scheme of video super-resolution and deblurring,
called VSRDB, to restore clean high-resolution (HR) videos from blurry
low-resolution (LR) ones. This joint restoration problem has drawn much less
attention compared to single restoration problems. In this paper, we propose a
novel flow-guided dynamic filtering (FGDF) and iterative feature refinement
with multi-attention (FRMA), which constitutes our VSRDB framework, denoted as
FMA-Net. Specifically, our proposed FGDF enables precise estimation of both
spatio-temporally-variant degradation and restoration kernels that are aware of
motion trajectories through sophisticated motion representation learning.
Compared to conventional dynamic filtering, the FGDF enables the FMA-Net to
effectively handle large motions into the VSRDB. Additionally, the stacked FRMA
blocks trained with our novel temporal anchor (TA) loss, which temporally
anchors and sharpens features, refine features in a course-to-fine manner
through iterative updates. Extensive experiments demonstrate the superiority of
the proposed FMA-Net over state-of-the-art methods in terms of both
quantitative and qualitative quality. Codes and pre-trained models are
available at: https://kaist-viclab.github.io/fmanet-site
- Abstract（参考訳）: 本稿では,高分解能ビデオと高分解能ビデオとの連成学習手法であるVSRDBを,ぼやけた低分解能ビデオから復元する手法を提案する。
この共同修復問題は単一修復問題に比べてはるかに少ない注意を引いている。
本稿では,新しいフロー誘導型動的フィルタリング(fgdf)と,fma-net と呼ばれる vsrdb フレームワークを構成するマルチアテンション(frma)による反復的特徴改善を提案する。
特に,提案するfgdfは,高精度な運動表現学習によって運動軌跡を認識できる時空間変化劣化と復元核の両方を正確に推定することができる。
FGDFは従来の動的フィルタリングと比較して、FMA-NetがVSRDBへの大きな動きを効果的に処理できる。
さらに、新しい時間的アンカー(TA)損失で訓練されたFRMAブロックは、時間的アンカーを固定し、特徴を鋭くし、反復的な更新によって細かな特徴を洗練します。
拡張実験は、定量および定性的品質の両方の観点から、最先端手法よりも提案されたFMA-Netの方が優れていることを示す。
コードと事前訓練されたモデルは以下の通りである。
関連論文リスト
- DGTR: Distributed Gaussian Turbo-Reconstruction for Sparse-View Vast Scenes [81.56206845824572]
新規ビュー合成(NVS)アプローチは、広大なシーン再構築において重要な役割を担っている。
大規模な環境下では、復元の質が悪くなる場合が少なくない。
本稿では,スパース・ビュー・ワイド・シーンのための効率的なガウス再構成のための分散フレームワークであるDGTRを提案する。
論文 参考訳（メタデータ） (2024-11-19T07:51:44Z) - Fast Unsupervised Tensor Restoration via Low-rank Deconvolution [0.09208007322096533]
低ランクデコンボリューション(LRD)は、重要な効率性と柔軟性を持つ新しい多次元表現モデルとして現れている。
我々は、この分析モデルがDeep Image Prior(DIP)やBlind-Spot Networks(BSN)といったディープラーニング(DL)フレームワークと競合できるかどうかを自問する。
論文 参考訳（メタデータ） (2024-06-15T16:04:49Z) - Motion-adaptive Separable Collaborative Filters for Blind Motion Deblurring [71.60457491155451]
様々な動きによって生じる画像のぼかしを除去することは、難しい問題である。
本研究では,動き適応型分離型協調フィルタと呼ばれる実世界のデブロアリングフィルタモデルを提案する。
本手法は,実世界の動きのぼかし除去に有効な解法を提供し,最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-04-19T19:44:24Z) - Collaborative Feedback Discriminative Propagation for Video Super-Resolution [66.61201445650323]
ビデオ超解像法(VSR)の主な成功は、主に空間情報と時間情報を探索することに由来する。
不正確なアライメントは通常、重要なアーティファクトを備えたアライメント機能につながる。
伝搬モジュールは同じタイムステップ機能のみを前方または後方に伝播する。
論文 参考訳（メタデータ） (2024-04-06T22:08:20Z) - FRDiff : Feature Reuse for Universal Training-free Acceleration of Diffusion Models [16.940023904740585]
拡散モデルに固有の時間的冗長性を活用する高度な加速手法を提案する。
時間的類似度の高い特徴マップの再利用は、出力品質を損なうことなく計算資源を節約する新たな機会を開く。
論文 参考訳（メタデータ） (2023-12-06T14:24:26Z) - Motion-Guided Latent Diffusion for Temporally Consistent Real-world Video Super-resolution [15.197746480157651]
本稿では,事前学習した潜伏拡散モデルの強度を利用した実世界のVSRアルゴリズムを提案する。
我々は、LRビデオの時間的ダイナミクスを利用して、動作誘導損失で潜時サンプリング経路を最適化することにより拡散過程を導出する。
動作誘導潜在拡散に基づくVSRアルゴリズムは、実世界のVSRベンチマークデータセットの最先端技術よりも、知覚品質が大幅に向上する。
論文 参考訳（メタデータ） (2023-12-01T14:40:07Z) - RBSR: Efficient and Flexible Recurrent Network for Burst
Super-Resolution [57.98314517861539]
バースト超解像(BurstSR)は、高解像度(HR)画像を低解像度(LR)画像と雑音画像から再構成することを目的としている。
本稿では,効率よくフレキシブルなリカレントネットワークでフレーム単位のキューを融合させることを提案する。
論文 参考訳（メタデータ） (2023-06-30T12:14:13Z) - Panini-Net: GAN Prior Based Degradation-Aware Feature Interpolation for
Face Restoration [4.244692655670362]
Panini-Netは、顔修復のための劣化認識機能ネットワークである。
抽象表現を学び、様々な劣化を区別する。
マルチ劣化顔復元と超解像のための最先端性能を実現する。
論文 参考訳（メタデータ） (2022-03-16T07:41:07Z) - MuCAN: Multi-Correspondence Aggregation Network for Video
Super-Resolution [63.02785017714131]
ビデオ超解像(VSR)は、複数の低解像度フレームを使用して、各フレームに対して高解像度の予測を生成することを目的としている。
フレーム間およびフレーム内は、時間的および空間的情報を利用するための鍵となるソースである。
VSRのための効果的なマルチ対応アグリゲーションネットワーク(MuCAN)を構築した。
論文 参考訳（メタデータ） (2020-07-23T05:41:27Z) - Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。
本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
論文 参考訳（メタデータ） (2020-02-15T13:14:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。