論文の概要: DeMFI: Deep Joint Deblurring and Multi-Frame Interpolation with Flow-Guided Attentive Correlation and Recursive Boosting

• arxiv url: http://arxiv.org/abs/2111.09985v1
• Date: Fri, 19 Nov 2021 00:00:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-22 16:07:06.850384
• Title: DeMFI: Deep Joint Deblurring and Multi-Frame Interpolation with Flow-Guided Attentive Correlation and Recursive Boosting
• Title（参考訳）: demfi:フローガイド付き注意相関と再帰的ブースティングによる深部継手デブラリングとマルチフレーム補間
• Authors: Jihyong Oh, Munchurl Kim
• Abstract要約: DeMFI-Netは、共同でデブロアリングとマルチフレームのフレームワークである。 低フレームレートのぼやけたビデオを高フレームレートでシャープなビデオに変換する。 多様なデータセットに対して、最先端(SOTA)のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 50.17500790309477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel joint deblurring and multi-frame interpolation (DeMFI) framework, called DeMFI-Net, which accurately converts blurry videos of lower-frame-rate to sharp videos at higher-frame-rate based on flow-guided attentive-correlation-based feature bolstering (FAC-FB) module and recursive boosting (RB), in terms of multi-frame interpolation (MFI). The DeMFI-Net jointly performs deblurring and MFI where its baseline version performs feature-flow-based warping with FAC-FB module to obtain a sharp-interpolated frame as well to deblur two center-input frames. Moreover, its extended version further improves the joint task performance based on pixel-flow-based warping with GRU-based RB. Our FAC-FB module effectively gathers the distributed blurry pixel information over blurry input frames in feature-domain to improve the overall joint performances, which is computationally efficient since its attentive correlation is only focused pointwise. As a result, our DeMFI-Net achieves state-of-the-art (SOTA) performances for diverse datasets with significant margins compared to the recent SOTA methods, for both deblurring and MFI. All source codes including pretrained DeMFI-Net are publicly available at https://github.com/JihyongOh/DeMFI.
• Abstract（参考訳）: 本稿では,低フレームレートのぼやけたビデオから高フレームレートのシャープなビデオに,フロー誘導の注意-相関に基づく特徴ボルスターリング (FAC-FB) モジュールと再帰的ブースティング (RB) を多フレーム補間 (MFI) の観点から正確に変換する,DeMFI(DeMFI) フレームワークを提案する。 DeMFI-Netは、そのベースラインバージョンがFAC-FBモジュールで特徴フローベースのワープを実行し、シャープな補間フレームと2つのセンターインプットフレームを得る。 さらに、拡張バージョンでは、GRUベースのRBを用いた画素フローベースのワープに基づくジョイントタスク性能が向上している。 我々のFAC-FBモジュールは,特徴領域内のぼやけた入力フレーム上に分散したぼやけた画素情報を効果的に収集し,全体的な関節性能を改善する。 その結果,私たちのDeMFI-Netは,最近のSOTA法と比較して,多種多様なデータセットに対する最先端(SOTA)性能を実現している。 事前トレーニングされたDeMFI-Netを含むすべてのソースコードはhttps://github.com/JihyongOh/DeMFIで公開されている。

関連論文リスト

• Local-to-Global Cross-Modal Attention-Aware Fusion for HSI-X Semantic Segmentation [19.461033552684576]
  HSI-X分類のためのローカル・グローバル・クロスモーダル・アテンション・アウェア・フュージョン(LoGoCAF)フレームワークを提案する。 LoGoCAFは、HSIとXのモダリティから情報を学ぶために、ピクセルからピクセルまでのセマンティックセマンティックセマンティックセマンティクスアーキテクチャを採用している。
  論文  参考訳（メタデータ） (2024-06-25T16:12:20Z)
• P-MSDiff: Parallel Multi-Scale Diffusion for Remote Sensing Image Segmentation [8.46409964236009]
  拡散モデルとマルチスケール機能はセグメンテーションタスクにおいて不可欠な要素である。 並列なマルチスケール分岐を持つ拡散モデルとして知られるセマンティックセグメンテーションの新しいモデルを提案する。 我々のモデルは、UAVidとVayhingen Buildingのデータセットに基づいて、J1測定値に基づいて、優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-05-30T19:40:08Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• Video Frame Interpolation with Region-Distinguishable Priors from SAM [19.350313166180747]
  領域識別可能な先駆体(RDP)は空間変化のガウス混合体として表される。 階層的領域対応機能融合モジュール(HRFFM)は、VFIエンコーダの様々な階層的な段階に組み込まれている。 実験により、RFFMは様々な場面で連続的にVFI性能を向上させることが示された。
  論文  参考訳（メタデータ） (2023-12-26T03:27:30Z)
• Video Frame Interpolation with Many-to-many Splatting and Spatial Selective Refinement [83.60486465697318]
  本稿では,フレームを効率的に補間するM2Mスプレイティングフレームワークを提案する。 入力フレームペアごとに、M2Mは任意の数のフレーム間を補間する際の計算オーバーヘッドが極小である。 フレキシブルな空間選択リファインメント(Spatial Selective Refinement)コンポーネントを導入して,M2M++フレームワークを拡張した。
  論文  参考訳（メタデータ） (2023-10-29T09:09:32Z)
• AMT: All-Pairs Multi-Field Transforms for Efficient Frame Interpolation [80.33846577924363]
  ビデオフレームギスブのための新しいネットワークアーキテクチャであるAMT(All-Pairs Multi-Field Transforms)を提案する。 まず、すべての画素に対して双方向のボリュームを構築し、予測された両側フローを用いて相関関係を検索する。 第2に、入力フレーム上で逆向きのワープを行うために、一対の更新された粗い流れから細粒度の流れ場の複数のグループを導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:18:47Z)
• FDAN: Flow-guided Deformable Alignment Network for Video Super-Resolution [12.844337773258678]
  変形可能なコンボリューションに光流を統合するために,フロー誘導変形モジュール (FDM) を提案する。 FDANは、2つのベンチマークデータセットで最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2021-05-12T13:18:36Z)
• Deep Multimodal Fusion by Channel Exchanging [87.40768169300898]
  本稿では,異なるモードのサブネットワーク間で動的にチャネルを交換するパラメータフリーマルチモーダル融合フレームワークを提案する。 このような交換プロセスの有効性は、畳み込みフィルタを共有してもBN層をモダリティで分離しておくことで保証される。
  論文  参考訳（メタデータ） (2020-11-10T09:53:20Z)
• FPCR-Net: Feature Pyramidal Correlation and Residual Reconstruction for Optical Flow Estimation [72.41370576242116]
  フレーム対からの光フロー推定のための半教師付き特徴ピラミッド相関・残留再構成ネットワーク(FPCR-Net)を提案する。 ピラミッド相関マッピングと残留再構成の2つの主要なモジュールで構成されている。 実験結果から,提案手法は,平均終点誤差 (AEE) に対して0.80, 1.15, 0.10の改善を達成し,最先端性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2020-01-17T07:13:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。