論文の概要: FDAN: Flow-guided Deformable Alignment Network for Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2105.05640v1
• Date: Wed, 12 May 2021 13:18:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-13 12:21:20.185212
• Title: FDAN: Flow-guided Deformable Alignment Network for Video Super-Resolution
• Title（参考訳）: FDAN:ビデオスーパーリゾリューションのためのフロー誘導型変形性アライメントネットワーク
• Authors: Jiayi Lin, Yan Huang, Liang Wang
• Abstract要約: 変形可能なコンボリューションに光流を統合するために,フロー誘導変形モジュール (FDM) を提案する。 FDANは、2つのベンチマークデータセットで最先端のパフォーマンスに達する。
• 参考スコア（独自算出の注目度）: 12.844337773258678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most Video Super-Resolution (VSR) methods enhance a video reference frame by aligning its neighboring frames and mining information on these frames. Recently, deformable alignment has drawn extensive attention in VSR community for its remarkable performance, which can adaptively align neighboring frames with the reference one. However, we experimentally find that deformable alignment methods still suffer from fast motion due to locally loss-driven offset prediction and lack explicit motion constraints. Hence, we propose a Matching-based Flow Estimation (MFE) module to conduct global semantic feature matching and estimate optical flow as coarse offset for each location. And a Flow-guided Deformable Module (FDM) is proposed to integrate optical flow into deformable convolution. The FDM uses the optical flow to warp the neighboring frames at first. And then, the warped neighboring frames and the reference one are used to predict a set of fine offsets for each coarse offset. In general, we propose an end-to-end deep network called Flow-guided Deformable Alignment Network (FDAN), which reaches the state-of-the-art performance on two benchmark datasets while is still competitive in computation and memory consumption.
• Abstract（参考訳）: ビデオ超解法(VSR)のほとんどの手法は、隣接するフレームとこれらのフレームのマイニング情報を整列することで、ビデオ参照フレームを強化する。 近年, 変形可能なアライメントは, 隣接するフレームと参照フレームを適応的にアライメントできる, 顕著な性能のために, VSRコミュニティで広く注目を集めている。 しかし, 局所的損失駆動オフセット予測と明示的な動作制約の欠如により, 変形可能なアライメント手法はいまだに高速動作に苦しむことが実験的に判明した。 そこで我々は,MFE(Matching-based Flow Estimation)モジュールを提案し,グローバルな意味的特徴マッチングを行い,各位置の粗いオフセットとして光フローを推定する。 また, 変形可能な畳み込みに光学フローを統合するために, fdm (flow-guided deformable module) を提案する。 FDMは、光学フローを使用して、最初に隣接するフレームをワープする。 そして、歪んだ隣接するフレームと参照フレームを使用して、粗いオフセット毎に細かいオフセットのセットを予測する。 一般に,2つのベンチマークデータセットにおける最先端性能に到達しつつ,計算とメモリ消費において競争力を保った,フロー誘導変形アライメントネットワーク(fdan)と呼ばれるエンド・ツー・エンドのディープネットワークを提案する。

関連論文リスト

• Deformable Feature Alignment and Refinement for Moving Infrared Dim-small Target Detection [17.765101100010224]
  本稿では,変形可能なコンボリューションに基づく変形可能な特徴アライメント・リファインメント(DFAR)手法を提案する。 提案手法はDAUBとIRDSTを含む2つのベンチマークデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-10T00:42:25Z)
• OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation [55.676358801492114]
  本稿では,中間映像フレームと光フローを同時に生成することで,フレームのあいまいさを頑健に支援するOCAIを提案する。 我々は,Sintel や KITTI などの既存のベンチマークにおいて,優れた品質と光フロー精度を実証した。
  論文  参考訳（メタデータ） (2024-03-26T20:23:48Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• IDO-VFI: Identifying Dynamics via Optical Flow Guidance for Video Frame Interpolation with Events [14.098949778274733]
  イベントカメラは、フレーム間のダイナミクスを極めて高い時間分解能で捉えるのに最適である。 IDO-VFIというイベント・アンド・フレームベースのビデオフレーム方式を提案する。 提案手法は,Vimeo90Kデータセット上での計算時間と計算労力をそれぞれ10%と17%削減しつつ,高品質な性能を維持する。
  論文  参考訳（メタデータ） (2023-05-17T13:22:21Z)
• Continuous Space-Time Video Super-Resolution Utilizing Long-Range Temporal Information [48.20843501171717]
  本稿では,任意のフレームレートと空間解像度に変換可能な連続ST-VSR(CSTVSR)手法を提案する。 本稿では,提案アルゴリズムの柔軟性が向上し,各種データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-02-26T08:02:39Z)
• DeMFI: Deep Joint Deblurring and Multi-Frame Interpolation with Flow-Guided Attentive Correlation and Recursive Boosting [50.17500790309477]
  DeMFI-Netは、共同でデブロアリングとマルチフレームのフレームワークである。 低フレームレートのぼやけたビデオを高フレームレートでシャープなビデオに変換する。 多様なデータセットに対して、最先端(SOTA)のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-11-19T00:00:15Z)
• Enhanced Correlation Matching based Video Frame Interpolation [5.304928339627251]
  拡張相関マッチングに基づくビデオフレーム補間ネットワークという新しいフレームワークを提案する。 提案手法では,光学的フロー推定のために,各ピラミッド層間のパラメータを共用する繰り返しピラミッド構造を用いる。 実験の結果,提案手法は4Kビデオデータや低解像度のベンチマークデータセット,客観的品質,主観的品質などにおいて,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-11-17T02:43:45Z)
• Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution [52.899234731501075]
  時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。 既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。 本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:21:30Z)
• PDWN: Pyramid Deformable Warping Network for Video Interpolation [11.62213584807003]
  Pyramid Deformable Warping Network (PDWN) と呼ばれる軽量かつ効果的なモデルを提案する。 PDWNはピラミッド構造を使用して、既知のフレームに関して未知の中間フレームのDConvオフセットを生成します。 提案手法は,複数のデータセットの最先端モデルと比較して精度が向上する。
  論文  参考訳（メタデータ） (2021-04-04T02:08:57Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。