論文の概要: Flow Guidance Deformable Compensation Network for Video Frame Interpolation

• arxiv url: http://arxiv.org/abs/2211.12117v1
• Date: Tue, 22 Nov 2022 09:35:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 18:11:35.597179
• Title: Flow Guidance Deformable Compensation Network for Video Frame Interpolation
• Title（参考訳）: ビデオフレーム補間のための流れ誘導変形補償ネットワーク
• Authors: Pengcheng Lei, Faming Fang and Guixu Zhang
• Abstract要約: 既存の動きに基づく手法の欠点を克服するため,フローガイダンス変形補償ネットワーク(FGDCN)を提案する。 FGDCNは、フレームサンプリングプロセスをフローステップと変形ステップの2つのステップに分解する。 実験結果から,提案アルゴリズムはパラメータが少ない各種データセットに対して優れた性能を示すことがわかった。
• 参考スコア（独自算出の注目度）: 33.106776459443275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Motion-based video frame interpolation (VFI) methods have made remarkable progress with the development of deep convolutional networks over the past years. While their performance is often jeopardized by the inaccuracy of flow map estimation, especially in the case of large motion and occlusion. In this paper, we propose a flow guidance deformable compensation network (FGDCN) to overcome the drawbacks of existing motion-based methods. FGDCN decomposes the frame sampling process into two steps: a flow step and a deformation step. Specifically, the flow step utilizes a coarse-to-fine flow estimation network to directly estimate the intermediate flows and synthesizes an anchor frame simultaneously. To ensure the accuracy of the estimated flow, a distillation loss and a task-oriented loss are jointly employed in this step. Under the guidance of the flow priors learned in step one, the deformation step designs a pyramid deformable compensation network to compensate for the missing details of the flow step. In addition, a pyramid loss is proposed to supervise the model in both the image and frequency domain. Experimental results show that the proposed algorithm achieves excellent performance on various datasets with fewer parameters.
• Abstract（参考訳）: モーションベースビデオフレーム補間(VFI)法は,近年の深層畳み込みネットワークの発展によって顕著な進歩を遂げている。 その性能はフローマップ推定の不正確さに悩まされることが多いが、特に大きな動きや閉塞の場合である。 本稿では,既存の動きに基づく手法の欠点を克服するために,フローガイダンス変形補償ネットワーク(FGDCN)を提案する。 FGDCNは、フレームサンプリングプロセスをフローステップと変形ステップの2つのステップに分解する。 具体的には、粗大なフロー推定ネットワークを利用して、中間フローを直接推定し、同時にアンカーフレームを合成する。 このステップにおいて、推定フローの精度を確保するために、蒸留損失とタスク指向損失を併用する。 ステップ1で学習したフロー先行のガイダンスに基づき、変形ステップは、フローステップの不足詳細を補うためにピラミッド変形可能な補償ネットワークを設計する。 さらに、画像領域と周波数領域の両方でモデルを監視するためにピラミッド損失が提案されている。 実験結果から,提案アルゴリズムはパラメータが少ない各種データセットに対して優れた性能を示すことがわかった。

関連論文リスト

• FlowIE: Efficient Image Enhancement via Rectified Flow [71.6345505427213]
  FlowIEはフローベースのフレームワークであり、基本的な分布から高品質な画像への直線パスを推定する。 私たちのコントリビューションは、合成および実世界のデータセットに関する包括的な実験を通じて、厳密に検証されています。
  論文  参考訳（メタデータ） (2024-06-01T17:29:29Z)
• Rolling Shutter Correction with Intermediate Distortion Flow Estimation [55.59359977619609]
  本稿では,グローバルシャッタ(GS)からRSへの歪み流を直接推定することにより,ローリングシャッタ(RS)歪み画像を補正することを提案する。 既存の手法は通常、RSからGSへの非歪流を用いて補正を行う。 本稿では,歪み流を直接推定し,後方ワープ操作でRS像を補正する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-09T14:40:54Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• StreamFlow: Streamlined Multi-Frame Optical Flow Estimation for Video Sequences [31.210626775505407]
  連続するフレーム間のオクルージョンは、長い間、光学的フロー推定において重要な課題を提起してきた。 本稿では,ビデオ入力に適したストリーム・イン・バッチ・マルチフレーム(SIM)パイプラインを提案する。 StreamFlowは、挑戦的なKITTIとSintelデータセットのパフォーマンスだけでなく、排他的領域でも特に改善されている。
  論文  参考訳（メタデータ） (2023-11-28T07:53:51Z)
• Enhanced Correlation Matching based Video Frame Interpolation [5.304928339627251]
  拡張相関マッチングに基づくビデオフレーム補間ネットワークという新しいフレームワークを提案する。 提案手法では,光学的フロー推定のために,各ピラミッド層間のパラメータを共用する繰り返しピラミッド構造を用いる。 実験の結果,提案手法は4Kビデオデータや低解像度のベンチマークデータセット,客観的品質,主観的品質などにおいて,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-11-17T02:43:45Z)
• FDAN: Flow-guided Deformable Alignment Network for Video Super-Resolution [12.844337773258678]
  変形可能なコンボリューションに光流を統合するために,フロー誘導変形モジュール (FDM) を提案する。 FDANは、2つのベンチマークデータセットで最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2021-05-12T13:18:36Z)
• SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation [71.2856098776959]
  点雲は非秩序であり、その密度は著しく一様ではないため、点雲の3次元運動の推定は困難である。 本稿では,sparse convolution-transformer network (sctn) という新しいアーキテクチャを提案する。 学習した関係に基づく文脈情報が豊富で,対応点の一致に役立ち,シーンフローの推定に有効であることを示す。
  論文  参考訳（メタデータ） (2021-05-10T15:16:14Z)
• FlowStep3D: Model Unrolling for Self-Supervised Scene Flow Estimation [87.74617110803189]
  シーンフローとして知られるシーン内の点の3次元運動を推定することは、コンピュータビジョンにおける中核的な問題である。 本稿では,シーンフローの予測を洗練するための反復的アライメント手順の1ステップを学習する再帰的アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-11-19T23:23:48Z)
• FPCR-Net: Feature Pyramidal Correlation and Residual Reconstruction for Optical Flow Estimation [72.41370576242116]
  フレーム対からの光フロー推定のための半教師付き特徴ピラミッド相関・残留再構成ネットワーク(FPCR-Net)を提案する。 ピラミッド相関マッピングと残留再構成の2つの主要なモジュールで構成されている。 実験結果から,提案手法は,平均終点誤差 (AEE) に対して0.80, 1.15, 0.10の改善を達成し,最先端性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2020-01-17T07:13:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。