論文の概要: Sparse Global Matching for Video Frame Interpolation with Large Motion

• arxiv url: http://arxiv.org/abs/2404.06913v1
• Date: Wed, 10 Apr 2024 11:06:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 14:50:32.804491
• Title: Sparse Global Matching for Video Frame Interpolation with Large Motion
• Title（参考訳）: 大きな動きを持つビデオフレーム補間のためのスパースグローバルマッチング
• Authors: Chunxu Liu, Guozhen Zhang, Rui Zhao, Limin Wang,
• Abstract要約: 大きな動きはビデオフレーム補間(VFI)タスクにおいて重要な課題となる。 既存の手法は、しばしば制限された受容場によって制約されるため、大きな動きを持つシナリオを扱う際の準最適性能をもたらす。 我々はVFIのための新しいパイプラインを導入し、グローバルレベルの情報を効果的に統合し、大きな動きに関連する問題を緩和する。
• 参考スコア（独自算出の注目度）: 20.49084881829404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large motion poses a critical challenge in Video Frame Interpolation (VFI) task. Existing methods are often constrained by limited receptive fields, resulting in sub-optimal performance when handling scenarios with large motion. In this paper, we introduce a new pipeline for VFI, which can effectively integrate global-level information to alleviate issues associated with large motion. Specifically, we first estimate a pair of initial intermediate flows using a high-resolution feature map for extracting local details. Then, we incorporate a sparse global matching branch to compensate for flow estimation, which consists of identifying flaws in initial flows and generating sparse flow compensation with a global receptive field. Finally, we adaptively merge the initial flow estimation with global flow compensation, yielding a more accurate intermediate flow. To evaluate the effectiveness of our method in handling large motion, we carefully curate a more challenging subset from commonly used benchmarks. Our method demonstrates the state-of-the-art performance on these VFI subsets with large motion.
• Abstract（参考訳）: 大きな動きはビデオフレーム補間(VFI)タスクにおいて重要な課題となる。 既存の手法は、しばしば制限された受容場によって制約されるため、大きな動きを持つシナリオを扱う際の準最適性能をもたらす。 本稿では,大動きに伴う問題を軽減するために,グローバルレベルの情報を効果的に統合するVFIの新しいパイプラインを提案する。 具体的には、まず、局所的な詳細を抽出する高分解能特徴写像を用いて、初期中間流の対を推定する。 そこで我々は,初期フローの欠陥を同定し,大域的受容場とのスパースフロー補償を生成するフロー推定を補うために,スパースグローバルマッチングブランチを組み込んだ。 最後に、初期フロー推定と大域フロー補償を適応的に組み合わせ、より正確な中間フローを得る。 提案手法の大規模動作処理における有効性を評価するため,一般的なベンチマークからより困難なサブセットを慎重にキュレートする。 提案手法は, 動作が大きいVFIサブセット上での最先端性能を示す。

関連論文リスト

• GMFlow: Global Motion-Guided Recurrent Flow for 6D Object Pose Estimation [10.48817934871207]
  ポーズ推定のためのGMFlowと呼ばれるグローバルな動き誘導型リカレントフロー推定法を提案する。 我々は、物体の構造情報を利用して、剛体の可視部分の運動を、その可視領域に拡張する。 提案手法は,競合計算効率を維持しつつ,既存の手法の精度を向上する。
  論文  参考訳（メタデータ） (2024-11-26T07:28:48Z)
• FlowIE: Efficient Image Enhancement via Rectified Flow [71.6345505427213]
  FlowIEはフローベースのフレームワークであり、基本的な分布から高品質な画像への直線パスを推定する。 私たちのコントリビューションは、合成および実世界のデータセットに関する包括的な実験を通じて、厳密に検証されています。
  論文  参考訳（メタデータ） (2024-06-01T17:29:29Z)
• STARFlow: Spatial Temporal Feature Re-embedding with Attentive Learning for Real-world Scene Flow [5.476991379461233]
  両ユークリッド空間における全点対に一致する大域的注意流埋め込みを提案する。 我々は、新しいドメイン適応損失を利用して、合成から実世界への動き推論のギャップを埋める。 提案手法は,実世界のLiDARスキャンデータセットにおいて特に顕著な結果を得て,各種データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-11T04:56:10Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• Diffusion Generative Flow Samplers: Improving learning signals through partial trajectory optimization [87.21285093582446]
  Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。 生成フローネットワーク(GFlowNets)のための理論から着想を得た。
  論文  参考訳（メタデータ） (2023-10-04T09:39:05Z)
• AccFlow: Backward Accumulation for Long-Range Optical Flow [70.4251045372285]
  本稿では、長距離光フロー推定のためのAccFlowと呼ばれる新しいリカレントフレームワークを提案する。 従来の前方累積よりも後方累積の方が優れていることを示す。 長距離光流量推定におけるAccFlowの有効性を検証する実験
  論文  参考訳（メタデータ） (2023-08-25T01:51:26Z)
• GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
  光フロー推定学習のためのGMFlowフレームワークを提案する。 機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。 我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
  論文  参考訳（メタデータ） (2021-11-26T18:59:56Z)
• EFENet: Reference-based Video Super-Resolution with Enhanced Flow Estimation [33.170496636269114]
  本稿では,HR参照に含まれる視覚的手がかりとLRシーケンスに含まれる時間的情報とを同時に活用するEFENetを提案する。 提案手法の有効性を検証し,提案手法が最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-15T01:36:30Z)
• FlowStep3D: Model Unrolling for Self-Supervised Scene Flow Estimation [87.74617110803189]
  シーンフローとして知られるシーン内の点の3次元運動を推定することは、コンピュータビジョンにおける中核的な問題である。 本稿では,シーンフローの予測を洗練するための反復的アライメント手順の1ステップを学習する再帰的アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-11-19T23:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。