論文の概要: FPCR-Net: Feature Pyramidal Correlation and Residual Reconstruction for
Optical Flow Estimation
- arxiv url: http://arxiv.org/abs/2001.06171v4
- Date: Tue, 23 Nov 2021 04:08:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 12:38:02.814961
- Title: FPCR-Net: Feature Pyramidal Correlation and Residual Reconstruction for
Optical Flow Estimation
- Title（参考訳）: FPCR-Net:光学的フロー推定のための特徴ピラミッド相関と残像再構成
- Authors: Xiaolin Song, Yuyang Zhao, Jingyu Yang, Cuiling Lan, and Wenjun Zeng
- Abstract要約: フレーム対からの光フロー推定のための半教師付き特徴ピラミッド相関・残留再構成ネットワーク(FPCR-Net)を提案する。
ピラミッド相関マッピングと残留再構成の2つの主要なモジュールで構成されている。
実験結果から,提案手法は,平均終点誤差 (AEE) に対して0.80, 1.15, 0.10の改善を達成し,最先端性能を実現していることがわかった。
- 参考スコア（独自算出の注目度）: 72.41370576242116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optical flow estimation is an important yet challenging problem in the field
of video analytics. The features of different semantics levels/layers of a
convolutional neural network can provide information of different granularity.
To exploit such flexible and comprehensive information, we propose a
semi-supervised Feature Pyramidal Correlation and Residual Reconstruction
Network (FPCR-Net) for optical flow estimation from frame pairs. It consists of
two main modules: pyramid correlation mapping and residual reconstruction. The
pyramid correlation mapping module takes advantage of the multi-scale
correlations of global/local patches by aggregating features of different
scales to form a multi-level cost volume. The residual reconstruction module
aims to reconstruct the sub-band high-frequency residuals of finer optical flow
in each stage. Based on the pyramid correlation mapping, we further propose a
correlation-warping-normalization (CWN) module to efficiently exploit the
correlation dependency. Experiment results show that the proposed scheme
achieves the state-of-the-art performance, with improvement by 0.80, 1.15 and
0.10 in terms of average end-point error (AEE) against competing baseline
methods - FlowNet2, LiteFlowNet and PWC-Net on the Final pass of Sintel
dataset, respectively.
- Abstract（参考訳）: 光フロー推定はビデオ解析の分野では重要だが困難な問題である。
畳み込みニューラルネットワークの異なるセマンティクスレベル/層の特徴は、異なる粒度の情報を提供することができる。
このようなフレキシブルで包括的な情報を活用するため、フレーム対からの光フロー推定のための半教師付き特徴ピラミッド相関・残留再構成ネットワーク(FPCR-Net)を提案する。
ピラミッド相関マッピングと残留再構成の2つの主要なモジュールで構成されている。
ピラミッド相関マッピングモジュールは、異なるスケールの特徴を集約することで、グローバル/ローカルパッチのマルチスケール相関を利用して、マルチレベルコストボリュームを形成する。
残差再構成モジュールは、各ステージにおけるより微細な光流のサブバンド高周波残差を再構築することを目的としている。
さらに, 相関の相関関係を効率的に利用するための相関ウォーピング正規化 (CWN) モジュールを提案する。
実験の結果,提案手法は,Sintelデータセットの最終パスにおけるFlowNet2, LiteFlowNet, PWC-Netに対する平均終点誤差(AEE)を0.80, 1.15, 0.10改善し,最先端性能を実現していることがわかった。
関連論文リスト
- Flow Guidance Deformable Compensation Network for Video Frame
Interpolation [33.106776459443275]
既存の動きに基づく手法の欠点を克服するため,フローガイダンス変形補償ネットワーク(FGDCN)を提案する。
FGDCNは、フレームサンプリングプロセスをフローステップと変形ステップの2つのステップに分解する。
実験結果から,提案アルゴリズムはパラメータが少ない各種データセットに対して優れた性能を示すことがわかった。
論文 参考訳（メタデータ） (2022-11-22T09:35:14Z) - GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
光フロー推定学習のためのGMFlowフレームワークを提案する。
機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。
我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
論文 参考訳（メタデータ） (2021-11-26T18:59:56Z) - DeMFI: Deep Joint Deblurring and Multi-Frame Interpolation with
Flow-Guided Attentive Correlation and Recursive Boosting [50.17500790309477]
DeMFI-Netは、共同でデブロアリングとマルチフレームのフレームワークである。
低フレームレートのぼやけたビデオを高フレームレートでシャープなビデオに変換する。
多様なデータセットに対して、最先端(SOTA)のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-11-19T00:00:15Z) - Enhanced Correlation Matching based Video Frame Interpolation [5.304928339627251]
拡張相関マッチングに基づくビデオフレーム補間ネットワークという新しいフレームワークを提案する。
提案手法では,光学的フロー推定のために,各ピラミッド層間のパラメータを共用する繰り返しピラミッド構造を用いる。
実験の結果,提案手法は4Kビデオデータや低解像度のベンチマークデータセット,客観的品質,主観的品質などにおいて,従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2021-11-17T02:43:45Z) - Detail Preserving Residual Feature Pyramid Modules for Optical Flow [3.3301533805099357]
RFPM(Residual Feature Pyramid Module)は、光学フロー推定の全体的な反復的精細化設計を変更することなく、特徴マップに重要な詳細を保持できる。
その結果, RFPMはフローエラーを視覚的に低減し, Sintel のクリーンパスにおける最先端性能を向上することがわかった。
論文 参考訳（メタデータ） (2021-07-23T01:53:04Z) - A^2-FPN: Attention Aggregation based Feature Pyramid Network for
Instance Segmentation [68.10621089649486]
アテンションアグリゲーションに基づく機能ピラミッドネットワーク(A2-FPN)を提案し、マルチスケール機能学習を改善します。
A2-FPNは、Cascade Mask R-CNNやHybrid Task Cascadeといった強力なベースラインに統合された場合、2.0%と1.4%のマスクAPを改善する。
論文 参考訳（メタデータ） (2021-05-07T11:51:08Z) - PRAFlow_RVC: Pyramid Recurrent All-Pairs Field Transforms for Optical
Flow Estimation in Robust Vision Challenge 2020 [28.77846425802558]
ピラミッドネットワーク構造を基盤としたPRAFlow(Pyramid Recurrent All-Pairs Flow)を提案する。
モデルは同じモデルとパラメータを使って複数のリーダボードに送信し、ECCV 2020ワークショップの光学フロータスクであるRobust Vision Challengeで2位を獲得しました。
論文 参考訳（メタデータ） (2020-09-14T12:27:52Z) - Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。
実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
論文 参考訳（メタデータ） (2020-07-30T05:48:48Z) - Augmented Parallel-Pyramid Net for Attention Guided Pose-Estimation [90.28365183660438]
本稿では、注意部分モジュールと微分可能な自動データ拡張を備えた拡張並列ピラミドネットを提案する。
我々は、データ拡張のシーケンスをトレーニング可能なCNNコンポーネントとして定式化する新しいポーズ検索空間を定義する。
特に,本手法は,挑戦的なCOCOキーポイントベンチマークとMPIIデータセットの最先端結果において,トップ1の精度を実現する。
論文 参考訳（メタデータ） (2020-03-17T03:52:17Z) - STC-Flow: Spatio-temporal Context-aware Optical Flow Estimation [13.649566468445258]
光フロー推定のための時空間ネットワーク STC-Flow を提案する。
STC-Flowには、ピラミッド空間コンテキストモジュール、時間コンテキスト相関モジュール、残留コンテキストアップサンプリングモジュールの3つの重要なコンテキストモジュールが含まれている。
実験結果から,提案手法は,SintelデータセットとKITTI 2012/2015データセットに基づく2フレーム方式の最先端性能を実現することが示唆された。
論文 参考訳（メタデータ） (2020-03-01T08:18:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。