論文の概要: CGCV:Context Guided Correlation Volume for Optical Flow Neural Networks
- arxiv url: http://arxiv.org/abs/2212.10174v1
- Date: Tue, 20 Dec 2022 11:24:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 16:23:29.085957
- Title: CGCV:Context Guided Correlation Volume for Optical Flow Neural Networks
- Title(参考訳): 光フローニューラルネットワークのためのcgcv:context guided correlation volume
- Authors: Jiangpeng Li, Yan Niu
- Abstract要約: 相関体積は光流計算ニューラルモデルの中心的な構成要素である。
ゲーティングとリフト方式による新しいコンテキストガイド相関ボリューム(CGCV)を提案する。
CGCVはRAFTベースのフロー計算手法と普遍的に統合して性能を向上させることができる。
- 参考スコア(独自算出の注目度): 1.9226937205270165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optical flow, which computes the apparent motion from a pair of video frames,
is a critical tool for scene motion estimation. Correlation volume is the
central component of optical flow computational neural models. It estimates the
pairwise matching costs between cross-frame features, and is then used to
decode optical flow. However, traditional correlation volume is frequently
noisy, outlier-prone, and sensitive to motion blur. We observe that, although
the recent RAFT algorithm also adopts the traditional correlation volume, its
additional context encoder provides semantically representative features to the
flow decoder, implicitly compensating for the deficiency of the correlation
volume. However, the benefits of this context encoder has been barely discussed
or exploited. In this paper, we first investigate the functionality of RAFT's
context encoder, then propose a new Context Guided Correlation Volume (CGCV)
via gating and lifting schemes. CGCV can be universally integrated with
RAFT-based flow computation methods for enhanced performance, especially
effective in the presence of motion blur, de-focus blur and atmospheric
effects. By incorporating the proposed CGCV with previous Global Motion
Aggregation (GMA) method, at a minor cost of 0.5% extra parameters, the rank of
GMA is lifted by 23 places on KITTI 2015 Leader Board, and 3 places on Sintel
Leader Board. Moreover, at a similar model size, our correlation volume
achieves competitive or superior performance to state of the art peer
supervised models that employ Transformers or Graph Reasoning, as verified by
extensive experiments.
- Abstract(参考訳): 一対の動画フレームからの見かけの動きを計算する光学フローは、シーンの動きを推定するための重要なツールである。
相関体積は光流計算ニューラルモデルの中心的な構成要素である。
フレーム間の特徴間のペアワイズマッチングコストを推定し、光学フローを復号するために使用される。
しかし、従来の相関ボリュームはノイズが多く、外れやすく、動きのぼやけに敏感である。
近年のRAFTアルゴリズムは従来の相関ボリュームも採用しているが,その追加コンテキストエンコーダはフローデコーダに意味的に代表的な特徴を提供し,相関ボリュームの欠如を暗黙的に補償する。
しかし、このコンテキストエンコーダの利点はほとんど議論されていない。
本稿では、まずRAFTのコンテキストエンコーダの機能について検討し、ゲーティングとリフト方式による新しいコンテキストガイド付き相関ボリューム(CGCV)を提案する。
CGCVはRAFTベースのフロー計算手法と普遍的に統合することができ、特に動きのぼやけ、焦点のぼやけ、大気効果の存在に有効である。
提案されたCGCVをGMA(Global Motion Aggregation)メソッドに組み込むことにより、GMAのランクは、KITTI 2015のリーダーシップ委員会で23か所、Sintelのリーダーシップ委員会で3か所引き上げられる。
また,類似したモデルサイズでは,グラフ推論やトランスフォーマーを用いたart peer教師モデルと比較して,相関ボリュームの競争力や性能が向上することを示す。
関連論文リスト
- OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation [55.676358801492114]
本稿では,中間映像フレームと光フローを同時に生成することで,フレームのあいまいさを頑健に支援するOCAIを提案する。
我々は,Sintel や KITTI などの既存のベンチマークにおいて,優れた品質と光フロー精度を実証した。
論文 参考訳(メタデータ) (2024-03-26T20:23:48Z) - Motion-Aware Video Frame Interpolation [49.49668436390514]
我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
論文 参考訳(メタデータ) (2024-02-05T11:00:14Z) - GAFlow: Incorporating Gaussian Attention into Optical Flow [62.646389181507764]
我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。
本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。
動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
論文 参考訳(メタデータ) (2023-09-28T07:46:01Z) - Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。
既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。
WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
論文 参考訳(メタデータ) (2023-09-07T06:41:15Z) - CRAFT: Cross-Attentional Flow Transformer for Robust Optical Flow [23.457898451057275]
光フロー推定は、2つの画像間の対応する画素を識別することで2次元運動場を求めることを目的としている。
深層学習に基づく光学フロー法が著しく進歩しているにもかかわらず、動きのぼやけた大きな変位を正確に推定することは依然として困難である。
これは主に、2つの画像の畳み込み特徴のドット積として画素マッチングの基礎となる相関体積が計算されるためである。
本稿では,CRAFT (CRoss-Attentional Flow Transformer) アーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-03-31T09:05:00Z) - Deep Calibration of Interest Rates Model [0.0]
ディープラーニングの普及にもかかわらず、CIRやガウス家のような古典的なレートモデルはまだ広く使われている。
本稿では,ニューラルネットワークを用いたG2++モデルの5つのパラメータの校正を提案する。
論文 参考訳(メタデータ) (2021-10-28T14:08:45Z) - Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume
Excitation [65.83008812026635]
本稿では,GCE ( Guided Cost Volume Excitation) を構築し,画像によって誘導されるコストボリュームの簡単なチャネル励磁により,性能が大幅に向上することを示す。
我々はCorrelate-and-Excite(CoEx)と呼ぶエンドツーエンドネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-12T14:32:26Z) - Learning Optical Flow from a Few Matches [67.83633948984954]
密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。
実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
論文 参考訳(メタデータ) (2021-04-05T21:44:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。