論文の概要: SplatFlow: Learning Multi-frame Optical Flow via Splatting
- arxiv url: http://arxiv.org/abs/2306.08887v2
- Date: Mon, 26 Feb 2024 07:20:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 21:52:05.658813
- Title: SplatFlow: Learning Multi-frame Optical Flow via Splatting
- Title(参考訳): SplatFlow: Splattingによる多フレーム光フローの学習
- Authors: Bo Wang, Yifan Zhang, Jian Li, Yang Yu, Zhenping Sun, Li Liu, Dewen Hu
- Abstract要約: 本研究では,これらの欠点に対処する効率的なMOFEフレームワークであるSplatFlowを提案する。
SplatFlowは、以前のフレームの動作特徴を整列させるために微分可能なスプラッティング変換を導入し、アライメントされた動作特徴を入力するためのファイナル・ツー・オールの埋め込み法を設計する。
KITTI2015 と Sintel のベンチマークでは、公表されたすべてのメソッドを大幅に上回っている。
- 参考スコア(独自算出の注目度): 25.737884381161546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The occlusion problem remains a crucial challenge in optical flow estimation
(OFE). Despite the recent significant progress brought about by deep learning,
most existing deep learning OFE methods still struggle to handle occlusions; in
particular, those based on two frames cannot correctly handle occlusions
because occluded regions have no visual correspondences. However, there is
still hope in multi-frame settings, which can potentially mitigate the
occlusion issue in OFE. Unfortunately, multi-frame OFE (MOFE) remains
underexplored, and the limited studies on it are mainly specially designed for
pyramid backbones or else obtain the aligned previous frame's features, such as
correlation volume and optical flow, through time-consuming backward flow
calculation or non-differentiable forward warping transformation. This study
proposes an efficient MOFE framework named SplatFlow to address these
shortcomings. SplatFlow introduces the differentiable splatting transformation
to align the previous frame's motion feature and designs a Final-to-All
embedding method to input the aligned motion feature into the current frame's
estimation, thus remodeling the existing two-frame backbones. The proposed
SplatFlow is efficient yet more accurate, as it can handle occlusions properly.
Extensive experimental evaluations show that SplatFlow substantially
outperforms all published methods on the KITTI2015 and Sintel benchmarks.
Especially on the Sintel benchmark, SplatFlow achieves errors of 1.12 (clean
pass) and 2.07 (final pass), with surprisingly significant 19.4% and 16.2%
error reductions, respectively, from the previous best results submitted. The
code for SplatFlow is available at https://github.com/wwsource/SplatFlow.
- Abstract(参考訳): オクルージョン問題は光学フロー推定(OFE)において依然として重要な課題である。
深層学習によってもたらされた近年の大きな進歩にもかかわらず、既存の深層学習法のほとんどは、まだ咬合の処理に苦慮しており、特に2つのフレームに基づくものは、咬合領域に視覚対応がないため、正しく咬合を処理できない。
しかし、マルチフレーム設定にはまだ希望があり、ofeの閉塞問題を軽減する可能性がある。
不幸なことに、マルチフレームofe (mofe) は未調査のままであり、その限られた研究は主にピラミッドバックボーンのために特別に設計されたか、あるいは時間を要する後方流計算や非微分可能な前方摂動変換を通じて相関体積や光流といった以前のフレームの特徴を揃えたものである。
本研究では,これらの欠点に対処する効率的なMOFEフレームワークであるSplatFlowを提案する。
SplatFlowは、以前のフレームの動作特徴を整列する微分可能なスプラッティング変換を導入し、アライメントされた動作特徴を現在のフレームの推定に入力し、既存の2フレームのバックボーンをリモデリングするファイナル・ツー・オールの埋め込み法を設計する。
提案されているSplatFlowは、オクルージョンを適切に処理できるため、効率的だが正確である。
大規模な実験的評価の結果、SplatFlowはKITTI2015とSintelのベンチマークで公表されたすべての手法を大幅に上回っている。
特にsintelベンチマークでは、splatflowは1.12(クリーンパス)と2.07(ファイナルパス)のエラーを達成し、それぞれ19.4%と16.2%のエラー削減を達成している。
splatflowのコードはhttps://github.com/wwsource/splatflowで入手できる。
関連論文リスト
- Improved motif-scaffolding with SE(3) flow matching [54.82832841074558]
生成モデルは、様々なモチーフのために足場を設計することで、画期的な成功を収めました。
タンパク質のバックボーン生成のためのSE(3)フローマッチングモデルであるFrameFlowを拡張し,2つの相補的なアプローチでモチーフ・スキャフォールディングを行う。
論文 参考訳(メタデータ) (2024-01-08T18:38:00Z) - StreamFlow: Streamlined Multi-Frame Optical Flow Estimation for Video
Sequences [31.210626775505407]
連続するフレーム間のオクルージョンは、長い間、光学的フロー推定において重要な課題を提起してきた。
本稿では,ビデオ入力に適したストリーム・イン・バッチ・マルチフレーム(SIM)パイプラインを提案する。
StreamFlowは、挑戦的なKITTIとSintelデータセットのパフォーマンスだけでなく、排他的領域でも特に改善されている。
論文 参考訳(メタデータ) (2023-11-28T07:53:51Z) - Rethinking Optical Flow from Geometric Matching Consistent Perspective [38.014569953980754]
本稿では,従来の光流量推定法について再考する。
我々は,より優れた特徴表現を持つ光フロー推定(MatchFlow)のための事前学習タスクとして,GIMを使用している。
Sintel クリーンパスと KITTI テストセットの GMA から 11.5% と 10.1% の誤差削減を実現した。
論文 参考訳(メタデータ) (2023-03-15T06:00:38Z) - VideoFlow: Exploiting Temporal Cues for Multi-frame Optical Flow
Estimation [61.660040308290796]
VideoFlowはビデオのための新しい光フロー推定フレームワークである。
まず、TRiフレーム光フロー(TROF)モジュールを提案し、3フレーム方式で中央フレームの双方向光フローを推定する。
反復流量推定精細化により、個々のTROFに融合した情報をMOPを介して全シーケンスに伝播することができる。
論文 参考訳(メタデータ) (2023-03-15T03:14:30Z) - SKFlow: Learning Optical Flow with Super Kernels [40.88050099433641]
Super Kernel Flow Network (SKFlow) は、オクルージョンが光学的フロー推定に与える影響を改善するためのCNNアーキテクチャである。
スーパーカーネルは、不整合情報を補完し、閉塞された動きを回復するために、拡大された受容野をもたらす。
我々は円錐形接続とハイブリッド深度ワイド畳み込みを利用した効率的なスーパーカーネル設計を提案する。
論文 参考訳(メタデータ) (2022-05-29T10:36:39Z) - Deep Equilibrium Optical Flow Estimation [80.80992684796566]
最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。
これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。
暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
論文 参考訳(メタデータ) (2022-04-18T17:53:44Z) - GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
光フロー推定学習のためのGMFlowフレームワークを提案する。
機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。
我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
論文 参考訳(メタデータ) (2021-11-26T18:59:56Z) - Learning to Estimate Hidden Motions with Global Motion Aggregation [71.12650817490318]
閉塞は、局所的な証拠に依存する光学フローアルゴリズムに重大な課題をもたらす。
最初の画像でピクセル間の長距離依存性を見つけるために,グローバルモーションアグリゲーションモジュールを導入する。
遮蔽領域における光流量推定が非遮蔽領域における性能を損なうことなく大幅に改善できることを実証した。
論文 参考訳(メタデータ) (2021-04-06T10:32:03Z) - LiteFlowNet3: Resolving Correspondence Ambiguity for More Accurate
Optical Flow Estimation [99.19322851246972]
本稿では,光フロー推定の問題に対処する2つのモジュールからなるディープネットワークである LiteFlowNet3 を紹介する。
LiteFlowNet3は、公開ベンチマークで有望な結果を達成するだけでなく、小さなモデルサイズと高速なランタイムも備えている。
論文 参考訳(メタデータ) (2020-07-18T03:30:39Z) - MaskFlownet: Asymmetric Feature Matching with Learnable Occlusion Mask [23.496206316161633]
MaskFlownetは、MPI Sintel、KITTI 2012、2015ベンチマークで発表されたすべての光学フローメソッドを上回っている。
提案手法は, MPIシンテル, KITTI 2012, 2015 ベンチマークで公表された全光フロー法を超越した。
論文 参考訳(メタデータ) (2020-03-24T16:29:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。