論文の概要: SplatFlow: Learning Multi-frame Optical Flow via Splatting

• arxiv url: http://arxiv.org/abs/2306.08887v1
• Date: Thu, 15 Jun 2023 06:41:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 16:24:12.326612
• Title: SplatFlow: Learning Multi-frame Optical Flow via Splatting
• Title（参考訳）: SplatFlow: Splattingによる多フレーム光フローの学習
• Authors: Bo Wang, Yifan Zhang, Jian Li, Yang Yu, Zhenping Sun, Li Liu, Dewen Hu
• Abstract要約: オクルージョン問題は光フロー推定において依然として重要な課題である。 SplatFlow という,効率的な MOFE フレームワークを提案する。 SplatFlowは、KITTI2015とSintelベンチマークで公表されたすべてのメソッドを大幅に上回っている。
• 参考スコア（独自算出の注目度）: 22.530287503247294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Occlusion problem remains a key challenge in Optical Flow Estimation (OFE) despite the recent significant progress brought by deep learning in the field. Most existing deep learning OFE methods, especially those based on two frames, cannot properly handle occlusions, in part because there is no significant feature similarity in occluded regions. The multi-frame settings have the potential to mitigate the occlusion issue in OFE. However, the problem of Multi-frame OFE (MOFE) remains underexplored, and the limited works are specially designed for pyramid backbones and obtain the aligned temporal information by time-consuming backward flow calculation or non-differentiable forward warping transformation. To address these shortcomings, we propose an efficient MOFE framework named SplatFlow, which is realized by introducing the differentiable splatting transformation to align the temporal information, designing a One-to-Many embedding method to densely guide the current frame's estimation, and further remodelling the existing two-frame backbones. The proposed SplatFlow is very efficient yet more accurate as it is able to handle occlusions properly. Extensive experimental evaluations show that our SplatFlow substantially outperforms all published methods on KITTI2015 and Sintel benchmarks. Especially on Sintel benchmark, SplatFlow achieves errors of 1.12 (clean pass) and 2.07 (final pass), with surprisingly significant 19.4% and 16.2% error reductions from the previous best results submitted, respectively. Code is available at https://github.com/wwsource/SplatFlow.
• Abstract（参考訳）: オクルージョン問題は、この分野におけるディープラーニングによる近年の大きな進歩にもかかわらず、光学フロー推定(OFE)において依然として重要な課題である。 既存のディープラーニングOFE法、特に2つのフレームに基づく手法は、隠蔽領域に有意な特徴的類似性がないため、オクルージョンを適切に扱えない。 マルチフレーム設定はOFEの閉塞問題を緩和する可能性がある。 しかし、マルチフレームofe(mofe)の問題は未検討のままであり、ピラミッドバックボーン用に特別に設計され、時間を要する後方流計算や非微分可能な前方摂動変換によって時空情報を取得する。 これらの欠点に対処するために,時間的情報を調整するための微分可能なスプレーティング変換の導入,現在のフレームの推定を密にガイドする1対1の埋め込み法の設計,既存の2フレームバックボーンのさらなるリモデリングにより実現される,splatflowという効率的なmofeフレームワークを提案する。 提案されているSplatFlowは非常に効率的だが、オクルージョンを適切に処理できるため、より正確である。 我々のSplatFlowは、KITTI2015とSintelベンチマークで公表されたすべてのメソッドよりも大幅に優れています。 特にsintelベンチマークでは、splatflowは1.12(クリーンパス)と2.07(ファイナルパス)のエラーを達成し、それぞれ19.4%と16.2%のエラー削減を達成している。 コードはhttps://github.com/wwsource/splatflowで入手できる。

関連論文リスト

• ScaleFlow++: Robust and Accurate Estimation of 3D Motion from Video [26.01796507893086]
  本稿では,3次元モーション認識手法であるScaleFlow++を提案する。 たった1対のRGBイメージで、ScaleFlow++は光学フローとモーションインディープス(MID)をしっかりと推定できる。 KITTIでは、ScaleFlow++は、SF-allを6.21から5.79に削減し、最高のモノクロシーンフロー推定性能を達成した。
  論文  参考訳（メタデータ） (2024-09-16T11:59:27Z)
• ScaleFlow++: Robust and Accurate Estimation of 3D Motion from Video [15.629496237910999]
  本稿では,3次元モーション認識手法であるScaleFlow++を提案する。 たった1対のRGBイメージで、ScaleFlow++は光学フローとモーションインディープス(MID)をしっかりと推定できる。 KITTIでは、ScaleFlow++は、SF-allを6.21から5.79に削減し、最高のモノクロシーンフロー推定性能を達成した。
  論文  参考訳（メタデータ） (2024-07-13T07:58:48Z)
• Boundary-aware Decoupled Flow Networks for Realistic Extreme Rescaling [49.215957313126324]
  Invertible rescaling Network (IRN) やgenerative adversarial Network (GAN) などを含む最近の生成手法は、画像再スケーリングにおいて例外的な性能を示した。 しかし、IRNベースの手法は過度に滑らかな結果を生成する傾向にあり、一方、GANベースの手法は偽の細部を容易に生成する。 本稿では,現実的かつ視覚的に満足な結果を生成するために,境界対応デカップリングフローネットワーク(BDFlow)を提案する。
  論文  参考訳（メタデータ） (2024-05-05T14:05:33Z)
• Improved motif-scaffolding with SE(3) flow matching [56.53693775654178]
  タンパク質のバックボーン生成のためのSE(3)フローマッチングモデルであるFrameFlowを拡張し,2つの相補的なアプローチでモチーフ・スキャフォールディングを行う。 1つ目はモチーフ・アモーティゼーション(motif amortization)で、FrameFlowはデータ拡張戦略を使用してモチーフを入力としてトレーニングする。 2つ目はモチーフガイダンスで、追加のトレーニングなしでFrameFlowから条件スコアを推定して足場化を行う。
  論文  参考訳（メタデータ） (2024-01-08T18:38:00Z)
• Rethinking Optical Flow from Geometric Matching Consistent Perspective [38.014569953980754]
  本稿では,従来の光流量推定法について再考する。 我々は,より優れた特徴表現を持つ光フロー推定(MatchFlow)のための事前学習タスクとして,GIMを使用している。 Sintel クリーンパスと KITTI テストセットの GMA から 11.5% と 10.1% の誤差削減を実現した。
  論文  参考訳（メタデータ） (2023-03-15T06:00:38Z)
• VideoFlow: Exploiting Temporal Cues for Multi-frame Optical Flow Estimation [61.660040308290796]
  VideoFlowはビデオのための新しい光フロー推定フレームワークである。 まず、TRiフレーム光フロー(TROF)モジュールを提案し、3フレーム方式で中央フレームの双方向光フローを推定する。 反復流量推定精細化により、個々のTROFに融合した情報をMOPを介して全シーケンスに伝播することができる。
  論文  参考訳（メタデータ） (2023-03-15T03:14:30Z)
• SKFlow: Learning Optical Flow with Super Kernels [40.88050099433641]
  Super Kernel Flow Network (SKFlow) は、オクルージョンが光学的フロー推定に与える影響を改善するためのCNNアーキテクチャである。 スーパーカーネルは、不整合情報を補完し、閉塞された動きを回復するために、拡大された受容野をもたらす。 我々は円錐形接続とハイブリッド深度ワイド畳み込みを利用した効率的なスーパーカーネル設計を提案する。
  論文  参考訳（メタデータ） (2022-05-29T10:36:39Z)
• GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
  光フロー推定学習のためのGMFlowフレームワークを提案する。 機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。 我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
  論文  参考訳（メタデータ） (2021-11-26T18:59:56Z)
• Learning to Estimate Hidden Motions with Global Motion Aggregation [71.12650817490318]
  閉塞は、局所的な証拠に依存する光学フローアルゴリズムに重大な課題をもたらす。 最初の画像でピクセル間の長距離依存性を見つけるために,グローバルモーションアグリゲーションモジュールを導入する。 遮蔽領域における光流量推定が非遮蔽領域における性能を損なうことなく大幅に改善できることを実証した。
  論文  参考訳（メタデータ） (2021-04-06T10:32:03Z)
• LiteFlowNet3: Resolving Correspondence Ambiguity for More Accurate Optical Flow Estimation [99.19322851246972]
  本稿では,光フロー推定の問題に対処する2つのモジュールからなるディープネットワークである LiteFlowNet3 を紹介する。 LiteFlowNet3は、公開ベンチマークで有望な結果を達成するだけでなく、小さなモデルサイズと高速なランタイムも備えている。
  論文  参考訳（メタデータ） (2020-07-18T03:30:39Z)
• MaskFlownet: Asymmetric Feature Matching with Learnable Occlusion Mask [23.496206316161633]
  MaskFlownetは、MPI Sintel、KITTI 2012、2015ベンチマークで発表されたすべての光学フローメソッドを上回っている。 提案手法は, MPIシンテル, KITTI 2012, 2015 ベンチマークで公表された全光フロー法を超越した。
  論文  参考訳（メタデータ） (2020-03-24T16:29:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。