論文の概要: Rethinking Optical Flow from Geometric Matching Consistent Perspective

• arxiv url: http://arxiv.org/abs/2303.08384v1
• Date: Wed, 15 Mar 2023 06:00:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 14:47:42.837731
• Title: Rethinking Optical Flow from Geometric Matching Consistent Perspective
• Title（参考訳）: 幾何学的マッチングによる光流れの再考
• Authors: Qiaole Dong and Chenjie Cao and Yanwei Fu
• Abstract要約: 本稿では,従来の光流量推定法について再考する。 我々は,より優れた特徴表現を持つ光フロー推定(MatchFlow)のための事前学習タスクとして,GIMを使用している。 Sintel クリーンパスと KITTI テストセットの GMA から 11.5% と 10.1% の誤差削減を実現した。
• 参考スコア（独自算出の注目度）: 38.014569953980754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optical flow estimation is a challenging problem remaining unsolved. Recent deep learning based optical flow models have achieved considerable success. However, these models often train networks from the scratch on standard optical flow data, which restricts their ability to robustly and geometrically match image features. In this paper, we propose a rethinking to previous optical flow estimation. We particularly leverage Geometric Image Matching (GIM) as a pre-training task for the optical flow estimation (MatchFlow) with better feature representations, as GIM shares some common challenges as optical flow estimation, and with massive labeled real-world data. Thus, matching static scenes helps to learn more fundamental feature correlations of objects and scenes with consistent displacements. Specifically, the proposed MatchFlow model employs a QuadTree attention-based network pre-trained on MegaDepth to extract coarse features for further flow regression. Extensive experiments show that our model has great cross-dataset generalization. Our method achieves 11.5% and 10.1% error reduction from GMA on Sintel clean pass and KITTI test set. At the time of anonymous submission, our MatchFlow(G) enjoys state-of-the-art performance on Sintel clean and final pass compared to published approaches with comparable computation and memory footprint. Codes and models will be released in https://github.com/DQiaole/MatchFlow.
• Abstract（参考訳）: 光流量推定は未解決の課題である。 近年の深層学習に基づく光フローモデルは大きな成功を収めている。 しかし、これらのモデルはしばしば標準の光フローデータからネットワークをスクラッチからトレーニングし、画像の特徴にロバストで幾何学的にマッチする能力を制限する。 本稿では,従来の光学的フロー推定に対する再考を提案する。 我々は特に,光学的フロー推定(MatchFlow)のための事前学習タスクとして幾何学的画像マッチング(GIM)を利用する。 したがって、静的シーンのマッチングは、一貫した変位を伴うオブジェクトとシーンのより基本的な特徴相関を学習するのに役立ちます。 具体的には,megadepthで事前学習した四分木注意型ネットワークを用いて,フロー回帰のための粗い特徴抽出を行う。 大規模な実験により、我々のモデルは非常にクロスデータセットの一般化が示される。 Sintel クリーンパスと KITTI テストセットの GMA から 11.5% と 10.1% の誤差削減を実現した。 匿名提出の時点では、matchflow(g)はsintel cleanとfinal passの最先端のパフォーマンスを、同等の計算量とメモリフットプリントを持つ公開アプローチと比較して享受しています。 コードとモデルはhttps://github.com/dqiaole/matchflowでリリースされる。

関連論文リスト

• Deep Dynamic Scene Deblurring from Optical Flow [53.625999196063574]
  汚れは視覚的により快適な写真を提供し、写真がより便利になる。 非均一な曖昧さを数学的にモデル化することは困難である。 我々は,難解な特徴から鮮明な画像を復元する畳み込みニューラルネットワーク(CNN)を開発した。
  論文  参考訳（メタデータ） (2023-01-18T06:37:21Z)
• RealFlow: EM-based Realistic Optical Flow Dataset Generation from Videos [28.995525297929348]
  RealFlowは、ラベルのないリアルなビデオから直接、大規模な光フローデータセットを作成することができるフレームワークである。 まず,一対のビデオフレーム間の光フローを推定し,予測されたフローに基づいて,このペアから新たな画像を生成する。 本手法は,教師付きおよび教師なしの光流法と比較して,2つの標準ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-22T13:33:03Z)
• SiPRNet: End-to-End Learning for Single-Shot Phase Retrieval [8.820823270160695]
  畳み込みニューラルネットワーク(CNN)は、様々な画像再構成タスクにおいて重要な役割を果たしている。 本稿では,1つのフーリエ強度測定から信号を取得するために,SiPRNetという新しいCNN構造を設計する。 提案手法は、シングルショットマスクレス位相検索において、他のCNNおよび従来の最適化手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-05-23T16:24:52Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Learning Optical Flow with Adaptive Graph Reasoning [35.348449774221656]
  光フローとして知られるビデオフレーム間のピクセルごとの運動を推定することは、ビデオの理解と分析において長年の課題である。 我々は,光フローにおけるシーン/コンテキスト情報の価値を強調するために,光フローに対する適応グラフ推論(AGFlow)と呼ばれる新しいグラフベースのアプローチを導入する。 AGFlowは1.43ピクセルと2.47ピクセルのEPEで最高の精度を達成し、それぞれ11.2%、13.6%の最先端のアプローチを上回っている。
  論文  参考訳（メタデータ） (2022-02-08T13:41:20Z)
• Learning Optical Flow from a Few Matches [67.83633948984954]
  密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。 実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2021-04-05T21:44:00Z)
• DeFlow: Learning Complex Image Degradations from Unpaired Data with Conditional Flows [145.83812019515818]
  本論文では,不対データから画像劣化を学習するDeFlowを提案する。 共有フローデコーダネットワークの潜在空間における劣化過程をモデル化する。 共同画像復元と超解像におけるDeFlowの定式化を検証した。
  論文  参考訳（メタデータ） (2021-01-14T18:58:01Z)
• What Matters in Unsupervised Optical Flow [51.45112526506455]
  教師なし光流における鍵成分の集合を比較し解析する。 教師なしフローモデルに対する新しい改良点を多数構築する。 本稿では,従来の最先端技術よりもはるかに優れた非教師なしフロー技術を提案する。
  論文  参考訳（メタデータ） (2020-06-08T19:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。