論文の概要: Rethinking Optical Flow from Geometric Matching Consistent Perspective

• arxiv url: http://arxiv.org/abs/2303.08384v1
• Date: Wed, 15 Mar 2023 06:00:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 14:47:42.837731
• Title: Rethinking Optical Flow from Geometric Matching Consistent Perspective
• Title（参考訳）: 幾何学的マッチングによる光流れの再考
• Authors: Qiaole Dong and Chenjie Cao and Yanwei Fu
• Abstract要約: 本稿では,従来の光流量推定法について再考する。 我々は,より優れた特徴表現を持つ光フロー推定(MatchFlow)のための事前学習タスクとして,GIMを使用している。 Sintel クリーンパスと KITTI テストセットの GMA から 11.5% と 10.1% の誤差削減を実現した。
• 参考スコア（独自算出の注目度）: 38.014569953980754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optical flow estimation is a challenging problem remaining unsolved. Recent deep learning based optical flow models have achieved considerable success. However, these models often train networks from the scratch on standard optical flow data, which restricts their ability to robustly and geometrically match image features. In this paper, we propose a rethinking to previous optical flow estimation. We particularly leverage Geometric Image Matching (GIM) as a pre-training task for the optical flow estimation (MatchFlow) with better feature representations, as GIM shares some common challenges as optical flow estimation, and with massive labeled real-world data. Thus, matching static scenes helps to learn more fundamental feature correlations of objects and scenes with consistent displacements. Specifically, the proposed MatchFlow model employs a QuadTree attention-based network pre-trained on MegaDepth to extract coarse features for further flow regression. Extensive experiments show that our model has great cross-dataset generalization. Our method achieves 11.5% and 10.1% error reduction from GMA on Sintel clean pass and KITTI test set. At the time of anonymous submission, our MatchFlow(G) enjoys state-of-the-art performance on Sintel clean and final pass compared to published approaches with comparable computation and memory footprint. Codes and models will be released in https://github.com/DQiaole/MatchFlow.
• Abstract（参考訳）: 光流量推定は未解決の課題である。 近年の深層学習に基づく光フローモデルは大きな成功を収めている。 しかし、これらのモデルはしばしば標準の光フローデータからネットワークをスクラッチからトレーニングし、画像の特徴にロバストで幾何学的にマッチする能力を制限する。 本稿では,従来の光学的フロー推定に対する再考を提案する。 我々は特に,光学的フロー推定(MatchFlow)のための事前学習タスクとして幾何学的画像マッチング(GIM)を利用する。 したがって、静的シーンのマッチングは、一貫した変位を伴うオブジェクトとシーンのより基本的な特徴相関を学習するのに役立ちます。 具体的には,megadepthで事前学習した四分木注意型ネットワークを用いて,フロー回帰のための粗い特徴抽出を行う。 大規模な実験により、我々のモデルは非常にクロスデータセットの一般化が示される。 Sintel クリーンパスと KITTI テストセットの GMA から 11.5% と 10.1% の誤差削減を実現した。 匿名提出の時点では、matchflow(g)はsintel cleanとfinal passの最先端のパフォーマンスを、同等の計算量とメモリフットプリントを持つ公開アプローチと比較して享受しています。 コードとモデルはhttps://github.com/dqiaole/matchflowでリリースされる。

関連論文リスト

• HMAFlow: Learning More Accurate Optical Flow via Hierarchical Motion Field Alignment [0.5825410941577593]
  本稿では,挑戦シーンにおける光学的フロー推定を改善するために,HMAFlowと呼ばれる新しい手法を提案する。 提案モデルは主に,階層型運動場アライメント(HMA)モジュールと相関自己認識(CSA)モジュールの2つのコアコンポーネントから構成される。 実験により,本モデルが他の最先端手法と比較して最高の一般化性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2024-09-09T11:43:35Z)
• TIDE: Temporally Incremental Disparity Estimation via Pattern Flow in Structured Light System [17.53719804060679]
  TIDE-Netはモノカメラ構造光システムにおける差分計算の学習手法である。 得られた画像列に投影されたパターン(パターンフロー)の変形を利用して時間情報をモデル化する。 入力フレーム毎に、パターンフローに歪んだ相関ボリューム(現在のフレームから)と不均一(以前のフレームから)を融合する。
  論文  参考訳（メタデータ） (2023-10-13T07:55:33Z)
• GAFlow: Incorporating Gaussian Attention into Optical Flow [62.646389181507764]
  我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。 本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。 動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
  論文  参考訳（メタデータ） (2023-09-28T07:46:01Z)
• Deep Dynamic Scene Deblurring from Optical Flow [53.625999196063574]
  汚れは視覚的により快適な写真を提供し、写真がより便利になる。 非均一な曖昧さを数学的にモデル化することは困難である。 我々は,難解な特徴から鮮明な画像を復元する畳み込みニューラルネットワーク(CNN)を開発した。
  論文  参考訳（メタデータ） (2023-01-18T06:37:21Z)
• RealFlow: EM-based Realistic Optical Flow Dataset Generation from Videos [28.995525297929348]
  RealFlowは、ラベルのないリアルなビデオから直接、大規模な光フローデータセットを作成することができるフレームワークである。 まず,一対のビデオフレーム間の光フローを推定し,予測されたフローに基づいて,このペアから新たな画像を生成する。 本手法は,教師付きおよび教師なしの光流法と比較して,2つの標準ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-22T13:33:03Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Learning Optical Flow from a Few Matches [67.83633948984954]
  密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。 実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2021-04-05T21:44:00Z)
• DeFlow: Learning Complex Image Degradations from Unpaired Data with Conditional Flows [145.83812019515818]
  本論文では,不対データから画像劣化を学習するDeFlowを提案する。 共有フローデコーダネットワークの潜在空間における劣化過程をモデル化する。 共同画像復元と超解像におけるDeFlowの定式化を検証した。
  論文  参考訳（メタデータ） (2021-01-14T18:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。