論文の概要: Joint Unsupervised Learning of Optical Flow and Egomotion with Bi-Level Optimization

• arxiv url: http://arxiv.org/abs/2002.11826v1
• Date: Wed, 26 Feb 2020 22:28:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 15:17:26.925497
• Title: Joint Unsupervised Learning of Optical Flow and Egomotion with Bi-Level Optimization
• Title（参考訳）: 2レベル最適化による光流れの非教師なし学習とエゴモーション
• Authors: Shihao Jiang, Dylan Campbell, Miaomiao Liu, Stephen Gould, Richard Hartley
• Abstract要約: エピポーラ幾何を用いた光学フローとカメラモーションのグローバルな関係を利用する。 我々は暗黙の微分を用いて、その実装とは無関係に低レベルの幾何最適化層を通してバックプロパゲーションを可能にする。
• 参考スコア（独自算出の注目度）: 59.9673626329892
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the problem of joint optical flow and camera motion estimation in rigid scenes by incorporating geometric constraints into an unsupervised deep learning framework. Unlike existing approaches which rely on brightness constancy and local smoothness for optical flow estimation, we exploit the global relationship between optical flow and camera motion using epipolar geometry. In particular, we formulate the prediction of optical flow and camera motion as a bi-level optimization problem, consisting of an upper-level problem to estimate the flow that conforms to the predicted camera motion, and a lower-level problem to estimate the camera motion given the predicted optical flow. We use implicit differentiation to enable back-propagation through the lower-level geometric optimization layer independent of its implementation, allowing end-to-end training of the network. With globally-enforced geometric constraints, we are able to improve the quality of the estimated optical flow in challenging scenarios and obtain better camera motion estimates compared to other unsupervised learning methods.
• Abstract（参考訳）: 本稿では,教師なし深層学習の枠組みに幾何学的制約を組み込むことにより,剛体シーンにおける光学的流れとカメラモーション推定の問題に対処する。 光流推定のために明るさ定数と局所滑らかさに依存する既存のアプローチとは異なり、エピポーラ幾何を用いた光流とカメラの動きのグローバル関係を活用している。 特に, 予測されたカメラ動作に適合する流れを推定する上層問題と, 予測された光流れに与えられたカメラ動作を推定する下層問題とからなる2次最適化問題として, 光フローとカメラ動作の予測を定式化する。 ネットワークのエンド・ツー・エンドのトレーニングを可能にするため,低レベルの幾何最適化層を介し,暗黙の微分を用いてバックプロパゲーションを可能にする。 グローバルに強化された幾何学的制約により、計算された光学的フローの品質を挑戦シナリオで向上し、他の教師なし学習手法と比較してカメラの動きの推定精度を向上させることができる。

関連論文リスト

• Motion-prior Contrast Maximization for Dense Continuous-Time Motion Estimation [34.529280562470746]
  コントラスト最大化フレームワークと非直線運動を組み合わせた新たな自己監督的損失を画素レベルの軌跡の形で導入する。 連続時間運動の高密度推定では, 合成学習モデルのゼロショット性能を29%向上する。
  論文  参考訳（メタデータ） (2024-07-15T15:18:28Z)
• Skin the sheep not only once: Reusing Various Depth Datasets to Drive the Learning of Optical Flow [25.23550076996421]
  本稿では,光学的フロー推定とステレオマッチングの幾何学的接続を活用することを提案する。 モノクラー深度データセットを仮想的不均一性によってステレオデータに変換する。 また、ステレオデータに仮想カメラの動きを導入し、垂直方向に沿って追加のフローを生成する。
  論文  参考訳（メタデータ） (2023-10-03T06:56:07Z)
• Joint Self-supervised Depth and Optical Flow Estimation towards Dynamic Objects [3.794605440322862]
  本研究では,フレーム間監督深度と光フロー推定の枠組みを構築した。 動作のセグメンテーションでは、予備推定光フローマップを広い接続領域で適応的に分割する。 提案手法は,KITTI深度データセット上で既存の深度推定器よりも優れた精度を示す。
  論文  参考訳（メタデータ） (2023-09-07T04:00:52Z)
• Unsupervised Learning Optical Flow in Multi-frame Dynamic Environment Using Temporal Dynamic Modeling [7.111443975103329]
  本稿では,動的シーンの複数フレーム列からの光フロー推定について検討する。 隣接フレームの動作先を用いて、閉鎖領域のより信頼性の高い監視を行う。 KITTI 2012、KITTI 2015、Sintel Clean、Sintel Finalデータセットの実験は、我々の手法の有効性を実証している。
  論文  参考訳（メタデータ） (2023-04-14T14:32:02Z)
• Dimensions of Motion: Learning to Predict a Subspace of Optical Flow from a Single Image [50.9686256513627]
  本稿では,1つのビデオフレームから,実際の瞬時光フローを含む低次元の光フローのサブスペースを予測する問題を紹介する。 いくつかの自然シーンの仮定によって、不均一性によってパラメータ化されたベースフローフィールドの集合を通して、適切なフロー部分空間を特定できることを示す。 これは、カメラの内在やポーズを必要とせずに、単眼入力ビデオを使用して教師なしの方法でこれらのタスクを学習する新しいアプローチを提供する。
  論文  参考訳（メタデータ） (2021-12-02T18:52:54Z)
• Dense Optical Flow from Event Cameras [55.79329250951028]
  本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。 提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
  論文  参考訳（メタデータ） (2021-08-24T07:39:08Z)
• Unsupervised Motion Representation Enhanced Network for Action Recognition [4.42249337449125]
  連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。 効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。 UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
  論文  参考訳（メタデータ） (2021-03-05T04:14:32Z)
• Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
  画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。 本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:45:18Z)
• Pushing the Envelope of Rotation Averaging for Visual SLAM [69.7375052440794]
  視覚SLAMシステムのための新しい最適化バックボーンを提案する。 従来の単分子SLAMシステムの精度, 効率, 堅牢性を向上させるために, 平均化を活用している。 我々のアプローチは、公開ベンチマークの最先端技術に対して、同等の精度で最大10倍高速に表示することができる。
  論文  参考訳（メタデータ） (2020-11-02T18:02:26Z)
• What Matters in Unsupervised Optical Flow [51.45112526506455]
  教師なし光流における鍵成分の集合を比較し解析する。 教師なしフローモデルに対する新しい改良点を多数構築する。 本稿では,従来の最先端技術よりもはるかに優れた非教師なしフロー技術を提案する。
  論文  参考訳（メタデータ） (2020-06-08T19:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。