論文の概要: Joint Self-supervised Depth and Optical Flow Estimation towards Dynamic Objects

• arxiv url: http://arxiv.org/abs/2310.00011v1
• Date: Thu, 7 Sep 2023 04:00:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-08 11:15:00.986473
• Title: Joint Self-supervised Depth and Optical Flow Estimation towards Dynamic Objects
• Title（参考訳）: 動的物体に対する共同自己監督深度と光学的流れの推定
• Authors: Zhengyang Lu and Ying Chen
• Abstract要約: 本研究では,フレーム間監督深度と光フロー推定の枠組みを構築した。 動作のセグメンテーションでは、予備推定光フローマップを広い接続領域で適応的に分割する。 提案手法は,KITTI深度データセット上で既存の深度推定器よりも優れた精度を示す。
• 参考スコア（独自算出の注目度）: 3.794605440322862
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Significant attention has been attracted to deep learning-based depth estimates. Dynamic objects become the most hard problems in inter-frame-supervised depth estimates due to the uncertainty in adjacent frames. Thus, integrating optical flow information with depth estimation is a feasible solution, as the optical flow is an essential motion representation. In this work, we construct a joint inter-frame-supervised depth and optical flow estimation framework, which predicts depths in various motions by minimizing pixel wrap errors in bilateral photometric re-projections and optical vectors. For motion segmentation, we adaptively segment the preliminary estimated optical flow map with large areas of connectivity. In self-supervised depth estimation, different motion regions are predicted independently and then composite into a complete depth. Further, the pose and depth estimations re-synthesize the optical flow maps, serving to compute reconstruction errors with the preliminary predictions. Our proposed joint depth and optical flow estimation outperforms existing depth estimators on the KITTI Depth dataset, both with and without Cityscapes pretraining. Additionally, our optical flow results demonstrate competitive performance on the KITTI Flow 2015 dataset.
• Abstract（参考訳）: 深層学習に基づく深度推定に注目が集まっている。 動的物体は、隣接するフレームの不確実性のため、フレーム間監督深度推定において最も難しい問題となる。 したがって、光フロー情報と深度推定を統合することは、光フローが必須運動表現であるため、実現可能な解である。 本研究では,両光量再投影および光ベクトルにおける画素ラップ誤差を最小限に抑え,様々な動きの深度を予測する,フレーム間監督深度・光フロー推定フレームワークを構築する。 動きのセグメンテーションには,事前推定された光フローマップを大面積の接続領域に適応的に分割する。 自己監督深度推定では、異なる動き領域が独立に予測され、その後完全に深度に合成される。 さらに、ポーズと深さの推定は光学フローマップを再合成し、予備予測で再構成誤差を計算するのに役立つ。 提案手法は,KITTI深度データセットにおける既存深度推定値よりも,都市景観事前学習の有無で優れる。 さらに,KITTI Flow 2015データセット上での競合性能についても検討した。

関連論文リスト

• ScaleDepth: Decomposing Metric Depth Estimation into Scale Prediction and Relative Depth Estimation [62.600382533322325]
  本研究では,新しい単分子深度推定法であるScaleDepthを提案する。 提案手法は,距離深度をシーンスケールと相対深度に分解し,セマンティック・アウェア・スケール予測モジュールを用いて予測する。 本手法は,室内と屋外の両方のシーンを統一した枠組みで距離推定する。
  論文  参考訳（メタデータ） (2024-07-11T05:11:56Z)
• Self-supervised Monocular Depth Estimation on Water Scenes via Specular Reflection Prior [3.2120448116996103]
  本論文は,フレーム内事前情報を用いた深層学習深度推定のための最初のセルフスーパービジョンを提案する。 第1段階では、反射成分と全体像とを分離する分水ネットワークが実行される。 SmoothL1と新しい光度適応型SSIMを組み合わせた光度再投影誤差を定式化し、ポーズと深さの推定を最適化する。
  論文  参考訳（メタデータ） (2024-04-10T17:25:42Z)
• $\mathrm{F^2Depth}$: Self-supervised Indoor Monocular Depth Estimation via Optical Flow Consistency and Feature Map Synthesis [17.18692080133249]
  自己教師型屋内単分子深度推定フレームワークである$mathrmF2Depth$を提案する。 深度学習を監督するために、自己教師付き光フロー推定ネットワークを導入する。 その結果,本モデルは未知の屋内シーンで撮影された単眼画像とよく一致していることがわかった。
  論文  参考訳（メタデータ） (2024-03-27T11:00:33Z)
• Skin the sheep not only once: Reusing Various Depth Datasets to Drive the Learning of Optical Flow [25.23550076996421]
  本稿では,光学的フロー推定とステレオマッチングの幾何学的接続を活用することを提案する。 モノクラー深度データセットを仮想的不均一性によってステレオデータに変換する。 また、ステレオデータに仮想カメラの動きを導入し、垂直方向に沿って追加のフローを生成する。
  論文  参考訳（メタデータ） (2023-10-03T06:56:07Z)
• EndoDepthL: Lightweight Endoscopic Monocular Depth Estimation with CNN-Transformer [0.0]
  我々は,CNNとTransformerを統合してマルチスケール深度マップを推定する,EndoDepthLという新しい軽量ソリューションを提案する。 提案手法は,ネットワークアーキテクチャの最適化,マルチスケール拡張畳み込み,マルチチャネルアテンション機構の導入を含む。 内視鏡画像における単眼深度推定の性能をよりよく評価するために,新しい複雑性評価指標を提案する。
  論文  参考訳（メタデータ） (2023-08-04T21:38:29Z)
• USegScene: Unsupervised Learning of Depth, Optical Flow and Ego-Motion with Semantic Guidance and Coupled Networks [31.600708674008384]
  UegSceneは、ステレオカメラ画像の奥行き、光学的流れ、エゴモーション推定を意味的に導くためのフレームワークである。 一般的なKITTIデータセットを用いて,提案手法が他の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-15T13:25:47Z)
• Dimensions of Motion: Learning to Predict a Subspace of Optical Flow from a Single Image [50.9686256513627]
  本稿では,1つのビデオフレームから,実際の瞬時光フローを含む低次元の光フローのサブスペースを予測する問題を紹介する。 いくつかの自然シーンの仮定によって、不均一性によってパラメータ化されたベースフローフィールドの集合を通して、適切なフロー部分空間を特定できることを示す。 これは、カメラの内在やポーズを必要とせずに、単眼入力ビデオを使用して教師なしの方法でこれらのタスクを学習する新しいアプローチを提供する。
  論文  参考訳（メタデータ） (2021-12-02T18:52:54Z)
• Sensor-Guided Optical Flow [53.295332513139925]
  本稿では、未知の領域や未知の領域において、より優れた精度を実現するために、外部キューを用いた光フローネットワークを誘導するフレームワークを提案する。 能動センサからの深度測定と幾何および手作り光学フローアルゴリズムを組み合わせることで,これらがどのように得られるかを示す。
  論文  参考訳（メタデータ） (2021-09-30T17:59:57Z)
• Deep Two-View Structure-from-Motion Revisited [83.93809929963969]
  2次元構造移動(SfM)は3次元再構成と視覚SLAMの基礎となる。 古典パイプラインの適切性を活用することで,深部2視点sfmの問題を再検討することを提案する。 本手法は,1)2つのフレーム間の密対応を予測する光フロー推定ネットワーク,2)2次元光フロー対応から相対カメラポーズを計算する正規化ポーズ推定モジュール,3)エピポーラ幾何を利用して探索空間を縮小し,密対応を洗練し,相対深度マップを推定するスケール不変深さ推定ネットワークからなる。
  論文  参考訳（メタデータ） (2021-04-01T15:31:20Z)
• CodeVIO: Visual-Inertial Odometry with Learned Optimizable Dense Depth [83.77839773394106]
  本稿では,軽量で密結合の深い深度ネットワークと視覚慣性オドメトリーシステムを提案する。 我々は、初期深度予測の精度を高めるために、以前にVIOから切り離されたスパース特徴を持つネットワークを提供する。 本稿では,ネットワークとコードヤコビアンでのみGPUアクセラレーションを活用しながら,シングルスレッド実行でリアルタイムに動作可能であることを示す。
  論文  参考訳（メタデータ） (2020-12-18T09:42:54Z)
• Joint Unsupervised Learning of Optical Flow and Egomotion with Bi-Level Optimization [59.9673626329892]
  エピポーラ幾何を用いた光学フローとカメラモーションのグローバルな関係を利用する。 我々は暗黙の微分を用いて、その実装とは無関係に低レベルの幾何最適化層を通してバックプロパゲーションを可能にする。
  論文  参考訳（メタデータ） (2020-02-26T22:28:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。