論文の概要: Unsupervised Learning of 3D Scene Flow from Monocular Camera
- arxiv url: http://arxiv.org/abs/2206.03673v1
- Date: Wed, 8 Jun 2022 04:57:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 14:08:18.002278
- Title: Unsupervised Learning of 3D Scene Flow from Monocular Camera
- Title（参考訳）: 単眼カメラによる3次元シーンフローの教師なし学習
- Authors: Guangming Wang, Xiaoyu Tian, Ruiqi Ding, and Hesheng Wang
- Abstract要約: 実シーンにおけるシーンフローの基礎的真理を知ることは困難であり、近年の研究は、学習のための合成データに基づいている。
本稿では,モノクロカメラで撮影した2つの連続したフレームの画像を利用した,シーンフローの教師なし学習手法を提案する。
本手法は,実世界データを用いたシーンフローネットワークの学習を目標とし,トレーニングデータとテストデータとのギャップを埋めることを実現する。
- 参考スコア（独自算出の注目度）: 21.34395959441377
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scene flow represents the motion of points in the 3D space, which is the
counterpart of the optical flow that represents the motion of pixels in the 2D
image. However, it is difficult to obtain the ground truth of scene flow in the
real scenes, and recent studies are based on synthetic data for training.
Therefore, how to train a scene flow network with unsupervised methods based on
real-world data shows crucial significance. A novel unsupervised learning
method for scene flow is proposed in this paper, which utilizes the images of
two consecutive frames taken by monocular camera without the ground truth of
scene flow for training. Our method realizes the goal that training scene flow
network with real-world data, which bridges the gap between training data and
test data and broadens the scope of available data for training. Unsupervised
learning of scene flow in this paper mainly consists of two parts: (i) depth
estimation and camera pose estimation, and (ii) scene flow estimation based on
four different loss functions. Depth estimation and camera pose estimation
obtain the depth maps and camera pose between two consecutive frames, which
provide further information for the next scene flow estimation. After that, we
used depth consistency loss, dynamic-static consistency loss, Chamfer loss, and
Laplacian regularization loss to carry out unsupervised training of the scene
flow network. To our knowledge, this is the first paper that realizes the
unsupervised learning of 3D scene flow from monocular camera. The experiment
results on KITTI show that our method for unsupervised learning of scene flow
meets great performance compared to traditional methods Iterative Closest Point
(ICP) and Fast Global Registration (FGR). The source code is available at:
https://github.com/IRMVLab/3DUnMonoFlow.
- Abstract（参考訳）: シーンフローは3次元空間内の点の動きを表し、それは2次元画像中のピクセルの動きを表す光学フローの対物である。
しかし、実際の場面ではシーンの流れの基盤となる真理を得ることは困難であり、近年の研究は訓練のための合成データに基づいている。
したがって,実世界データに基づく教師なし手法を用いてシーンフローネットワークを訓練する方法が重要である。
本稿では,単眼カメラが撮影する2つの連続するフレームの映像を,シーンフローの基礎的真実を生かして学習する,シーンフローの教師なし学習手法を提案する。
本手法は,実世界データを用いたシーンフローネットワークの訓練を目標とし,トレーニングデータとテストデータとのギャップを橋渡し,利用可能なデータの範囲を広げる。
本論文におけるシーンフローの教師なし学習は主に2つの部分からなる。
(i)深度推定とカメラポーズ推定、
(ii) 4つの異なる損失関数に基づくシーンフロー推定。
深さ推定とカメラポーズ推定は、2つの連続するフレーム間の深度マップとカメラポーズを求め、次のシーンフロー推定のためのさらなる情報を提供する。
その後,シーンフローネットワークの教師なしトレーニングを行うために,深さ整合性損失,動的静的一貫性損失,シャムファー損失,ラプラシアン正規化損失を用いた。
私たちの知る限りでは、単眼カメラから3dシーンフローの教師なし学習を実現する最初の論文である。
KITTI実験の結果, 従来のICP法やFGR法と比較して, シーンフローの教師なし学習は高い性能を示した。
ソースコードはhttps://github.com/irmvlab/3dunmonoflowで入手できる。
関連論文リスト
- FlowCam: Training Generalizable 3D Radiance Fields without Camera Poses
via Pixel-Aligned Scene Flow [26.528667940013598]
ポーズ画像からの3次元ニューラルネットワークの再構成は、自己教師付き表現学習の有望な方法として現れている。
これらの3Dシーンの学習者が大規模ビデオデータに展開するのを防ぐ重要な課題は、構造から移動までの正確なカメラポーズに依存することである。
本稿では,オンラインと1つのフォワードパスでカメラポーズと3Dニューラルシーン表現を共同で再構築する手法を提案する。
論文 参考訳（メタデータ） (2023-05-31T20:58:46Z) - Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized
Photography [54.36608424943729]
2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。
我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
論文 参考訳（メタデータ） (2022-12-22T18:54:34Z) - 3D Scene Flow Estimation on Pseudo-LiDAR: Bridging the Gap on Estimating
Point Motion [19.419030878019974]
3次元シーンフローは、3次元ユークリッド空間において、現在の時刻の点が次回に流れる様子を特徴付ける。
3次元空間に2次元画素の密接な性質を導入することにより、予測されたシーンフローの安定性が向上する。
より効果的な3次元シーンフローの教師なし学習を実現するために, 差分整合損失を提案する。
論文 参考訳（メタデータ） (2022-09-27T03:27:09Z) - CO^3: Cooperative Unsupervised 3D Representation Learning for Autonomous
Driving [57.16921612272783]
本研究では,協調コントラスト学習(Cooperative Contrastive Learning)とコンテキスト形状予測(Contextual Shape Prediction)というCO3を提案する。
我々はCO3が屋外の場面でLiDAR点雲の理解を容易にすると信じている。
論文 参考訳（メタデータ） (2022-06-08T17:37:58Z) - Learning Scene Flow in 3D Point Clouds with Noisy Pseudo Labels [71.11151016581806]
そこで本研究では,3次元の3次元動きを点雲からキャプチャするシーンフロー手法を提案する。
提案手法は,最先端の自己教師型アプローチより優れるだけでなく,正確な接地構造を用いた教師型アプローチよりも優れる。
論文 参考訳（メタデータ） (2022-03-23T18:20:03Z) - Self-Supervised Multi-Frame Monocular Scene Flow [61.588808225321735]
自己監督学習に基づくマルチフレーム一眼的シーンフローネットワークを導入。
自己監督学習に基づく単眼的シーンフロー法における最新の精度を観察する。
論文 参考訳（メタデータ） (2021-05-05T17:49:55Z) - Weakly Supervised Learning of Rigid 3D Scene Flow [81.37165332656612]
本研究では,剛体体として動くエージェント群によって説明できる3次元シーンを多用したデータ駆動シーンフロー推定アルゴリズムを提案する。
4種類の自律運転データセットにおいて,提案手法の有効性と一般化能力を示す。
論文 参考訳（メタデータ） (2021-02-17T18:58:02Z) - Do not trust the neighbors! Adversarial Metric Learning for
Self-Supervised Scene Flow Estimation [0.0]
シーンフローは動的3次元シーンの個々の点に3次元運動ベクトルを推定するタスクである。
本稿では,3次元シーンフローベンチマークと,トレーニングフローモデルのための新しい自己教師型セットアップを提案する。
我々は,移動コヒーレンスを保ち,多くの自監督ベースラインが把握できない局所的なジオメトリーを維持できることを発見した。
論文 参考訳（メタデータ） (2020-11-01T17:41:32Z) - Adversarial Self-Supervised Scene Flow Estimation [15.278302535191866]
本研究では,自己監督型シーンフロー推定のためのメトリクス学習手法を提案する。
自己監督型シーンフロー推定のためのベンチマークであるScene Flow Sandboxについて概説する。
論文 参考訳（メタデータ） (2020-11-01T16:37:37Z) - Self-Supervised Human Depth Estimation from Monocular Videos [99.39414134919117]
人間の深度を推定する従来の方法は、しばしば地上の真実の深度データを用いた教師あり訓練を必要とする。
本稿では,YouTubeビデオの奥行きを知ることなく,自己指導型手法を提案する。
実験により,本手法はより一般化され,野生のデータに対してより優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2020-05-07T09:45:11Z) - Self-Supervised Monocular Scene Flow Estimation [27.477810324117016]
本稿では,競争精度とリアルタイム性能を両立させる新しい単眼シーンフロー法を提案する。
逆問題の観点から、深度と3次元運動を同時に推定する単一畳み込みニューラルネットワーク(CNN)を設計する。
論文 参考訳（メタデータ） (2020-04-08T17:55:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。