論文の概要: Weakly Supervised Learning of Rigid 3D Scene Flow
- arxiv url: http://arxiv.org/abs/2102.08945v1
- Date: Wed, 17 Feb 2021 18:58:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-18 14:51:09.334305
- Title: Weakly Supervised Learning of Rigid 3D Scene Flow
- Title(参考訳): 剛体3次元シーンフローの弱教師付き学習
- Authors: Zan Gojcic, Or Litany, Andreas Wieser, Leonidas J. Guibas, Tolga
Birdal
- Abstract要約: 本研究では,剛体体として動くエージェント群によって説明できる3次元シーンを多用したデータ駆動シーンフロー推定アルゴリズムを提案する。
4種類の自律運転データセットにおいて,提案手法の有効性と一般化能力を示す。
- 参考スコア(独自算出の注目度): 81.37165332656612
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a data-driven scene flow estimation algorithm exploiting the
observation that many 3D scenes can be explained by a collection of agents
moving as rigid bodies. At the core of our method lies a deep architecture able
to reason at the \textbf{object-level} by considering 3D scene flow in
conjunction with other 3D tasks. This object level abstraction, enables us to
relax the requirement for dense scene flow supervision with simpler binary
background segmentation mask and ego-motion annotations. Our mild supervision
requirements make our method well suited for recently released massive data
collections for autonomous driving, which do not contain dense scene flow
annotations. As output, our model provides low-level cues like pointwise flow
and higher-level cues such as holistic scene understanding at the level of
rigid objects. We further propose a test-time optimization refining the
predicted rigid scene flow. We showcase the effectiveness and generalization
capacity of our method on four different autonomous driving datasets. We
release our source code and pre-trained models under
\url{github.com/zgojcic/Rigid3DSceneFlow}.
- Abstract(参考訳): 本研究では,剛体体として動くエージェント群によって説明できる3次元シーンを多用したデータ駆動シーンフロー推定アルゴリズムを提案する。
提案手法のコアとなるのは,他の3次元タスクと連動して3次元シーンフローを考慮し,‘textbf{object-level}’を推論できる深層アーキテクチャである。
このオブジェクトレベルの抽象化により、単純なバイナリバックグラウンドセグメンテーションマスクとエゴモーションアノテーションにより、密なシーンフロー監視の要件を緩和できます。
我々の軽度の監視要件は、最近リリースされた高密度なシーンフローアノテーションを含まない自動運転のための大規模データ収集に適している。
結果として,本モデルは,ポイントワイズフローのような低レベルな手掛かりと,剛性のある物体のレベルでの総合的なシーン理解のような高レベルな手掛かりを提供する。
さらに,予測された厳密なシーンフローを精査するテスト時間最適化を提案する。
4種類の自律運転データセットにおいて,提案手法の有効性と一般化能力を示す。
ソースコードとトレーニング済みモデルを \url{github.com/zgojcic/Rigid3DSceneFlow} でリリースします。
関連論文リスト
- Self-Supervised 3D Scene Flow Estimation and Motion Prediction using
Local Rigidity Prior [100.98123802027847]
点群における3次元シーンフロー推定とクラス非依存動作予測について検討した。
我々は,一方向の剛性動作推定により,自己教師型学習のための擬似シーンフローラベルを生成する。
本手法は,自己監督型シーンフロー学習における最先端性能を実現する。
論文 参考訳(メタデータ) (2023-10-17T14:06:55Z) - Multi-Body Neural Scene Flow [37.31530794244607]
本研究では, 剛体のSE(3)$パラメータを制約する, 煩雑で不安定な戦略を使わずに, 多体剛性を実現することができることを示す。
これは、剛体に対する流れ予測における等尺性を促進するために、シーンフロー最適化を規則化することによって達成される。
実世界のデータセットに関する広範な実験を行い、我々の手法が3次元シーンフローにおける最先端の4次元軌道予測と長期的ポイントワイドの4次元軌道予測より優れていることを実証した。
論文 参考訳(メタデータ) (2023-10-16T11:37:53Z) - SurroundOcc: Multi-Camera 3D Occupancy Prediction for Autonomous Driving [98.74706005223685]
3Dシーン理解は、視覚に基づく自動運転において重要な役割を果たす。
マルチカメラ画像を用いたSurroundOcc法を提案する。
論文 参考訳(メタデータ) (2023-03-16T17:59:08Z) - SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for
Dynamic Scenes [58.89295356901823]
自己監督型単眼深度推定は静的な場面で顕著な結果を示した。
トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。
単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。
我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
論文 参考訳(メタデータ) (2022-11-07T16:17:47Z) - 3D Object Detection with a Self-supervised Lidar Scene Flow Backbone [10.341296683155973]
本稿では,下流3次元視覚タスクのための汎用クラウドバックボーンモデルを学習するために,自己指導型トレーニング戦略を提案する。
我々の主な貢献は、学習の流れと動きの表現を活用し、自己教師付きバックボーンと3D検出ヘッドを組み合わせることである。
KITTIとnuScenesベンチマークの実験により、提案した自己教師付き事前学習は3次元検出性能を著しく向上させることが示された。
論文 参考訳(メタデータ) (2022-05-02T07:53:29Z) - Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。
2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。
本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
論文 参考訳(メタデータ) (2021-01-11T04:20:30Z) - Do not trust the neighbors! Adversarial Metric Learning for
Self-Supervised Scene Flow Estimation [0.0]
シーンフローは動的3次元シーンの個々の点に3次元運動ベクトルを推定するタスクである。
本稿では,3次元シーンフローベンチマークと,トレーニングフローモデルのための新しい自己教師型セットアップを提案する。
我々は,移動コヒーレンスを保ち,多くの自監督ベースラインが把握できない局所的なジオメトリーを維持できることを発見した。
論文 参考訳(メタデータ) (2020-11-01T17:41:32Z) - Adversarial Self-Supervised Scene Flow Estimation [15.278302535191866]
本研究では,自己監督型シーンフロー推定のためのメトリクス学習手法を提案する。
自己監督型シーンフロー推定のためのベンチマークであるScene Flow Sandboxについて概説する。
論文 参考訳(メタデータ) (2020-11-01T16:37:37Z) - Hierarchical Attention Learning of Scene Flow in 3D Point Clouds [28.59260783047209]
本稿では,2つの連続する3次元点雲からのシーンフロー推定の問題について検討する。
隣接フレームにおける点特徴の相関を学習するために, 二重注意を有する新しい階層型ニューラルネットワークを提案する。
実験の結果,提案したネットワークは3次元シーンフロー推定の最先端性能より優れていた。
論文 参考訳(メタデータ) (2020-10-12T14:56:08Z) - 3D Sketch-aware Semantic Scene Completion via Semi-supervised Structure
Prior [50.73148041205675]
セマンティック・シーン・コンプリート(SSC)タスクの目標は、単一視点で観察することで、ボリューム占有率とシーン内のオブジェクトの意味ラベルの完全な3Dボクセル表現を同時に予測することである。
低解像度のボクセル表現で深度情報を埋め込む新しい幾何学的手法を提案する。
提案手法は,SSCフレームワークからの深度特徴学習よりも有効である。
論文 参考訳(メタデータ) (2020-03-31T09:33:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。