論文の概要: Unsupervised Learning of 3D Scene Flow with 3D Odometry Assistance

• arxiv url: http://arxiv.org/abs/2209.04945v1
• Date: Sun, 11 Sep 2022 21:53:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-13 13:20:12.786400
• Title: Unsupervised Learning of 3D Scene Flow with 3D Odometry Assistance
• Title（参考訳）: 3次元オドメトリー支援による3次元シーンフローの教師なし学習
• Authors: Guangming Wang, Zhiheng Feng, Chaokang Jiang, Hesheng Wang
• Abstract要約: シーンフロー推定は、自律走行場、アクティビティ認識、バーチャルリアリティーフィールドなどの様々なアプリケーションで使われている。 実世界のデータに対して,現場の流れを真実とアノテートすることは困難である。 本稿では,映像の流れの教師なし学習を支援するためにオドメトリ情報を使用し,実世界のLiDARデータを用いてネットワークをトレーニングすることを提案する。
• 参考スコア（独自算出の注目度）: 20.735976558587588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene flow represents the 3D motion of each point in the scene, which explicitly describes the distance and the direction of each point's movement. Scene flow estimation is used in various applications such as autonomous driving fields, activity recognition, and virtual reality fields. As it is challenging to annotate scene flow with ground truth for real-world data, this leaves no real-world dataset available to provide a large amount of data with ground truth for scene flow estimation. Therefore, many works use synthesized data to pre-train their network and real-world LiDAR data to finetune. Unlike the previous unsupervised learning of scene flow in point clouds, we propose to use odometry information to assist the unsupervised learning of scene flow and use real-world LiDAR data to train our network. Supervised odometry provides more accurate shared cost volume for scene flow. In addition, the proposed network has mask-weighted warp layers to get a more accurate predicted point cloud. The warp operation means applying an estimated pose transformation or scene flow to a source point cloud to obtain a predicted point cloud and is the key to refining scene flow from coarse to fine. When performing warp operations, the points in different states use different weights for the pose transformation and scene flow transformation. We classify the states of points as static, dynamic, and occluded, where the static masks are used to divide static and dynamic points, and the occlusion masks are used to divide occluded points. The mask-weighted warp layer indicates that static masks and occlusion masks are used as weights when performing warp operations. Our designs are proved to be effective in ablation experiments. The experiment results show the promising prospect of an odometry-assisted unsupervised learning method for 3D scene flow in real-world data.
• Abstract（参考訳）: シーンフローはシーン内の各ポイントの3d動きを表し、各ポイントの動きの距離と方向を明示的に記述する。 シーンフロー推定は、自動運転フィールド、アクティビティ認識、仮想現実フィールドなど、さまざまなアプリケーションで使用されている。 実世界のデータに対してシーンフローに真実を記入することは難しいため、シーンフロー推定に真実を記した大量のデータを提供する実世界のデータセットは残っていない。 そのため、多くの研究が合成データを使ってネットワークと現実世界のLiDARデータを訓練して微調整している。 従来の点雲におけるシーンフローの教師なし学習とは違って,現場フローの教師なし学習を支援し,実世界のLiDARデータを用いてネットワークをトレーニングすることを提案する。 監視オードメトリは、シーンフローのより正確な共有コストボリュームを提供する。 さらに、提案するネットワークには、より正確な予測ポイントクラウドを得るために、マスク重み付きワープ層がある。 ワープ操作手段は、推定ポーズ変換又はシーンフローをソースポイントクラウドに適用して予測ポイントクラウドを得るとともに、シーンフローを粗く微細に精製する鍵となる。 warp操作を行う場合、異なる状態のポイントはポーズ変換とシーンフロー変換のために異なる重みを用いる。 点の状態は静的, 動的, 隠蔽状態として分類し, 静的マスクを用いて静的, 動的ポイントを分割し, 隠蔽マスクを用いて隠蔽点を分割する。 マスク重み付きワープ層は、ワープ操作を行う際に静的マスクとオクルージョンマスクがウェイトとして使用されることを示す。 我々の設計はアブレーション実験に有効であることが証明されている。 実験結果から,実世界データにおける3次元シーンフローの計測支援型教師なし学習法が期待できる可能性を示した。

関連論文リスト

• The Drunkard's Odometry: Estimating Camera Motion in Deforming Scenes [79.00228778543553]
  このデータセットは、3Dシーンの中で地上の真実を語る最初の大規模なカメラ軌道である。 リアルな3Dビルディングのシミュレーションでは、膨大な量のデータと地上の真実のラベルが得られます。 本稿では,光学的フロー推定を剛体カメラ運動に分解するDrunkard's Odometryと呼ばれる,変形可能な新しいオドメトリー法を提案する。
  論文  参考訳（メタデータ） (2023-06-29T13:09:31Z)
• Self-supervised Pre-training with Masked Shape Prediction for 3D Scene Understanding [106.0876425365599]
  Masked Shape Prediction (MSP)は、3Dシーンでマスクされた信号モデリングを行うための新しいフレームワークである。 MSPは3Dセマンティックキュー、すなわち幾何学的形状をマスクされた点の予測ターゲットとして使用する。
  論文  参考訳（メタデータ） (2023-05-08T20:09:19Z)
• GMA3D: Local-Global Attention Learning to Estimate Occluded Motions of Scene Flow [3.2738068278607426]
  局所的および大域的非閉塞点の運動情報から閉塞点の運動情報を推定するトランスフォーマフレームワークに基づくGMA3Dモジュールを提案する。 実験により,GMA3Dはシーンフロー,特に実シーンにおける閉塞問題を解くことができることがわかった。
  論文  参考訳（メタデータ） (2022-10-07T03:09:00Z)
• 3D Scene Flow Estimation on Pseudo-LiDAR: Bridging the Gap on Estimating Point Motion [19.419030878019974]
  3次元シーンフローは、3次元ユークリッド空間において、現在の時刻の点が次回に流れる様子を特徴付ける。 3次元空間に2次元画素の密接な性質を導入することにより、予測されたシーンフローの安定性が向上する。 より効果的な3次元シーンフローの教師なし学習を実現するために, 差分整合損失を提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:27:09Z)
• Learning Scene Flow in 3D Point Clouds with Noisy Pseudo Labels [71.11151016581806]
  そこで本研究では,3次元の3次元動きを点雲からキャプチャするシーンフロー手法を提案する。 提案手法は,最先端の自己教師型アプローチより優れるだけでなく,正確な接地構造を用いた教師型アプローチよりも優れる。
  論文  参考訳（メタデータ） (2022-03-23T18:20:03Z)
• SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation [71.2856098776959]
  点雲は非秩序であり、その密度は著しく一様ではないため、点雲の3次元運動の推定は困難である。 本稿では,sparse convolution-transformer network (sctn) という新しいアーキテクチャを提案する。 学習した関係に基づく文脈情報が豊富で,対応点の一致に役立ち,シーンフローの推定に有効であることを示す。
  論文  参考訳（メタデータ） (2021-05-10T15:16:14Z)
• Weakly Supervised Learning of Rigid 3D Scene Flow [81.37165332656612]
  本研究では,剛体体として動くエージェント群によって説明できる3次元シーンを多用したデータ駆動シーンフロー推定アルゴリズムを提案する。 4種類の自律運転データセットにおいて,提案手法の有効性と一般化能力を示す。
  論文  参考訳（メタデータ） (2021-02-17T18:58:02Z)
• Do not trust the neighbors! Adversarial Metric Learning for Self-Supervised Scene Flow Estimation [0.0]
  シーンフローは動的3次元シーンの個々の点に3次元運動ベクトルを推定するタスクである。 本稿では,3次元シーンフローベンチマークと,トレーニングフローモデルのための新しい自己教師型セットアップを提案する。 我々は,移動コヒーレンスを保ち,多くの自監督ベースラインが把握できない局所的なジオメトリーを維持できることを発見した。
  論文  参考訳（メタデータ） (2020-11-01T17:41:32Z)
• Scene Flow from Point Clouds with or without Learning [47.03163552693887]
  シーンフロー(Scene flow)は、シーンの3次元運動場である。 現在の学習ベースのアプローチは、ポイントクラウドから直接シーンフローを推定することを目指している。 本稿では,点雲からシーンフローを復元する,シンプルで解釈可能な目的関数を提案する。
  論文  参考訳（メタデータ） (2020-10-31T17:24:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。