論文の概要: Scalable Scene Flow from Point Clouds in the Real World

• arxiv url: http://arxiv.org/abs/2103.01306v2
• Date: Wed, 3 Mar 2021 20:06:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 13:04:51.943798
• Title: Scalable Scene Flow from Point Clouds in the Real World
• Title（参考訳）: 実世界のポイントクラウドからのスケーラブルなシーンフロー
• Authors: Philipp Jund, Chris Sweeney, Nichola Abdo, Zhifeng Chen, Jonathon Shlens
• Abstract要約: オープンデータセットに基づくシーンフローの大規模ベンチマークを新たに導入します。 実際のLiDARデータの量に基づいて、これまでの作業がバウンドされているかを示す。 フルポイントクラウド上でリアルタイム推論を提供するモデルアーキテクチャFastFlow3Dを紹介します。
• 参考スコア（独自算出の注目度）: 30.437100097997245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous vehicles operate in highly dynamic environments necessitating an accurate assessment of which aspects of a scene are moving and where they are moving to. A popular approach to 3D motion estimation -- termed scene flow -- is to employ 3D point cloud data from consecutive LiDAR scans, although such approaches have been limited by the small size of real-world, annotated LiDAR data. In this work, we introduce a new large scale benchmark for scene flow based on the Waymo Open Dataset. The dataset is $\sim$1,000$\times$ larger than previous real-world datasets in terms of the number of annotated frames and is derived from the corresponding tracked 3D objects. We demonstrate how previous works were bounded based on the amount of real LiDAR data available, suggesting that larger datasets are required to achieve state-of-the-art predictive performance. Furthermore, we show how previous heuristics for operating on point clouds such as artificial down-sampling heavily degrade performance, motivating a new class of models that are tractable on the full point cloud. To address this issue, we introduce the model architecture FastFlow3D that provides real time inference on the full point cloud. Finally, we demonstrate that this problem is amenable to techniques from semi-supervised learning by highlighting open problems for generalizing methods for predicting motion on unlabeled objects. We hope that this dataset may provide new opportunities for developing real world scene flow systems and motivate a new class of machine learning problems.
• Abstract（参考訳）: 自動運転車は、非常にダイナミックな環境で動作し、シーンのどの側面が動いているのか、どこに移動するのかを正確に評価する必要がある。 シーンフローと呼ばれる3Dモーション推定の一般的なアプローチは、連続するLiDARスキャンから3Dポイントクラウドデータを採用することであるが、そのようなアプローチは実際のLiDARデータの小さなサイズによって制限されている。 本稿では,waymo open datasetに基づくシーンフローのための新しい大規模ベンチマークを提案する。 データセットは、注釈付きフレームの数の観点から、以前の現実世界のデータセットよりも$\sim$1,000$\times$大きく、対応する追跡された3Dオブジェクトから導出される。 我々は,従来の作業が実際のLiDARデータの量に基づいてバウンドされていることを実証し,最先端の予測性能を達成するためにはより大きなデータセットが必要であることを示唆した。 さらに, 従来, ダウンサンプリングによる性能低下など, ポイントクラウド上での動作に関するヒューリスティックスが, フルポイントクラウド上でのトラクタブルな新たなモデルの動機となっていることを示す。 この問題に対処するため、フルポイントクラウド上でリアルタイム推論を提供するモデルアーキテクチャFastFlow3Dを紹介します。 最後に,この問題は,ラベルなし物体の運動を予測する手法を一般化するためのオープン問題を強調することで,半教師付き学習の手法に適応できることを実証する。 このデータセットが、現実世界のシーンフローシステムの開発と、新しい機械学習問題への動機付けに新たな機会を提供することを期待している。

関連論文リスト

• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
  学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。 OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。 最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
  論文  参考訳（メタデータ） (2024-09-14T07:44:22Z)
• 3DSFLabelling: Boosting 3D Scene Flow Estimation by Pseudo Auto-labelling [21.726386822643995]
  本稿では,現実のLiDAR点雲に対して,多数の3次元シーンフロー擬似ラベルを生成するための新しい手法を提案する。 具体的には、自律走行シナリオにおける物体レベルの剛体運動をシミュレートするために、剛体運動の仮定を用いる。 拡張運動パラメータに基づいてターゲット点雲を完全合成することにより,実シナリオと高度に整合した点雲内に多数の3次元シーンフローラベルを容易に取得できる。
  論文  参考訳（メタデータ） (2024-02-28T08:12:31Z)
• Contrastive Lift: 3D Object Instance Segmentation by Slow-Fast Contrastive Fusion [110.84357383258818]
  本稿では,2次元セグメントを3次元に上げ,ニューラルネットワーク表現を用いて融合させる新しい手法を提案する。 このアプローチの中核は、高速なクラスタリング目的関数であり、多数のオブジェクトを持つシーンにスケーラブルで適しています。 我々のアプローチは、ScanNet、Hypersim、Replicaのデータセットからの挑戦的なシーンにおいて、最先端の状況よりも優れています。
  論文  参考訳（メタデータ） (2023-06-07T17:57:45Z)
• WOMD-LiDAR: Raw Sensor Dataset Benchmark for Motion Forecasting [38.95768804529958]
  動作予測タスクのための大規模で高品質な多種多様なLiDARデータを用いて,Open Motionデータセットを拡張した。 新しいデータセットWOMD-LiDARは10万枚以上のシーンで構成され、それぞれ20秒にまたがる。 実験の結果,LiDARデータは動き予測タスクの改善をもたらすことがわかった。
  論文  参考訳（メタデータ） (2023-04-07T20:23:15Z)
• Instance-incremental Scene Graph Generation from Real-world Point Clouds via Normalizing Flows [9.4858987199432]
  ポイントクラウドのシーンが与えられ、それをグラフとして表現し、新しいインスタンスを自動的に増加させます。 シーンのオブジェクトレイアウトを示すグラフが最終的に生成される。 拡張現実のような視覚ベースのアプリケーションにおいて、新しい3Dオブジェクトを現実世界のシーンに挿入する際のガイドとなる。
  論文  参考訳（メタデータ） (2023-02-21T03:34:15Z)
• Point-Syn2Real: Semi-Supervised Synthetic-to-Real Cross-Domain Learning for Object Classification in 3D Point Clouds [14.056949618464394]
  LiDAR 3Dポイントクラウドデータを用いたオブジェクト分類は、自律運転のような現代的なアプリケーションにとって重要である。 本稿では,ポイントクラウドのマニュアルアノテーションに依存しない半教師付きクロスドメイン学習手法を提案する。 我々は、ポイントクラウド上でのクロスドメイン学習のための新しいベンチマークデータセットであるPoint-Syn2Realを紹介した。
  論文  参考訳（メタデータ） (2022-10-31T01:53:51Z)
• Learning Scene Dynamics from Point Cloud Sequences [8.163697683448811]
  本稿では,一列に1組の点雲に対して3次元のシーンフローを予測することを目的とした,時間的シーンフロー推定(SSFE)という新たな問題を提案する。 本稿では,SPCM-Netアーキテクチャを導入し,近隣の点群間のマルチスケール相関を計算してこの問題を解決する。 我々は,この手法を逐次点雲予測のために効果的に修正できることを実証した。
  論文  参考訳（メタデータ） (2021-11-16T19:52:46Z)
• Lifting 2D Object Locations to 3D by Discounting LiDAR Outliers across Objects and Views [70.1586005070678]
  本稿では,2次元マスクオブジェクトの予測と生のLiDAR点雲を自動的に3次元境界ボックスに変換するシステムを提案する。 これらの手法は, より複雑なパイプラインや3Dモデル, 付加的な人為的な事前情報ソースを使用するにもかかわらず, 従来よりもはるかに優れていた。
  論文  参考訳（メタデータ） (2021-09-16T13:01:13Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• Weakly Supervised Learning of Rigid 3D Scene Flow [81.37165332656612]
  本研究では,剛体体として動くエージェント群によって説明できる3次元シーンを多用したデータ駆動シーンフロー推定アルゴリズムを提案する。 4種類の自律運転データセットにおいて,提案手法の有効性と一般化能力を示す。
  論文  参考訳（メタデータ） (2021-02-17T18:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。