論文の概要: Self-Supervised 3D Scene Flow Estimation Guided by Superpoints

• arxiv url: http://arxiv.org/abs/2305.02528v1
• Date: Thu, 4 May 2023 03:33:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-05 17:06:59.284365
• Title: Self-Supervised 3D Scene Flow Estimation Guided by Superpoints
• Title（参考訳）: スーパーポイントによる自己監督型3次元シーンフロー推定
• Authors: Yaqi Shen, Le Hui, Jin Xie, and Jian Yang
• Abstract要約: 本稿では,反復的な終端スーパーポイントに基づくシーンフロー推定フレームワークを提案する。 まず,超点レベルの流れを適応的に集約して各点のフローを再構成し,ペアの点雲の再構成フロー間の一貫性を符号化する。
• 参考スコア（独自算出の注目度）: 24.12710676112511
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D scene flow estimation aims to estimate point-wise motions between two consecutive frames of point clouds. Superpoints, i.e., points with similar geometric features, are usually employed to capture similar motions of local regions in 3D scenes for scene flow estimation. However, in existing methods, superpoints are generated with the offline clustering methods, which cannot characterize local regions with similar motions for complex 3D scenes well, leading to inaccurate scene flow estimation. To this end, we propose an iterative end-to-end superpoint based scene flow estimation framework, where the superpoints can be dynamically updated to guide the point-level flow prediction. Specifically, our framework consists of a flow guided superpoint generation module and a superpoint guided flow refinement module. In our superpoint generation module, we utilize the bidirectional flow information at the previous iteration to obtain the matching points of points and superpoint centers for soft point-to-superpoint association construction, in which the superpoints are generated for pairwise point clouds. With the generated superpoints, we first reconstruct the flow for each point by adaptively aggregating the superpoint-level flow, and then encode the consistency between the reconstructed flow of pairwise point clouds. Finally, we feed the consistency encoding along with the reconstructed flow into GRU to refine point-level flow. Extensive experiments on several different datasets show that our method can achieve promising performance.
• Abstract（参考訳）: 3次元シーンフロー推定は、点雲の2つの連続するフレーム間の点運動を推定することを目的としている。 スーパーポイント、すなわち類似した幾何学的特徴を持つ点は通常、シーンフロー推定のために3dシーン内の局所領域の類似した動きをキャプチャするために使用される。 しかし、既存の手法ではスーパーポイントがオフラインクラスタリング法で生成され、複雑な3dシーンに対して同様の動きで局所領域を特徴づけることができないため、不正確なシーンフロー推定に繋がる。 そこで本研究では,ポイントレベルのフロー予測を導くために,動的にスーパーポイントを更新可能な,反復的なエンドツーエンドのスーパーポイントベースシーンフロー推定フレームワークを提案する。 具体的には,フローガイド型スーパーポイント生成モジュールとスーパーポイントガイド型フローリファインメントモジュールからなる。 スーパーポイント生成モジュールでは、前回の繰り返しにおける双方向フロー情報を用いて、ソフトポイント対スーパーポイントアソシエーション構築のためのポイントとスーパーポイントセンターの一致点を求め、このスーパーポイントをペアポイントの雲に対して生成する。 生成したスーパーポイントを用いて、まず、スーパーポイントレベルのフローを適応的に集約して各ポイントのフローを再構成し、次いでペアのポイント雲の再構成フロー間の一貫性を符号化する。 最後に、GRUに再構成された流れと共に整合性符号化を行い、点レベルの流れを洗練させる。 複数の異なるデータセットに対する大規模な実験により,本手法が有望な性能を実現することを示す。

関連論文リスト

• Point Cloud Pre-training with Diffusion Models [62.12279263217138]
  我々は、ポイントクラウド拡散事前学習(PointDif)と呼ばれる新しい事前学習手法を提案する。 PointDifは、分類、セグメンテーション、検出など、さまざまな下流タスクのために、さまざまな現実世界のデータセット間で大幅に改善されている。
  論文  参考訳（メタデータ） (2023-11-25T08:10:05Z)
• Unleash the Potential of 3D Point Cloud Modeling with A Calibrated Local Geometry-driven Distance Metric [62.365983810610985]
  そこで我々は,Callibated Local Geometry Distance (CLGD) と呼ばれる新しい距離測定法を提案する。 CLGDは、基準点の集合によってキャリブレーションされ誘導される基礎となる3次元表面の差を計算する。 一般的な指標として、CLGDは3Dポイントのクラウドモデリングを前進させる可能性がある。
  論文  参考訳（メタデータ） (2023-06-01T11:16:20Z)
• PointFlowHop: Green and Interpretable Scene Flow Estimation from Consecutive Point Clouds [49.7285297470392]
  本研究では,PointFlowHopと呼ばれる3次元シーンフローの効率的な推定法を提案する。 ポイントフローホップは2つの連続する点雲を取り、第1点雲の各点の3次元フローベクトルを決定する。 シーンフロー推定タスクを,エゴモーション補償,オブジェクトアソシエーション,オブジェクトワイドモーション推定など,一連のサブタスクに分解する。
  論文  参考訳（メタデータ） (2023-02-27T23:06:01Z)
• SCOOP: Self-Supervised Correspondence and Optimization-Based Scene Flow [25.577386156273256]
  シーンフロー推定は、連続した観察からシーンの3次元運動を見つけることを目的として、コンピュータビジョンにおける長年の課題である。 そこで本研究では,少量のデータから学習可能なシーンフロー推定手法であるSCOOPについて紹介する。
  論文  参考訳（メタデータ） (2022-11-25T10:52:02Z)
• What Matters for 3D Scene Flow Network [44.02710380584977]
  点雲からの3次元シーンフロー推定はコンピュータビジョンにおける低レベルな3次元モーション知覚タスクである。 そこで本研究では,初期シーンフロー推定時の逆方向の信頼性検証が可能な,新しい全対全フロー埋め込み層を提案する。 提案したモデルは,FlyingThings3Dデータセットで少なくとも38.2%,KITTI Scene Flowデータセットで24.7%,EPE3Dメトリックで,既存のすべてのメソッドを上回ります。
  論文  参考訳（メタデータ） (2022-07-19T09:27:05Z)
• RCP: Recurrent Closest Point for Scene Flow Estimation on 3D Point Clouds [44.034836961967144]
  シーンフローや点雲の登録を含む3次元運動推定が注目されている。 最近の手法では、正確な3次元フローを推定するためのコストボリュームを構築するために、ディープニューラルネットワークを使用している。 問題を2つのインターレースステージに分解し、第1段階では3次元フローをポイントワイズに最適化し、第2段階ではリカレントネットワークでグローバルに正規化する。
  論文  参考訳（メタデータ） (2022-05-23T04:04:30Z)
• PU-Flow: a Point Cloud Upsampling Networkwith Normalizing Flows [58.96306192736593]
  本稿では,正規化フローを組み込んだPU-Flowについて述べる。 具体的には、重みが局所的な幾何学的文脈から適応的に学習される潜在空間において、アップサンプリング過程を点として定式化する。 提案手法は, 再現性, 近接精度, 計算効率の観点から, 最先端の深層学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-13T07:45:48Z)
• SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation [71.2856098776959]
  点雲は非秩序であり、その密度は著しく一様ではないため、点雲の3次元運動の推定は困難である。 本稿では,sparse convolution-transformer network (sctn) という新しいアーキテクチャを提案する。 学習した関係に基づく文脈情報が豊富で,対応点の一致に役立ち,シーンフローの推定に有効であることを示す。
  論文  参考訳（メタデータ） (2021-05-10T15:16:14Z)
• PV-RAFT: Point-Voxel Correlation Fields for Scene Flow Estimation of Point Clouds [89.76093400242088]
  本稿では,点雲からのシーンフローを推定するPV-RAFT(Point-Voxel Recurrent All-Pairs Field Transforms)法を提案する。 提案手法をFlyingThings3DとKITTI Scene Flow 2015データセットで評価した。
  論文  参考訳（メタデータ） (2020-12-02T06:20:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。