論文の概要: Self-Supervised 3D Scene Flow Estimation and Motion Prediction using Local Rigidity Prior

• arxiv url: http://arxiv.org/abs/2310.11284v1
• Date: Tue, 17 Oct 2023 14:06:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 15:40:52.143942
• Title: Self-Supervised 3D Scene Flow Estimation and Motion Prediction using Local Rigidity Prior
• Title（参考訳）: 局所剛性を用いた自己監督型3次元シーンフロー推定と動き予測
• Authors: Ruibo Li, Chi Zhang, Zhe Wang, Chunhua Shen, Guosheng Lin
• Abstract要約: 点群における3次元シーンフロー推定とクラス非依存動作予測について検討した。 我々は,一方向の剛性動作推定により,自己教師型学習のための擬似シーンフローラベルを生成する。 本手法は,自己監督型シーンフロー学習における最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 100.98123802027847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this article, we investigate self-supervised 3D scene flow estimation and class-agnostic motion prediction on point clouds. A realistic scene can be well modeled as a collection of rigidly moving parts, therefore its scene flow can be represented as a combination of the rigid motion of these individual parts. Building upon this observation, we propose to generate pseudo scene flow labels for self-supervised learning through piecewise rigid motion estimation, in which the source point cloud is decomposed into local regions and each region is treated as rigid. By rigidly aligning each region with its potential counterpart in the target point cloud, we obtain a region-specific rigid transformation to generate its pseudo flow labels. To mitigate the impact of potential outliers on label generation, when solving the rigid registration for each region, we alternately perform three steps: establishing point correspondences, measuring the confidence for the correspondences, and updating the rigid transformation based on the correspondences and their confidence. As a result, confident correspondences will dominate label generation and a validity mask will be derived for the generated pseudo labels. By using the pseudo labels together with their validity mask for supervision, models can be trained in a self-supervised manner. Extensive experiments on FlyingThings3D and KITTI datasets demonstrate that our method achieves new state-of-the-art performance in self-supervised scene flow learning, without any ground truth scene flow for supervision, even performing better than some supervised counterparts. Additionally, our method is further extended to class-agnostic motion prediction and significantly outperforms previous state-of-the-art self-supervised methods on nuScenes dataset.
• Abstract（参考訳）: 本稿では,点雲上での自己監督型3次元シーンフロー推定とクラス非依存動作予測について検討する。 現実的なシーンは、厳格に動く部品の集合としてうまくモデル化できるので、そのシーンフローは、これらの個々の部品の剛性運動の組合せとして表現することができる。 そこで本研究では,各領域を局所的に分解し,各領域を剛性として扱う,厳密な動き推定により,自己教師型学習のための擬似シーンフローラベルを生成することを提案する。 ターゲット点雲に各領域を強固に配向させることにより、その擬似フローラベルを生成するための領域固有の剛性変換が得られる。 ラベル生成における潜在的な外れ値の影響を軽減するため,各領域の厳密な登録を解く際には,点対応の確立,対応の信頼度の測定,対応と信頼度に基づいて剛性変換を更新する3つのステップを交互に実施する。 その結果、信頼度対応がラベル生成を支配し、生成した擬似ラベルに対して妥当性マスクが導出される。 疑似ラベルと有効性マスクを併用して監視することで、モデルを自己監督で訓練することができる。 FlyingThings3D と KITTI データセットの大規模な実験により,本手法が自己監督型シーンフロー学習における新たな最先端性能を実現することを示す。 さらに,本手法はクラス非依存の動作予測にも拡張され,従来のnuScenesデータセットの自己管理手法よりも優れていた。

関連論文リスト

• SeFlow: A Self-Supervised Scene Flow Method in Autonomous Driving [18.88208422580103]
  連続したLiDARスキャンで各点における3次元運動を予測する。 現在の最先端の手法は、シーンフローネットワークをトレーニングするために注釈付きデータを必要とする。 本研究では,効率的な動的分類を学習に基づくシーンフローパイプラインに統合するSeFlowを提案する。
  論文  参考訳（メタデータ） (2024-07-01T18:22:54Z)
• Generalized Label-Efficient 3D Scene Parsing via Hierarchical Feature Aligned Pre-Training and Region-Aware Fine-tuning [55.517000360348725]
  本研究は,ラベル付きシーンが極めて限定された場合の3次元シーン理解のためのフレームワークを提案する。 事前学習された視覚言語モデルから新しいカテゴリーの知識を抽出するために,階層的特徴整合型事前学習と知識蒸留戦略を提案する。 室内と屋外の両方で実験を行ったところ、データ効率のよい学習とオープンワールドの複数ショット学習の両方において、我々のアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2023-12-01T15:47:04Z)
• Unsupervised Fish Trajectory Tracking and Segmentation [2.1028463367241033]
  本稿では,魚の追跡とセグメンテーションのための3段階のフレームワークを提案する。 第1段階は光フローモデルであり、フレーム間の空間的および時間的一貫性を用いて擬似ラベルを生成する。 第2段階では、自己教師付きモデルは擬似ラベルを漸進的に洗練する。 第3段階では、精巧なラベルを使用してセグメンテーションネットワークを訓練する。
  論文  参考訳（メタデータ） (2022-08-23T01:01:27Z)
• Learning Scene Flow in 3D Point Clouds with Noisy Pseudo Labels [71.11151016581806]
  そこで本研究では,3次元の3次元動きを点雲からキャプチャするシーンフロー手法を提案する。 提案手法は,最先端の自己教師型アプローチより優れるだけでなく,正確な接地構造を用いた教師型アプローチよりも優れる。
  論文  参考訳（メタデータ） (2022-03-23T18:20:03Z)
• Self-Point-Flow: Self-Supervised Scene Flow Estimation from Point Clouds with Optimal Transport and Random Walk [59.87525177207915]
  シーンフローを近似する2点雲間の対応性を確立するための自己教師型手法を開発した。 本手法は,自己教師付き学習手法の最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-18T03:12:42Z)
• SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation [71.2856098776959]
  点雲は非秩序であり、その密度は著しく一様ではないため、点雲の3次元運動の推定は困難である。 本稿では,sparse convolution-transformer network (sctn) という新しいアーキテクチャを提案する。 学習した関係に基づく文脈情報が豊富で,対応点の一致に役立ち,シーンフローの推定に有効であることを示す。
  論文  参考訳（メタデータ） (2021-05-10T15:16:14Z)
• Weakly Supervised Learning of Rigid 3D Scene Flow [81.37165332656612]
  本研究では,剛体体として動くエージェント群によって説明できる3次元シーンを多用したデータ駆動シーンフロー推定アルゴリズムを提案する。 4種類の自律運転データセットにおいて,提案手法の有効性と一般化能力を示す。
  論文  参考訳（メタデータ） (2021-02-17T18:58:02Z)
• Adversarial Self-Supervised Scene Flow Estimation [15.278302535191866]
  本研究では,自己監督型シーンフロー推定のためのメトリクス学習手法を提案する。 自己監督型シーンフロー推定のためのベンチマークであるScene Flow Sandboxについて概説する。
  論文  参考訳（メタデータ） (2020-11-01T16:37:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。