論文の概要: Let It Flow: Simultaneous Optimization of 3D Flow and Object Clustering
- arxiv url: http://arxiv.org/abs/2404.08363v2
- Date: Mon, 20 May 2024 08:32:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 22:31:13.244565
- Title: Let It Flow: Simultaneous Optimization of 3D Flow and Object Clustering
- Title（参考訳）: フローにしよう:3次元フローとオブジェクトクラスタリングの同時最適化
- Authors: Patrik Vacek, David Hurych, Tomáš Svoboda, Karel Zimmermann,
- Abstract要約: 実大規模原点雲列からの自己監督型3次元シーンフロー推定の問題点について検討する。
重なり合うソフトクラスタと非重なり合う固いクラスタを組み合わせられる新しいクラスタリング手法を提案する。
本手法は,複数の独立移動物体が互いに近接する複雑な動的シーンにおける流れの解消に優れる。
- 参考スコア（独自算出の注目度）: 2.763111962660262
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problem of self-supervised 3D scene flow estimation from real large-scale raw point cloud sequences, which is crucial to various tasks like trajectory prediction or instance segmentation. In the absence of ground truth scene flow labels, contemporary approaches concentrate on deducing optimizing flow across sequential pairs of point clouds by incorporating structure based regularization on flow and object rigidity. The rigid objects are estimated by a variety of 3D spatial clustering methods. While state-of-the-art methods successfully capture overall scene motion using the Neural Prior structure, they encounter challenges in discerning multi-object motions. We identified the structural constraints and the use of large and strict rigid clusters as the main pitfall of the current approaches and we propose a novel clustering approach that allows for combination of overlapping soft clusters as well as non-overlapping rigid clusters representation. Flow is then jointly estimated with progressively growing non-overlapping rigid clusters together with fixed size overlapping soft clusters. We evaluate our method on multiple datasets with LiDAR point clouds, demonstrating the superior performance over the self-supervised baselines reaching new state of the art results. Our method especially excels in resolving flow in complicated dynamic scenes with multiple independently moving objects close to each other which includes pedestrians, cyclists and other vulnerable road users. Our codes are publicly available on https://github.com/ctu-vras/let-it-flow.
- Abstract（参考訳）: 本研究では,実大規模原点雲列からの自己監督型3次元シーンフロー推定の問題について検討する。
地上真実のシーンフローラベルが存在しない現代的アプローチでは、フローとオブジェクトの剛性に基づく構造的正規化を取り入れることで、点雲の逐次対にわたる最適化フローの低減に重点を置いている。
剛体物体は様々な3次元空間クラスタリング法により推定される。
最先端の手法はニューラル・プリエント構造を用いてシーン全体の動きをキャプチャすることに成功したが、複数の物体の動きを識別する際の課題に直面した。
そこで本研究では, 重なり合うソフトクラスタと非重なり合う固いクラスタ表現を組み合わせたクラスタリング手法を提案する。
フローは、徐々に増大する非重なり合う固いクラスターと、一定の大きさの重なり合う柔らかいクラスターとで、共同で推定される。
提案手法をLiDAR点雲を用いた複数データセット上で評価し,新たな最先端結果に到達した自己教師付きベースラインよりも優れた性能を示す。
本手法は,歩行者やサイクリスト,その他の脆弱な道路利用者を含む,複数の独立移動物体が近接する複雑な動的シーンにおける流れの解消に優れる。
私たちのコードはhttps://github.com/ctu-vras/let-it-flow.comで公開されています。
関連論文リスト
- EgoFlowNet: Non-Rigid Scene Flow from Point Clouds with Ego-Motion Support [15.138542932078916]
本稿では,オブジェクトをベースとした抽象化を必要とせず,弱い教師付きで訓練されたポイントレベルのシーンフロー推定ネットワークを提案する。
提案手法は,エゴモーションとシーンフローの2つの並列分岐を暗黙的に駆動する二分分割マスクを推定する。
現実的なKITTIのシーンでは,地上点の存在下では,EgoFlowNetは最先端の手法よりも優れた性能を示している。
論文 参考訳（メタデータ） (2024-07-03T08:53:50Z) - STARFlow: Spatial Temporal Feature Re-embedding with Attentive Learning
for Real-world Scene Flow [6.155589434533128]
両ユークリッド空間における全点対に一致する大域的注意流埋め込みを提案する。
我々は、新しいドメイン適応損失を利用して、合成から実世界への動き推論のギャップを埋める。
提案手法は,実世界のLiDARスキャンデータセットにおいて特に顕著な結果を得て,各種データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-11T04:56:10Z) - Regularizing Self-supervised 3D Scene Flows with Surface Awareness and Cyclic Consistency [3.124750429062221]
2つの新たな一貫性損失を導入し、クラスタを拡大し、異なるオブジェクトに分散するのを防ぐ。
提案した損失はモデル独立であり、既存のモデルの性能を大幅に向上させるためにプラグアンドプレイ方式で使用できる。
また,4つの標準センサ一様駆動データセット上で,フレームワークの有効性と一般化能力を示す。
論文 参考訳（メタデータ） (2023-12-12T11:00:39Z) - Contrastive Lift: 3D Object Instance Segmentation by Slow-Fast
Contrastive Fusion [110.84357383258818]
本稿では,2次元セグメントを3次元に上げ,ニューラルネットワーク表現を用いて融合させる新しい手法を提案する。
このアプローチの中核は、高速なクラスタリング目的関数であり、多数のオブジェクトを持つシーンにスケーラブルで適しています。
我々のアプローチは、ScanNet、Hypersim、Replicaのデータセットからの挑戦的なシーンにおいて、最先端の状況よりも優れています。
論文 参考訳（メタデータ） (2023-06-07T17:57:45Z) - CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point
Cloud Learning [81.85951026033787]
この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。
また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。
提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
論文 参考訳（メタデータ） (2022-07-31T21:39:15Z) - IDEA-Net: Dynamic 3D Point Cloud Interpolation via Deep Embedding
Alignment [58.8330387551499]
我々は、点方向軌跡(すなわち滑らかな曲線)の推定として問題を定式化する。
本稿では,学習した時間的一貫性の助けを借りて問題を解消する,エンドツーエンドのディープラーニングフレームワークであるIDEA-Netを提案する。
各種点群における本手法の有効性を実証し, 定量的かつ視覚的に, 最先端の手法に対する大幅な改善を観察する。
論文 参考訳（メタデータ） (2022-03-22T10:14:08Z) - SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation [71.2856098776959]
点雲は非秩序であり、その密度は著しく一様ではないため、点雲の3次元運動の推定は困難である。
本稿では,sparse convolution-transformer network (sctn) という新しいアーキテクチャを提案する。
学習した関係に基づく文脈情報が豊富で,対応点の一致に役立ち,シーンフローの推定に有効であることを示す。
論文 参考訳（メタデータ） (2021-05-10T15:16:14Z) - Weakly Supervised Learning of Rigid 3D Scene Flow [81.37165332656612]
本研究では,剛体体として動くエージェント群によって説明できる3次元シーンを多用したデータ駆動シーンフロー推定アルゴリズムを提案する。
4種類の自律運転データセットにおいて,提案手法の有効性と一般化能力を示す。
論文 参考訳（メタデータ） (2021-02-17T18:58:02Z) - Unsupervised Spatio-temporal Latent Feature Clustering for
Multiple-object Tracking and Segmentation [0.5591659577198183]
本稿では,時間的識別タスクを異種時間的クラスタリング問題として扱う戦略を提案する。
我々は、畳み込みと完全に接続されたオートエンコーダを用いて、セグメンテーションマスクと検出バウンディングボックスから識別特徴を学習する。
以上の結果から,本手法はいくつかの最先端手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-14T16:47:56Z) - ClusterVO: Clustering Moving Instances and Estimating Visual Odometry
for Self and Surroundings [54.33327082243022]
ClusterVOはステレオビジュアルオドメトリーで、エゴと周囲の固いクラスタ/オブジェクトの両方の動きを同時にクラスタし、推定する。
以前のソリューションでは、バッチ入力やシーン構造や動的オブジェクトモデルへの事前の指示に頼っていたが、ClusterVOは一般的にオンラインであり、屋内のシーン理解や自律運転など、さまざまなシナリオで使用することができる。
論文 参考訳（メタデータ） (2020-03-29T09:06:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。