論文の概要: Regularizing Self-supervised 3D Scene Flows with Surface Awareness and Cyclic Consistency

• arxiv url: http://arxiv.org/abs/2312.08879v1
• Date: Tue, 12 Dec 2023 11:00:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 22:24:23.449401
• Title: Regularizing Self-supervised 3D Scene Flows with Surface Awareness and Cyclic Consistency
• Title（参考訳）: 表面の認識と周期的一貫性を考慮した自己監督型3次元シーンフローの規則化
• Authors: Patrik Vacek, David Hurych, Karel Zimmermann, Patrick Perez, Tomas Svoboda
• Abstract要約: 2つの新たな一貫性損失を導入し、クラスタを拡大し、異なるオブジェクトに分散するのを防ぐ。 提案した損失はモデル独立であり、既存のモデルの性能を大幅に向上させるためにプラグアンドプレイ方式で使用できる。 また,4つの標準センサ一様駆動データセット上で,フレームワークの有効性と一般化能力を示す。
• 参考スコア（独自算出の注目度）: 3.352375855433873
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning without supervision how to predict 3D scene flows from point clouds is central to many vision systems. We propose a novel learning framework for this task which improves the necessary regularization. Relying on the assumption that scene elements are mostly rigid, current smoothness losses are built on the definition of ``rigid clusters" in the input point clouds. The definition of these clusters is challenging and has a major impact on the quality of predicted flows. We introduce two new consistency losses that enlarge clusters while preventing them from spreading over distinct objects. In particular, we enforce \emph{temporal} consistency with a forward-backward cyclic loss and \emph{spatial} consistency by considering surface orientation similarity in addition to spatial proximity. The proposed losses are model-independent and can thus be used in a plug-and-play fashion to significantly improve the performance of existing models, as demonstrated on two top-performing ones. We also showcase the effectiveness and generalization capability of our framework on four standard sensor-unique driving datasets, achieving state-of-the-art performance in 3D scene flow estimation. Our codes are available anonymously on \url{https://github.com/vacany/sac-flow}.
• Abstract（参考訳）: ポイントクラウドからの3dシーンフローの予測を監督せずに学ぶことは、多くのビジョンシステムの中心である。 本稿では,必要な正規化を改善するための新しい学習フレームワークを提案する。 シーン要素がほとんど剛性であるという仮定に基づいて、現在の滑らかさの損失は入力点雲における '`rigid cluster' の定義に基づいて構築される。 これらのクラスタの定義は困難であり、予測フローの品質に大きな影響を与えます。 2つの新しい一貫性損失を導入し、クラスタを拡大し、異なるオブジェクトに分散することを防ぐ。 特に,空間的近接性に加えて表面配向の類似性も考慮し,前向きの周期的損失と<emph{spatial}の整合性を適用した。 提案した損失はモデルに依存しないため,既存のモデルの性能を大幅に向上させるために,プラグアンドプレイ方式で使用することができる。 また,4つの標準センサティック駆動データセット上でのフレームワークの有効性と一般化能力を示すとともに,3次元シーンフロー推定における最先端性能を実現する。 私たちのコードは匿名で \url{https://github.com/vacany/sac-flow} で利用可能です。

関連論文リスト

• ALOcc: Adaptive Lifting-based 3D Semantic Occupancy and Cost Volume-based Flow Prediction [89.89610257714006]
  既存の手法は、これらのタスクの要求に応えるために高い精度を優先する。 本稿では,3次元セマンティック占有率予測とフロー推定のための一連の改善点を紹介する。 私たちの純粋な時間的アーキテクチャフレームワークであるALOccは、速度と精度の最適なトレードオフを実現しています。
  論文  参考訳（メタデータ） (2024-11-12T11:32:56Z)
• OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
  学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。 OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。 最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
  論文  参考訳（メタデータ） (2024-09-14T07:44:22Z)
• Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
  カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。 提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
  論文  参考訳（メタデータ） (2024-07-02T09:11:17Z)
• Let-It-Flow: Simultaneous Optimization of 3D Flow and Object Clustering [2.763111962660262]
  実大規模原点雲列からの自己監督型3次元シーンフロー推定の問題点について検討する。 重なり合うソフトクラスタと非重なり合う固いクラスタを組み合わせられる新しいクラスタリング手法を提案する。 本手法は,複数の独立移動物体が互いに近接する複雑な動的シーンにおける流れの解消に優れる。
  論文  参考訳（メタデータ） (2024-04-12T10:04:03Z)
• STARFlow: Spatial Temporal Feature Re-embedding with Attentive Learning for Real-world Scene Flow [5.476991379461233]
  両ユークリッド空間における全点対に一致する大域的注意流埋め込みを提案する。 我々は、新しいドメイン適応損失を利用して、合成から実世界への動き推論のギャップを埋める。 提案手法は,実世界のLiDARスキャンデータセットにおいて特に顕著な結果を得て,各種データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-11T04:56:10Z)
• On Robust Cross-View Consistency in Self-Supervised Monocular Depth Estimation [56.97699793236174]
  本論文では,2種類の堅牢なクロスビュー整合性について検討する。 深度特徴空間と3次元ボクセル空間の時間的コヒーレンスを自己教師付き単眼深度推定に利用した。 いくつかのアウトドアベンチマークの実験結果から,本手法は最先端技術より優れていることが示された。
  論文  参考訳（メタデータ） (2022-09-19T03:46:13Z)
• IDEA-Net: Dynamic 3D Point Cloud Interpolation via Deep Embedding Alignment [58.8330387551499]
  我々は、点方向軌跡(すなわち滑らかな曲線)の推定として問題を定式化する。 本稿では,学習した時間的一貫性の助けを借りて問題を解消する,エンドツーエンドのディープラーニングフレームワークであるIDEA-Netを提案する。 各種点群における本手法の有効性を実証し, 定量的かつ視覚的に, 最先端の手法に対する大幅な改善を観察する。
  論文  参考訳（メタデータ） (2022-03-22T10:14:08Z)
• Residual 3D Scene Flow Learning with Context-Aware Feature Extraction [11.394559627312743]
  ユークリッド空間の文脈構造情報を活用するために,新しいコンテキスト対応集合 conv 層を提案する。 また, 遠距離移動に対処するため, 残留流微細化層に明示的な残留流学習構造を提案する。 提案手法は, これまでのすべての成果を, 少なくとも25%以上の知識に上回りながら, 最先端の性能を達成する。
  論文  参考訳（メタデータ） (2021-09-10T06:15:18Z)
• SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation [71.2856098776959]
  点雲は非秩序であり、その密度は著しく一様ではないため、点雲の3次元運動の推定は困難である。 本稿では,sparse convolution-transformer network (sctn) という新しいアーキテクチャを提案する。 学習した関係に基づく文脈情報が豊富で,対応点の一致に役立ち,シーンフローの推定に有効であることを示す。
  論文  参考訳（メタデータ） (2021-05-10T15:16:14Z)
• Occlusion Guided Self-supervised Scene Flow Estimation on 3D Point Clouds [4.518012967046983]
  2つの連続時間フレーム間のスパースサンプリング点の3次元空間における流れを理解することは、現代の幾何学駆動系の中核石である。 本稿では,咬合下の3次元シーンフロー推定のための新しい自己教師あり学習法とアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-04-10T09:55:19Z)
• Occlusion Guided Scene Flow Estimation on 3D Point Clouds [4.518012967046983]
  3次元シーンフロー推定は、環境に与えられた深度や範囲のセンサーを知覚する上で欠かせないツールである。 本稿では,フレーム間のフローとオクルージョンの両方の学習を密に結合する,OGSF-Netと呼ばれる新しいシーンフローアーキテクチャを提案する。 これらの共生が組み合わさって宇宙の流れをより正確に予測できる。
  論文  参考訳（メタデータ） (2020-11-30T15:22:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。