論文の概要: Regularizing Self-supervised 3D Scene Flows with Surface Awareness and
Cyclic Consistency
- arxiv url: http://arxiv.org/abs/2312.08879v1
- Date: Tue, 12 Dec 2023 11:00:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-15 22:24:23.449401
- Title: Regularizing Self-supervised 3D Scene Flows with Surface Awareness and
Cyclic Consistency
- Title(参考訳): 表面の認識と周期的一貫性を考慮した自己監督型3次元シーンフローの規則化
- Authors: Patrik Vacek, David Hurych, Karel Zimmermann, Patrick Perez, Tomas
Svoboda
- Abstract要約: 2つの新たな一貫性損失を導入し、クラスタを拡大し、異なるオブジェクトに分散するのを防ぐ。
提案した損失はモデル独立であり、既存のモデルの性能を大幅に向上させるためにプラグアンドプレイ方式で使用できる。
また,4つの標準センサ一様駆動データセット上で,フレームワークの有効性と一般化能力を示す。
- 参考スコア(独自算出の注目度): 3.352375855433873
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning without supervision how to predict 3D scene flows from point clouds
is central to many vision systems. We propose a novel learning framework for
this task which improves the necessary regularization. Relying on the
assumption that scene elements are mostly rigid, current smoothness losses are
built on the definition of ``rigid clusters" in the input point clouds. The
definition of these clusters is challenging and has a major impact on the
quality of predicted flows. We introduce two new consistency losses that
enlarge clusters while preventing them from spreading over distinct objects. In
particular, we enforce \emph{temporal} consistency with a forward-backward
cyclic loss and \emph{spatial} consistency by considering surface orientation
similarity in addition to spatial proximity. The proposed losses are
model-independent and can thus be used in a plug-and-play fashion to
significantly improve the performance of existing models, as demonstrated on
two top-performing ones. We also showcase the effectiveness and generalization
capability of our framework on four standard sensor-unique driving datasets,
achieving state-of-the-art performance in 3D scene flow estimation. Our codes
are available anonymously on \url{https://github.com/vacany/sac-flow}.
- Abstract(参考訳): ポイントクラウドからの3dシーンフローの予測を監督せずに学ぶことは、多くのビジョンシステムの中心である。
本稿では,必要な正規化を改善するための新しい学習フレームワークを提案する。
シーン要素がほとんど剛性であるという仮定に基づいて、現在の滑らかさの損失は入力点雲における '`rigid cluster' の定義に基づいて構築される。
これらのクラスタの定義は困難であり、予測フローの品質に大きな影響を与えます。
2つの新しい一貫性損失を導入し、クラスタを拡大し、異なるオブジェクトに分散することを防ぐ。
特に,空間的近接性に加えて表面配向の類似性も考慮し,前向きの周期的損失と<emph{spatial}の整合性を適用した。
提案した損失はモデルに依存しないため,既存のモデルの性能を大幅に向上させるために,プラグアンドプレイ方式で使用することができる。
また,4つの標準センサティック駆動データセット上でのフレームワークの有効性と一般化能力を示すとともに,3次元シーンフロー推定における最先端性能を実現する。
私たちのコードは匿名で \url{https://github.com/vacany/sac-flow} で利用可能です。
関連論文リスト
- Data Augmentation-free Unsupervised Learning for 3D Point Cloud
Understanding [61.30276576646909]
ソフトクラスタリング(SoftClu)と呼ばれる,移動可能な点レベルの特徴を学習するための,ポイントクラウドに対する拡張不要な教師なしアプローチを提案する。
我々は,クラスタに対するポイントのアフィリエイトをプロキシとして利用し,擬似ラベル予測タスクを通じて自己学習を可能にする。
論文 参考訳(メタデータ) (2022-10-06T10:18:16Z) - On Robust Cross-View Consistency in Self-Supervised Monocular Depth
Estimation [77.98526337404412]
本論文では,2種類の堅牢なクロスビュー整合性について検討する。
深度特徴空間と3次元ボクセル空間の時間的コヒーレンスを自己教師付き単眼深度推定に利用した。
いくつかのアウトドアベンチマークの実験結果から,本手法は最先端技術より優れていることが示された。
論文 参考訳(メタデータ) (2022-09-19T03:46:13Z) - Dual Adaptive Transformations for Weakly Supervised Point Cloud
Segmentation [78.6612285236938]
弱制御点雲分割のための新しいDATモデル(textbfDual textbfAdaptive textbfTransformations)を提案する。
我々は,大規模S3DISデータセットとScanNet-V2データセットの2つの人気バックボーンを用いたDATモデルの評価を行った。
論文 参考訳(メタデータ) (2022-07-19T05:43:14Z) - IDEA-Net: Dynamic 3D Point Cloud Interpolation via Deep Embedding
Alignment [58.8330387551499]
我々は、点方向軌跡(すなわち滑らかな曲線)の推定として問題を定式化する。
本稿では,学習した時間的一貫性の助けを借りて問題を解消する,エンドツーエンドのディープラーニングフレームワークであるIDEA-Netを提案する。
各種点群における本手法の有効性を実証し, 定量的かつ視覚的に, 最先端の手法に対する大幅な改善を観察する。
論文 参考訳(メタデータ) (2022-03-22T10:14:08Z) - Guided Point Contrastive Learning for Semi-supervised Point Cloud
Semantic Segmentation [90.2445084743881]
そこで本研究では,モデル性能を向上させるために,未ラベルの点群をトレーニングに採用するための半教師付き点群セマンティックセマンティックセマンティックセマンティクスを提案する。
近年の自己監督型タスクのコントラスト損失に触発されて,特徴表現とモデル一般化能力を高めるためのガイド付きポイントコントラスト損失を提案する。
論文 参考訳(メタデータ) (2021-10-15T16:38:54Z) - Residual 3D Scene Flow Learning with Context-Aware Feature Extraction [11.394559627312743]
ユークリッド空間の文脈構造情報を活用するために,新しいコンテキスト対応集合 conv 層を提案する。
また, 遠距離移動に対処するため, 残留流微細化層に明示的な残留流学習構造を提案する。
提案手法は, これまでのすべての成果を, 少なくとも25%以上の知識に上回りながら, 最先端の性能を達成する。
論文 参考訳(メタデータ) (2021-09-10T06:15:18Z) - SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation [71.2856098776959]
点雲は非秩序であり、その密度は著しく一様ではないため、点雲の3次元運動の推定は困難である。
本稿では,sparse convolution-transformer network (sctn) という新しいアーキテクチャを提案する。
学習した関係に基づく文脈情報が豊富で,対応点の一致に役立ち,シーンフローの推定に有効であることを示す。
論文 参考訳(メタデータ) (2021-05-10T15:16:14Z) - Occlusion Guided Scene Flow Estimation on 3D Point Clouds [4.518012967046983]
3次元シーンフロー推定は、環境に与えられた深度や範囲のセンサーを知覚する上で欠かせないツールである。
本稿では,フレーム間のフローとオクルージョンの両方の学習を密に結合する,OGSF-Netと呼ばれる新しいシーンフローアーキテクチャを提案する。
これらの共生が組み合わさって宇宙の流れをより正確に予測できる。
論文 参考訳(メタデータ) (2020-11-30T15:22:03Z) - Do not trust the neighbors! Adversarial Metric Learning for
Self-Supervised Scene Flow Estimation [0.0]
シーンフローは動的3次元シーンの個々の点に3次元運動ベクトルを推定するタスクである。
本稿では,3次元シーンフローベンチマークと,トレーニングフローモデルのための新しい自己教師型セットアップを提案する。
我々は,移動コヒーレンスを保ち,多くの自監督ベースラインが把握できない局所的なジオメトリーを維持できることを発見した。
論文 参考訳(メタデータ) (2020-11-01T17:41:32Z) - Adversarial Self-Supervised Scene Flow Estimation [15.278302535191866]
本研究では,自己監督型シーンフロー推定のためのメトリクス学習手法を提案する。
自己監督型シーンフロー推定のためのベンチマークであるScene Flow Sandboxについて概説する。
論文 参考訳(メタデータ) (2020-11-01T16:37:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。