論文の概要: Self-Supervised Scene Flow Estimation with Point-Voxel Fusion and Surface Representation
- arxiv url: http://arxiv.org/abs/2410.13355v1
- Date: Thu, 17 Oct 2024 09:05:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-18 13:19:43.664370
- Title: Self-Supervised Scene Flow Estimation with Point-Voxel Fusion and Surface Representation
- Title（参考訳）: ポイント・ボクセル融合と表面表現による自己監督型シーンフロー推定
- Authors: Xuezhi Xiang, Xi Wang, Lei Zhang, Denis Ombati, Himaloy Himu, Xiantong Zhen,
- Abstract要約: シーンフロー推定は、点雲の2つの連続するフレーム間の点の3次元運動場を生成することを目的としている。
既存の点ベースの手法は点雲の不規則性を無視し、長距離依存を捉えるのが困難である。
本稿では,分散グリッドアテンションとシフトウインドウ戦略に基づくボクセルブランチを用いて,長距離依存性を捕捉するポイントボクセル融合法を提案する。
- 参考スコア（独自算出の注目度）: 30.355128117680444
- License:
- Abstract: Scene flow estimation aims to generate the 3D motion field of points between two consecutive frames of point clouds, which has wide applications in various fields. Existing point-based methods ignore the irregularity of point clouds and have difficulty capturing long-range dependencies due to the inefficiency of point-level computation. Voxel-based methods suffer from the loss of detail information. In this paper, we propose a point-voxel fusion method, where we utilize a voxel branch based on sparse grid attention and the shifted window strategy to capture long-range dependencies and a point branch to capture fine-grained features to compensate for the information loss in the voxel branch. In addition, since xyz coordinates are difficult to describe the geometric structure of complex 3D objects in the scene, we explicitly encode the local surface information of the point cloud through the umbrella surface feature extraction (USFE) module. We verify the effectiveness of our method by conducting experiments on the Flyingthings3D and KITTI datasets. Our method outperforms all other self-supervised methods and achieves highly competitive results compared to fully supervised methods. We achieve improvements in all metrics, especially EPE, which is reduced by 8.51% and 10.52% on the KITTIo and KITTIs datasets, respectively.
- Abstract（参考訳）: シーンフロー推定は2つの点雲の連続するフレーム間の点の3次元運動場を生成することを目的としており、様々な分野に広く応用されている。
既存の点ベースの手法は点雲の不規則性を無視し、点レベルの計算の非効率性のために長距離依存を捉えるのが困難である。
ボクセルベースの手法は詳細情報の喪失に悩まされる。
本稿では,スパースグリッドアテンションに基づくボクセルブランチとシフトウインドウ戦略を用いて,長距離依存性を捉える点ブランチと,その情報損失を補うために微細な特徴を捉える点ブランチを提案する。
また,xyz座標は複雑な3次元物体の幾何学的構造を記述するのが難しいため,傘表面特徴抽出(USFE)モジュールを通して点雲の局所的な表面情報を明示的に符号化する。
本研究では,Flyingthings3DおよびKITTIデータセットを用いて実験を行い,本手法の有効性を検証する。
本手法は,全自己監督手法より優れ,完全教師付き手法と比較して高い競争力を発揮する。
我々は、KITTIoデータセットとKITTIsデータセットでそれぞれ8.51%と10.52%削減されたすべてのメトリクス、特にEPEの改善を実現している。
関連論文リスト
- FASTC: A Fast Attentional Framework for Semantic Traversability Classification Using Point Cloud [7.711666704468952]
点雲を用いたトラバーサビリティ評価の問題に対処する。
本稿では,垂直に配置された点雲から特徴を捉えるために PointNet を利用した柱状特徴抽出モジュールを提案する。
次に、LIDAR点雲の密度問題に適切に対応できる多フレーム情報を融合する新しい時間的アテンションモジュールを提案する。
論文 参考訳（メタデータ） (2024-06-24T12:01:55Z) - PointOcc: Cylindrical Tri-Perspective View for Point-based 3D Semantic
Occupancy Prediction [72.75478398447396]
本稿では,点雲を効果的かつ包括的に表現する円筒型三重対視図を提案する。
また,LiDAR点雲の距離分布を考慮し,円筒座標系における三点ビューを構築した。
プロジェクション中に構造の詳細を維持するために空間群プーリングを使用し、各TPV平面を効率的に処理するために2次元バックボーンを採用する。
論文 参考訳（メタデータ） (2023-08-31T17:57:17Z) - PV-SSD: A Multi-Modal Point Cloud Feature Fusion Method for Projection Features and Variable Receptive Field Voxel Features [1.5338480419018068]
非常にスパースな3Dデータからのリアルタイム推論は、非常に難しい課題だ。
この問題に対処するため、典型的なアプローチのクラスは、点雲のキャストを正規のデータ表現に変換する。
本稿では,射影特徴と可変受容野ボクセル特徴に対するマルチモーダル点雲特徴融合法を提案する。
論文 参考訳（メタデータ） (2023-08-13T15:30:02Z) - On Robust Cross-View Consistency in Self-Supervised Monocular Depth Estimation [56.97699793236174]
本論文では,2種類の堅牢なクロスビュー整合性について検討する。
深度特徴空間と3次元ボクセル空間の時間的コヒーレンスを自己教師付き単眼深度推定に利用した。
いくつかのアウトドアベンチマークの実験結果から,本手法は最先端技術より優れていることが示された。
論文 参考訳（メタデータ） (2022-09-19T03:46:13Z) - Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation [74.67594286008317]
本稿では,大きな教師モデルから,LiDARセマンティックセグメンテーションのためのスリムな学生ネットワークへの知識の抽出の問題に対処する。
本稿では,点レベルとボクセルレベルの両方から隠れた知識を伝達するPVDを提案する。
論文 参考訳（メタデータ） (2022-06-05T05:28:32Z) - IDEA-Net: Dynamic 3D Point Cloud Interpolation via Deep Embedding
Alignment [58.8330387551499]
我々は、点方向軌跡(すなわち滑らかな曲線)の推定として問題を定式化する。
本稿では,学習した時間的一貫性の助けを借りて問題を解消する,エンドツーエンドのディープラーニングフレームワークであるIDEA-Netを提案する。
各種点群における本手法の有効性を実証し, 定量的かつ視覚的に, 最先端の手法に対する大幅な改善を観察する。
論文 参考訳（メタデータ） (2022-03-22T10:14:08Z) - DV-Det: Efficient 3D Point Cloud Object Detection with Dynamic
Voxelization [0.0]
本稿では,効率的な3Dポイント・クラウド・オブジェクト検出のための新しい2段階フレームワークを提案する。
生のクラウドデータを3D空間で直接解析するが、目覚ましい効率と精度を実現する。
我々は,75 FPSでKITTI 3Dオブジェクト検出データセットを,25 FPSの推論速度で良好な精度でOpenデータセット上で強調する。
論文 参考訳（メタデータ） (2021-07-27T10:07:39Z) - RPVNet: A Deep and Efficient Range-Point-Voxel Fusion Network for LiDAR
Point Cloud Segmentation [28.494690309193068]
RPVNetと呼ばれる、新しいレンジポイント・ボクセル融合ネットワークを提案する。
このネットワークでは,これら3つの視点を相互に相互に相互作用する深層融合フレームワークを考案する。
この効率的な相互作用と比較的低いボクセル解像度を利用することで、より効率的であることが証明された。
論文 参考訳（メタデータ） (2021-03-24T04:24:12Z) - PV-RAFT: Point-Voxel Correlation Fields for Scene Flow Estimation of
Point Clouds [89.76093400242088]
本稿では,点雲からのシーンフローを推定するPV-RAFT(Point-Voxel Recurrent All-Pairs Field Transforms)法を提案する。
提案手法をFlyingThings3DとKITTI Scene Flow 2015データセットで評価した。
論文 参考訳（メタデータ） (2020-12-02T06:20:54Z) - Cascaded Refinement Network for Point Cloud Completion [74.80746431691938]
本稿では,細かな物体形状を合成するための粗大な戦略とともに,カスケード型精細化ネットワークを提案する。
部分入力の局所的な詳細と大域的な形状情報を合わせて考えると、既存の詳細を不完全点集合に保存することができる。
また、各局所領域が同じパターンと基底的真理を持つことを保証し、複雑な点分布を学習するパッチ判別器を設計する。
論文 参考訳（メタデータ） (2020-04-07T13:03:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。