論文の概要: Hierarchical Attention Learning of Scene Flow in 3D Point Clouds
- arxiv url: http://arxiv.org/abs/2010.05762v1
- Date: Mon, 12 Oct 2020 14:56:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 07:26:13.553676
- Title: Hierarchical Attention Learning of Scene Flow in 3D Point Clouds
- Title(参考訳): 3次元点雲におけるシーンフローの階層的注意学習
- Authors: Guangming Wang, Xinrui Wu, Zhe Liu, and Hesheng Wang
- Abstract要約: 本稿では,2つの連続する3次元点雲からのシーンフロー推定の問題について検討する。
隣接フレームにおける点特徴の相関を学習するために, 二重注意を有する新しい階層型ニューラルネットワークを提案する。
実験の結果,提案したネットワークは3次元シーンフロー推定の最先端性能より優れていた。
- 参考スコア(独自算出の注目度): 28.59260783047209
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scene flow represents the 3D motion of every point in the dynamic
environments. Like the optical flow that represents the motion of pixels in 2D
images, 3D motion representation of scene flow benefits many applications, such
as autonomous driving and service robot. This paper studies the problem of
scene flow estimation from two consecutive 3D point clouds. In this paper, a
novel hierarchical neural network with double attention is proposed for
learning the correlation of point features in adjacent frames and refining
scene flow from coarse to fine layer by layer. The proposed network has a new
more-for-less hierarchical architecture. The more-for-less means that the
number of input points is greater than the number of output points for scene
flow estimation, which brings more input information and balances the precision
and resource consumption. In this hierarchical architecture, scene flow of
different levels is generated and supervised respectively. A novel attentive
embedding module is introduced to aggregate the features of adjacent points
using a double attention method in a patch-to-patch manner. The proper layers
for flow embedding and flow supervision are carefully considered in our network
designment. Experiments show that the proposed network outperforms the
state-of-the-art performance of 3D scene flow estimation on the FlyingThings3D
and KITTI Scene Flow 2015 datasets. We also apply the proposed network to
realistic LiDAR odometry task, which is an key problem in autonomous driving.
The experiment results demonstrate that our proposed network can outperform the
ICP-based method and shows the good practical application ability.
- Abstract(参考訳): シーンフローは動的環境におけるすべての点の3次元運動を表す。
2d画像中のピクセルの動きを表す光学フローのように、シーンフローの3dモーション表現は、自動運転やサービスロボットなど、多くの応用に役立つ。
本論文では,連続する3次元点雲からのシーンフロー推定の問題点について検討する。
本稿では,隣接フレーム内の点特徴の相関関係を学習し,粗層から微細層へのシーンフローの微細化を図るために,二重注意の階層型ニューラルネットワークを提案する。
提案するネットワークは、新しい階層型アーキテクチャを備えている。
インプットポイントの数はシーンフロー推定のアウトプットポイントの数よりも大きく、より多くのインプット情報をもたらし、精度とリソース消費のバランスをとることを意味する。
この階層アーキテクチャでは、それぞれ異なるレベルのシーンフローを生成し、管理する。
パッチ・ツー・パッチ方式でダブルアテンション法を用いて隣接点の特徴を集約する新しい注意埋め込みモジュールを導入する。
ネットワーク設計において,フロー埋め込みとフロー監視のための適切なレイヤを慎重に検討する。
実験の結果,提案したネットワークはFlyingThings3DとKITTI Scene Flow 2015データセット上での3Dシーンフロー推定の最先端性能よりも優れていた。
また,提案したネットワークを現実的なLiDAR計測タスクに適用する。
実験の結果,提案するネットワークはICP方式よりも優れており,実用性が高いことを示した。
関連論文リスト
- ALOcc: Adaptive Lifting-based 3D Semantic Occupancy and Cost Volume-based Flow Prediction [89.89610257714006]
既存の手法は、これらのタスクの要求に応えるために高い精度を優先する。
本稿では,3次元セマンティック占有率予測とフロー推定のための一連の改善点を紹介する。
私たちの純粋な時間的アーキテクチャフレームワークであるALOccは、速度と精度の最適なトレードオフを実現しています。
論文 参考訳(メタデータ) (2024-11-12T11:32:56Z) - Let Occ Flow: Self-Supervised 3D Occupancy Flow Prediction [14.866463843514156]
Occ Flowは、カメラ入力のみを使用して、関節の3D占有率と占有率の予測を行う最初の自己教師型作業である。
我々のアプローチは、動的オブジェクトの依存関係をキャプチャするために、新しい注意に基づく時間融合モジュールを組み込んでいる。
本手法は3次元容積流れ場に微分可能レンダリングを拡張する。
論文 参考訳(メタデータ) (2024-07-10T12:20:11Z) - PointFlowHop: Green and Interpretable Scene Flow Estimation from
Consecutive Point Clouds [49.7285297470392]
本研究では,PointFlowHopと呼ばれる3次元シーンフローの効率的な推定法を提案する。
ポイントフローホップは2つの連続する点雲を取り、第1点雲の各点の3次元フローベクトルを決定する。
シーンフロー推定タスクを,エゴモーション補償,オブジェクトアソシエーション,オブジェクトワイドモーション推定など,一連のサブタスクに分解する。
論文 参考訳(メタデータ) (2023-02-27T23:06:01Z) - What Matters for 3D Scene Flow Network [44.02710380584977]
点雲からの3次元シーンフロー推定はコンピュータビジョンにおける低レベルな3次元モーション知覚タスクである。
そこで本研究では,初期シーンフロー推定時の逆方向の信頼性検証が可能な,新しい全対全フロー埋め込み層を提案する。
提案したモデルは,FlyingThings3Dデータセットで少なくとも38.2%,KITTI Scene Flowデータセットで24.7%,EPE3Dメトリックで,既存のすべてのメソッドを上回ります。
論文 参考訳(メタデータ) (2022-07-19T09:27:05Z) - Bi-PointFlowNet: Bidirectional Learning for Point Cloud Based Scene Flow
Estimation [3.1869033681682124]
本稿では,双方向フロー埋め込み層を用いた新しいシーンフロー推定アーキテクチャを提案する。
提案する双方向層は,前方方向と後方方向の両方で特徴を学習し,推定性能を向上させる。
さらに、階層的特徴抽出とワープにより性能が向上し、計算オーバーヘッドが減少する。
論文 参考訳(メタデータ) (2022-07-15T15:14:53Z) - Residual 3D Scene Flow Learning with Context-Aware Feature Extraction [11.394559627312743]
ユークリッド空間の文脈構造情報を活用するために,新しいコンテキスト対応集合 conv 層を提案する。
また, 遠距離移動に対処するため, 残留流微細化層に明示的な残留流学習構造を提案する。
提案手法は, これまでのすべての成果を, 少なくとも25%以上の知識に上回りながら, 最先端の性能を達成する。
論文 参考訳(メタデータ) (2021-09-10T06:15:18Z) - SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation [71.2856098776959]
点雲は非秩序であり、その密度は著しく一様ではないため、点雲の3次元運動の推定は困難である。
本稿では,sparse convolution-transformer network (sctn) という新しいアーキテクチャを提案する。
学習した関係に基づく文脈情報が豊富で,対応点の一致に役立ち,シーンフローの推定に有効であることを示す。
論文 参考訳(メタデータ) (2021-05-10T15:16:14Z) - Weakly Supervised Learning of Rigid 3D Scene Flow [81.37165332656612]
本研究では,剛体体として動くエージェント群によって説明できる3次元シーンを多用したデータ駆動シーンフロー推定アルゴリズムを提案する。
4種類の自律運転データセットにおいて,提案手法の有効性と一般化能力を示す。
論文 参考訳(メタデータ) (2021-02-17T18:58:02Z) - PV-RCNN++: Point-Voxel Feature Set Abstraction With Local Vector
Representation for 3D Object Detection [100.60209139039472]
点雲からの正確な3次元検出を行うために,PointVoxel Region based Convolution Neural Networks (PVRCNNs)を提案する。
提案するPV-RCNNは,Openデータセットと高競争性KITTIベンチマークの両方において,従来の最先端3D検出方法よりも大幅に優れていた。
論文 参考訳(メタデータ) (2021-01-31T14:51:49Z) - Adversarial Self-Supervised Scene Flow Estimation [15.278302535191866]
本研究では,自己監督型シーンフロー推定のためのメトリクス学習手法を提案する。
自己監督型シーンフロー推定のためのベンチマークであるScene Flow Sandboxについて概説する。
論文 参考訳(メタデータ) (2020-11-01T16:37:37Z) - Improving Point Cloud Semantic Segmentation by Learning 3D Object
Detection [102.62963605429508]
ポイントクラウドセマンティックセグメンテーションは、自動運転において重要な役割を果たす。
現在の3Dセマンティックセグメンテーションネットワークは、よく表現されたクラスに対して優れた性能を発揮する畳み込みアーキテクチャに焦点を当てている。
Aware 3D Semantic Detection (DASS) フレームワークを提案する。
論文 参考訳(メタデータ) (2020-09-22T14:17:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。