論文の概要: LIDAR GAIT: Benchmarking 3D Gait Recognition with Point Clouds
- arxiv url: http://arxiv.org/abs/2211.10598v1
- Date: Sat, 19 Nov 2022 06:23:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 19:56:56.668513
- Title: LIDAR GAIT: Benchmarking 3D Gait Recognition with Point Clouds
- Title(参考訳): LIDAR GAIT:ポイントクラウドによる3次元歩行認識のベンチマーク
- Authors: Chuanfu Shen, Chao Fan, Wei Wu, Rui Wang, George Q. Huang, Shiqi Yu
- Abstract要約: マルチビュープロジェクションネットワーク(MVPNet)と呼ばれる,シンプルで効率的な3次元歩行認識フレームワークを提案する。
MVPNetはまず、異なる視点から雲を複数の深度マップに向け、次に深度画像を融合して、3D幾何学情報でコンパクトな表現を学ぶ。
ポイントクラウドデータセットが不足しているため、ロボットに搭載されたLidarセンサとRGBカメラによって収集された、最初の大規模Lidarベースの歩行認識データセットであるLIDAR GAITを構築した。
- 参考スコア(独自算出の注目度): 18.22238384814974
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video-based gait recognition has achieved impressive results in constrained
scenarios. However, visual cameras neglect human 3D structure information,
which limits the feasibility of gait recognition in the 3D wild world. In this
work, instead of extracting gait features from images, we explore precise 3D
gait features from point clouds and propose a simple yet efficient 3D gait
recognition framework, termed multi-view projection network (MVPNet). MVPNet
first projects point clouds into multiple depth maps from different
perspectives, and then fuse depth images together, to learn the compact
representation with 3D geometry information. Due to the lack of point cloud
datasets, we build the first large-scale Lidar-based gait recognition dataset,
LIDAR GAIT, collected by a Lidar sensor and an RGB camera mounted on a robot.
The dataset contains 25,279 sequences from 1,050 subjects and covers many
different variations, including visibility, views, occlusions, clothing,
carrying, and scenes. Extensive experiments show that, (1) 3D structure
information serves as a significant feature for gait recognition. (2) MVPNet
not only competes with five representative point-based methods, but it also
outperforms existing camera-based methods by large margins. (3) The Lidar
sensor is superior to the RGB camera for gait recognition in the wild. LIDAR
GAIT dataset and MVPNet code will be publicly available.
- Abstract(参考訳): ビデオベースの歩行認識は制約のあるシナリオで印象的な結果を得た。
しかし、視覚カメラは人間の3d構造情報を無視し、3dワイルドワールドにおける歩行認識の可能性を制限する。
本研究では,画像から歩容特徴を抽出する代わりに,点雲から正確な3次元歩容特徴を探索し,多視点投影ネットワーク(MVPNet)と呼ばれる単純な3次元歩容認識フレームワークを提案する。
MVPNetはまず、異なる視点から雲を複数の深度マップに向け、次に深度画像を融合して、3D幾何学情報でコンパクトな表現を学ぶ。
ポイントクラウドデータセットが不足しているため、ロボットに搭載されたLidarセンサとRGBカメラによって収集された、最初の大規模Lidarベースの歩行認識データセットであるLIDAR GAITを構築した。
データセットには1,050人の被験者から25,279のシーケンスがあり、可視性、ビュー、オクルージョン、衣服、持ち運び、シーンなど、さまざまなバリエーションをカバーしている。
広範な実験により,(1)3次元構造情報が歩行認識の重要な特徴であることがわかった。
(2) mvpnetは5つの代表的なポイントベース手法と競合するだけでなく、既存のカメラベースの手法を大きなマージンで上回っている。
(3)Lidarセンサーは、野生での歩行認識にRGBカメラより優れている。
LIDAR GAITデータセットとMVPNetコードが公開される。
関連論文リスト
- Sparse-to-Dense LiDAR Point Generation by LiDAR-Camera Fusion for 3D Object Detection [9.076003184833557]
2D画像特徴を融合させてLiDARポイントクラウドデータを再構成する新しいフレームワークであるLiDAR-Camera Augmentation Network (LCANet)を提案する。
LCANetは、画像特徴を3D空間に投影し、意味情報をポイントクラウドデータに統合することで、LiDARセンサーからのデータを融合する。
この融合は、しばしばスパースポイントで表される長距離物体の検出におけるLiDARの弱点を効果的に補う。
論文 参考訳(メタデータ) (2024-09-23T13:03:31Z) - VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。
本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
論文 参考訳(メタデータ) (2024-04-15T03:12:12Z) - Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration [107.61458720202984]
本稿では,自律走行シーンにおける3次元知覚を高めるための,新しい自己教師型学習フレームワークを提案する。
本稿では,画像とポイントクラウドデータの領域ギャップを埋めるために,学習可能な変換アライメントを提案する。
我々は剛性ポーズを推定するために密度の高い2D-3D対応を確立する。
論文 参考訳(メタデータ) (2024-01-23T02:41:06Z) - VirtualPainting: Addressing Sparsity with Virtual Points and
Distance-Aware Data Augmentation for 3D Object Detection [3.5259183508202976]
本稿では,カメラ画像を用いた仮想LiDAR点の生成を含む革新的なアプローチを提案する。
また、画像ベースセグメンテーションネットワークから得られる意味ラベルを用いて、これらの仮想点を強化する。
このアプローチは、様々な3Dフレームワークと2Dセマンティックセグメンテーションメソッドにシームレスに統合できる汎用的なソリューションを提供する。
論文 参考訳(メタデータ) (2023-12-26T18:03:05Z) - Semantics-aware LiDAR-Only Pseudo Point Cloud Generation for 3D Object
Detection [0.7234862895932991]
近年の進歩は擬似LiDAR、すなわち合成高密度点雲を導入し、カメラなどの追加のモダリティを使って3Dオブジェクト検出を強化している。
我々は,LiDARセンサとシーンセマンティクスに頼って,密度の高い擬似点雲で生スキャンを増強する,新しいLiDAR専用フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-16T09:18:47Z) - AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。
我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
論文 参考訳(メタデータ) (2022-08-24T16:54:38Z) - Gait Recognition in the Wild with Dense 3D Representations and A
Benchmark [86.68648536257588]
既存の歩行認識の研究は、制約されたシーンにおける人間の体のシルエットや骨格のような2D表現によって支配されている。
本稿では,野生における歩行認識のための高密度な3次元表現の探索を目的とする。
大規模な3D表現に基づく歩行認識データセットGait3Dを構築した。
論文 参考訳(メタデータ) (2022-04-06T03:54:06Z) - An Overview Of 3D Object Detection [21.159668390764832]
マルチクラスオブジェクト認識を行うために,RGBデータとポイントクラウドデータの両方を用いるフレームワークを提案する。
最近リリースされたnuScenesデータセット - 大規模なデータセットには多くのデータフォーマットが含まれています - をトレーニングし、提案したアーキテクチャを評価します。
論文 参考訳(メタデータ) (2020-10-29T14:04:50Z) - RoIFusion: 3D Object Detection from LiDAR and Vision [7.878027048763662]
本稿では,3次元関心領域(RoI)の集合を点雲から対応する画像の2次元ロIに投影することで,新しい融合アルゴリズムを提案する。
提案手法は,KITTI 3Dオブジェクト検出課題ベンチマークにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2020-09-09T20:23:27Z) - Cross-Modality 3D Object Detection [63.29935886648709]
本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。
アーキテクチャ全体が2段階の融合を促進する。
KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
論文 参考訳(メタデータ) (2020-08-16T11:01:20Z) - ZoomNet: Part-Aware Adaptive Zooming Neural Network for 3D Object
Detection [69.68263074432224]
ステレオ画像に基づく3D検出のためのZoomNetという新しいフレームワークを提案する。
ZoomNetのパイプラインは、通常の2Dオブジェクト検出モデルから始まり、左右のバウンディングボックスのペアを取得するために使用される。
さらに,RGB画像のテクスチャキューを多用し,より正確な異質度推定を行うため,適応ズームという概念的に真直ぐなモジュールを導入する。
論文 参考訳(メタデータ) (2020-03-01T17:18:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。