論文の概要: Gait Recognition in the Wild with Dense 3D Representations and A Benchmark

• arxiv url: http://arxiv.org/abs/2204.02569v1
• Date: Wed, 6 Apr 2022 03:54:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-08 00:19:13.615469
• Title: Gait Recognition in the Wild with Dense 3D Representations and A Benchmark
• Title（参考訳）: 密集した3次元表現とベンチマークを用いた野生の歩行認識
• Authors: Jinkai Zheng, Xinchen Liu, Wu Liu, Lingxiao He, Chenggang Yan, Tao Mei
• Abstract要約: 既存の歩行認識の研究は、制約されたシーンにおける人間の体のシルエットや骨格のような2D表現によって支配されている。 本稿では,野生における歩行認識のための高密度な3次元表現の探索を目的とする。 大規模な3D表現に基づく歩行認識データセットGait3Dを構築した。
• 参考スコア（独自算出の注目度）: 86.68648536257588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing studies for gait recognition are dominated by 2D representations like the silhouette or skeleton of the human body in constrained scenes. However, humans live and walk in the unconstrained 3D space, so projecting the 3D human body onto the 2D plane will discard a lot of crucial information like the viewpoint, shape, and dynamics for gait recognition. Therefore, this paper aims to explore dense 3D representations for gait recognition in the wild, which is a practical yet neglected problem. In particular, we propose a novel framework to explore the 3D Skinned Multi-Person Linear (SMPL) model of the human body for gait recognition, named SMPLGait. Our framework has two elaborately-designed branches of which one extracts appearance features from silhouettes, the other learns knowledge of 3D viewpoints and shapes from the 3D SMPL model. In addition, due to the lack of suitable datasets, we build the first large-scale 3D representation-based gait recognition dataset, named Gait3D. It contains 4,000 subjects and over 25,000 sequences extracted from 39 cameras in an unconstrained indoor scene. More importantly, it provides 3D SMPL models recovered from video frames which can provide dense 3D information of body shape, viewpoint, and dynamics. Based on Gait3D, we comprehensively compare our method with existing gait recognition approaches, which reflects the superior performance of our framework and the potential of 3D representations for gait recognition in the wild. The code and dataset are available at https://gait3d.github.io.
• Abstract（参考訳）: 歩行認識に関する既存の研究は、制約された場面における人体のシルエットや骨格のような2次元表現によって支配されている。 しかし、人間は制約のない3D空間に住み、歩き回るので、3Dの人間の体を2D平面に投影すると、視線、形状、歩行認識のダイナミクスといった重要な情報がなくなる。 そこで本研究では,野生における歩行認識のための高密度な3次元表現について検討する。 特に,歩行認識のための人体の3次元スキンドマルチパーソンリニア(smpl)モデルであるsmplgaitを探索するための新しい枠組みを提案する。 本フレームワークは, シルエットから外観特徴を抽出し, 3次元SMPLモデルから3次元視点と形状の知識を学習する, 精巧に設計された2つの枝を持つ。 さらに,適切なデータセットの欠如により,大規模3次元表現に基づくgait認識データセットであるgait3dを構築した。 4000人の被験者と、39台のカメラから抽出された25,000以上のシーケンスを含む。 さらに重要なことは、ビデオフレームから回収された3d smplモデルを提供し、ボディ形状、視点、ダイナミックスの高密度な3d情報を提供する。 提案手法を既存の歩行認識手法と包括的に比較し,我々のフレームワークの優れた性能と,野生での歩行認識のための3次元表現の可能性を反映した。 コードとデータセットはhttps://gait3d.github.ioで入手できる。

関連論文リスト

• Learning 3D Representations from Procedural 3D Programs [6.915871213703219]
  自己教師付き学習は、ラベルのない3Dポイントクラウドから転送可能な3D表現を取得するための有望なアプローチとして登場した。 簡単なプリミティブと拡張を使って3次元形状を自動的に生成する手続き型3Dプログラムから3次元表現を学習する。
  論文  参考訳（メタデータ） (2024-11-25T18:59:57Z)
• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Uni3D: Exploring Unified 3D Representation at Scale [66.26710717073372]
  大規模に統一された3次元表現を探索する3次元基礎モデルであるUni3Dを提案する。 Uni3Dは、事前にトレーニングされた2D ViTのエンドツーエンドを使用して、3Dポイントクラウド機能と画像テキスト整列機能とを一致させる。 強力なUni3D表現は、野生での3D絵画や検索などの応用を可能にする。
  論文  参考訳（メタデータ） (2023-10-10T16:49:21Z)
• AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
  本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。 本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。 提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
  論文  参考訳（メタデータ） (2023-05-03T17:56:24Z)
• TANDEM3D: Active Tactile Exploration for 3D Object Recognition [16.548376556543015]
  触覚信号を用いた3次元物体認識のための協調学習フレームワークであるTANDEM3Dを提案する。 TANDEM3Dは、PointNet++を使って接触位置と正規値から3Dオブジェクト表現を構築する新しいエンコーダに基づいている。 本手法はシミュレーションで完全に訓練され,実世界の実験で検証される。
  論文  参考訳（メタデータ） (2022-09-19T05:54:26Z)
• Omni3D: A Large Benchmark and Model for 3D Object Detection in the Wild [32.05421669957098]
  大規模なデータセットとスケーラブルなソリューションは、2D認識において前例のない進歩をもたらした。 我々はOmni3Dと呼ばれる大規模なベンチマークを導入することで3Dオブジェクト検出の課題を再考する。 より大規模なOmni3Dおよび既存のベンチマークにおいて、Cube R-CNNが以前の作業より優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-21T17:56:22Z)
• Parameter-Efficient Person Re-identification in the 3D Space [51.092669618679615]
  我々は3次元空間に2D画像を投影し、新しいパラメータ効率のOmniスケールグラフネットワーク(OG-Net)を導入し、3次元点雲から直接歩行者表現を学習する。 OG-Netはスパース3Dポイントが提供するローカル情報を効果的に活用し、その構造と外観情報を一貫性のある方法で活用する。 私たちは3D空間における人物の再識別を行う最初の試みの1つです。
  論文  参考訳（メタデータ） (2020-06-08T13:20:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。