論文の概要: XFormer: Fast and Accurate Monocular 3D Body Capture

• arxiv url: http://arxiv.org/abs/2305.11101v1
• Date: Thu, 18 May 2023 16:45:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 13:59:34.894756
• Title: XFormer: Fast and Accurate Monocular 3D Body Capture
• Title（参考訳）: XFormer:高速で正確なモノクロ3Dボディキャプチャ
• Authors: Lihui Qian, Xintong Han, Faqiang Wang, Hongyu Liu, Haoye Dong, Zhiwen Li, Huawei Wei, Zhe Lin and Cheng-Bin Jin
• Abstract要約: 本稿では,モノクロ画像のみを入力とするコンシューマCPU上でのリアルタイム性能を実現する,新しいヒューマンメッシュ・モーションキャプチャ手法であるXFormerを提案する。 XFormerは(単一のCPUコア上では30fps以上)高速に動作します。 HRNetバックボーンにより、XFormerはHumm3.6および3DPWデータセット上で最先端のパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 29.36334648136584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present XFormer, a novel human mesh and motion capture method that achieves real-time performance on consumer CPUs given only monocular images as input. The proposed network architecture contains two branches: a keypoint branch that estimates 3D human mesh vertices given 2D keypoints, and an image branch that makes predictions directly from the RGB image features. At the core of our method is a cross-modal transformer block that allows information to flow across these two branches by modeling the attention between 2D keypoint coordinates and image spatial features. Our architecture is smartly designed, which enables us to train on various types of datasets including images with 2D/3D annotations, images with 3D pseudo labels, and motion capture datasets that do not have associated images. This effectively improves the accuracy and generalization ability of our system. Built on a lightweight backbone (MobileNetV3), our method runs blazing fast (over 30fps on a single CPU core) and still yields competitive accuracy. Furthermore, with an HRNet backbone, XFormer delivers state-of-the-art performance on Huamn3.6 and 3DPW datasets.
• Abstract（参考訳）: 本稿では,単眼画像のみを入力として,コンシューマcpu上でのリアルタイム性能を実現する,新しいヒューマンメッシュおよびモーションキャプチャ手法であるxformerを提案する。 提案するネットワークアーキテクチャには,2次元のキーポイントを持つ3次元メッシュ頂点を推定するキーポイントブランチと,RGB画像特徴から直接予測を行うイメージブランチの2つのブランチが含まれている。 本手法の核となるクロスモーダルトランスフォーマーブロックは,2次元キーポイント座標と画像空間特徴の注意をモデル化することにより,これら2つの枝をまたいで情報を流すことができる。 アーキテクチャはスマートに設計されており,2D/3Dアノテーション付き画像,3D擬似ラベル付き画像,関連する画像を持たないモーションキャプチャデータセットなど,さまざまな種類のデータセットをトレーニングすることができる。 これにより,システムの精度と一般化能力が向上する。 軽量なバックボーン(mobilenetv3)をベースとし,高速なブレイジング(単一のcpuコア上で30fps以上)で動作し,競合精度を保っている。 さらに、HRNetバックボーンにより、XFormerはHumm3.6と3DPWデータセットで最先端のパフォーマンスを提供する。

関連論文リスト

• SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and Quasi-Planar Segmentation [53.83313235792596]
  本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。 2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。 本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
  論文  参考訳（メタデータ） (2023-06-28T22:36:44Z)
• Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud Pre-training [65.75399500494343]
  Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。 自己監督型3次元点雲事前学習のための2D-3DジョイントMAEフレームワークであるJoint-MAEを提案する。
  論文  参考訳（メタデータ） (2023-02-27T17:56:18Z)
• Learning 3D Representations from 2D Pre-trained Models via Image-to-Point Masked Autoencoders [52.91248611338202]
  I2P-MAEという名前のイメージ・ツー・ポイント・マスケッド・オートエンコーダを用いて,2次元事前学習モデルから優れた3次元表現を得る方法を提案する。 自己教師付き事前学習により、よく学習された2D知識を利用して、3Dマスクによる自動エンコーディングをガイドする。 I2P-MAEは最先端の90.11%の精度、+3.68%の精度で第2ベストに到達し、より優れた転送能力を示す。
  論文  参考訳（メタデータ） (2022-12-13T17:59:20Z)
• Bidirectional Projection Network for Cross Dimension Scene Understanding [69.29443390126805]
  本稿では,2次元および3次元の連立推論のための縦方向投影網(BPNet)をエンドツーエンドに提示する。 emphBPM、補完的な2D、および3D情報は、複数のアーキテクチャレベルで相互に相互作用することができる。 我々のemphBPNetは2次元および3次元セマンティックセマンティックセグメンテーションのためのScanNetV2ベンチマークで最高性能を達成した。
  論文  参考訳（メタデータ） (2021-03-26T08:31:39Z)
• Robust 2D/3D Vehicle Parsing in CVIS [54.825777404511605]
  本研究では,協調型車両インフラシステム(CVIS)の一環として,異なるカメラビューの車両を堅牢に検出・認識する新しいアプローチを提案する。 提案方式は任意のカメラビュー向けに設計されており,本質的パラメータや外部的パラメータを仮定しない。 実際に,本手法は2次元検出,インスタンスセグメンテーション,6-DoFのポーズ推定においてSOTA法より優れている。
  論文  参考訳（メタデータ） (2021-03-11T03:35:05Z)
• Making a Case for 3D Convolutions for Object Segmentation in Videos [16.167397418720483]
  本研究では,3次元畳み込みネットワークが高精細な物体分割などの高密度映像予測タスクに効果的に適用可能であることを示す。 本稿では,新しい3Dグローバル・コンボリューション・レイヤと3Dリファインメント・モジュールからなる3Dデコーダアーキテクチャを提案する。 提案手法は,DAVIS'16 Unsupervised, FBMS, ViSalベンチマークにおいて,既存の最先端技術よりもはるかに優れている。
  論文  参考訳（メタデータ） (2020-08-26T12:24:23Z)
• Convolutional Generation of Textured 3D Meshes [34.20939983046376]
  単視点自然画像からの2次元監視のみを用いて,三角形メッシュとそれに伴う高分解能テクスチャマップを生成できるフレームワークを提案する。 我々の研究の重要な貢献は、メッシュとテクスチャを2D表現として符号化することであり、意味的に整合し、2D畳み込みGANで容易にモデル化できる。 本研究では,Pascal3D+カーとCUBにおいて,モデルがクラスラベル,属性,テキストに条件付けされている場合とで,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-13T15:23:29Z)
• Light3DPose: Real-time Multi-Person 3D PoseEstimation from Multiple Views [5.510992382274774]
  いくつかのキャリブレーションされたカメラビューから複数の人物の3次元ポーズ推定を行う手法を提案する。 我々のアーキテクチャは、2次元ポーズ推定器のバックボーンから特徴マップを3次元シーンの包括的表現に集約する。 提案手法は本質的に効率的であり, 純粋なボトムアップ手法として, 現場の人数から計算的に独立している。
  論文  参考訳（メタデータ） (2020-04-06T14:12:19Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。