論文の概要: 3D Segmentation of Humans in Point Clouds with Synthetic Data

• arxiv url: http://arxiv.org/abs/2212.00786v2
• Date: Fri, 2 Dec 2022 16:53:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 13:27:12.897132
• Title: 3D Segmentation of Humans in Point Clouds with Synthetic Data
• Title（参考訳）: 合成データを用いた点雲中の人間の3次元セグメンテーション
• Authors: Ay\c{c}a Takmaz, Jonas Schult, Irem Kaftan, Mertcan Ak\c{c}ay, Bastian Leibe, Robert Sumner, Francis Engelmann, Siyu Tang
• Abstract要約: 現実的な3Dシーンで仮想人間を合成するための枠組みを提案する。 我々は,Human3Dと呼ばれる3次元多次元物体分割の最初のエンドツーエンドモデルを提案する。 注目すべきは、Human3Dは従来のタスク固有の最先端の手法よりも優れています。
• 参考スコア（独自算出の注目度）: 23.0777549862434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Segmenting humans in 3D indoor scenes has become increasingly important with the rise of human-centered robotics and AR/VR applications. In this direction, we explore the tasks of 3D human semantic-, instance- and multi-human body-part segmentation. Few works have attempted to directly segment humans in point clouds (or depth maps), which is largely due to the lack of training data on humans interacting with 3D scenes. We address this challenge and propose a framework for synthesizing virtual humans in realistic 3D scenes. Synthetic point cloud data is attractive since the domain gap between real and synthetic depth is small compared to images. Our analysis of different training schemes using a combination of synthetic and realistic data shows that synthetic data for pre-training improves performance in a wide variety of segmentation tasks and models. We further propose the first end-to-end model for 3D multi-human body-part segmentation, called Human3D, that performs all the above segmentation tasks in a unified manner. Remarkably, Human3D even outperforms previous task-specific state-of-the-art methods. Finally, we manually annotate humans in test scenes from EgoBody to compare the proposed training schemes and segmentation models.
• Abstract（参考訳）: 3D屋内シーンにおける人間のセグメンテーションは、人間中心のロボット工学とAR/VR応用の台頭によってますます重要になっている。 この方向では、3次元人間の意味、インスタンス、マルチヒューマンボディパートセグメンテーションのタスクを探求する。 ポイントクラウド(または深度マップ)で人間を直接分割しようとする試みはほとんどないが、これは主に3dシーンと対話する人間のトレーニングデータがないためである。 この課題に対処し、リアルな3Dシーンで仮想人間を合成するためのフレームワークを提案する。 合成点雲データは、画像に比べて実深度と合成深度の領域ギャップが小さいため、魅力的である。 合成データと実データの組み合わせを用いて異なるトレーニングスキームを解析した結果,プリトレーニングのための合成データが様々なセグメンテーションタスクとモデルの性能を向上させることがわかった。 さらに、上記すべてのセグメンテーションタスクを統一的に実行する3次元多人数身体部分セグメンテーションのための最初のエンドツーエンドモデルであるhuman3dを提案する。 注目すべきは、Human3Dは従来のタスク固有の最先端の手法よりも優れています。 最後に、EgoBodyのテストシーンで人間が手動でアノテートして、提案したトレーニングスキームとセグメンテーションモデルを比較した。

関連論文リスト

• Human-Aware 3D Scene Generation with Spatially-constrained Diffusion Models [16.259040755335885]
  従来の自己回帰に基づく3Dシーン生成手法は、複数の物体と入力人間の関節分布を正確に捉えるのに苦労してきた。 本研究では,人間-物体衝突回避機構とオブジェクト-部屋境界制約という2つの空間衝突誘導機構を導入する。 我々のフレームワークは、人間とシーンのインタラクションを正確に行うことで、より自然でわかりやすい3Dシーンを生成することができる。
  論文  参考訳（メタデータ） (2024-06-26T08:18:39Z)
• SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
  ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。 SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。 SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-01T21:23:03Z)
• Primitive-based 3D Human-Object Interaction Modelling and Programming [59.47308081630886]
  本研究では,人間と物体の両方を符号化する新しい3次元幾何学的原始言語を提案する。 プリミティブと画像を組み合わせた3D HAOIのベンチマークを構築した。 このプリミティブベースの3DHAOI表現は、3DHAOI研究の道を開くと信じている。
  論文  参考訳（メタデータ） (2023-12-17T13:16:49Z)
• Revisit Human-Scene Interaction via Space Occupancy [55.67657438543008]
  HSI(Human-Scene Interaction)の生成は、さまざまな下流タスクに不可欠な課題である。 本研究では,シーンとのインタラクションが,抽象的な物理的視点からシーンの空間占有と本質的に相互作用していることを論じる。 純粋な動きシーケンスを、見えないシーン占有と相互作用する人間の記録として扱うことで、動きのみのデータを大規模にペア化された人間-占有相互作用データベースに集約することができる。
  論文  参考訳（メタデータ） (2023-12-05T12:03:00Z)
• GenZI: Zero-Shot 3D Human-Scene Interaction Generation [39.9039943099911]
  我々は3次元人間とシーンの相互作用を生成するための最初のゼロショットアプローチであるGenZIを提案する。 GenZIの鍵となるのは、大きな視覚言語モデル(VLM)による相互作用先行の蒸留です。 既存の学習ベースのアプローチとは対照的に、GenZIはキャプチャされた3Dインタラクションデータに対する従来のニーズを回避している。
  論文  参考訳（メタデータ） (2023-11-29T15:40:11Z)
• HUMANISE: Language-conditioned Human Motion Generation in 3D Scenes [54.61610144668777]
  本稿では,3次元シーンで3次元人間の動きを生成できる新しいシーン・アンド・ランゲージ・コンディショニング・ジェネレーション・モデルを提案する。 実験により,我々のモデルは3次元シーンにおいて多様で意味的に一貫した人間の動きを生成できることを示した。
  論文  参考訳（メタデータ） (2022-10-18T10:14:11Z)
• Reconstructing Action-Conditioned Human-Object Interactions Using Commonsense Knowledge Priors [42.17542596399014]
  本稿では,画像から人-物間相互作用の多種多様な3次元モデルを推定する手法を提案する。 提案手法は,大規模言語モデルから高レベルのコモンセンス知識を抽出する。 本研究では,大規模な人-物間相互作用データセットを用いて,推定された3次元モデルを定量的に評価する。
  論文  参考訳（メタデータ） (2022-09-06T13:32:55Z)
• Compositional Human-Scene Interaction Synthesis with Semantic Control [16.93177243590465]
  高レベルのセマンティック仕様によって制御された所定の3Dシーンと相互作用する人間を合成することを目的としている。 本研究では,3次元人体表面点と3次元物体を共同符号化したトランスフォーマーを用いた新しい生成モデルを設計する。 人間が同時に複数の物体と相互作用できる相互作用の構成的性質に着想を得て、相互作用のセマンティクスを原子間相互作用-対象対の様々な数の合成として定義する。
  論文  参考訳（メタデータ） (2022-07-26T11:37:44Z)
• S3: Neural Shape, Skeleton, and Skinning Fields for 3D Human Modeling [103.65625425020129]
  歩行者の形状、ポーズ、皮膚の重みを、データから直接学習する神経暗黙関数として表現します。 各種データセットに対するアプローチの有効性を実証し,既存の最先端手法よりも再現性が優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-17T02:16:56Z)
• PLACE: Proximity Learning of Articulation and Contact in 3D Environments [70.50782687884839]
  本研究では,人体と周囲の3Dシーンとの近接性をモデル化した新しいインタラクション生成手法PLACEを提案する。 我々の知覚学的研究は、PLACEが実際の人間とシーンの相互作用のリアリズムにアプローチし、最先端の手法を著しく改善することを示している。
  論文  参考訳（メタデータ） (2020-08-12T21:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。