論文の概要: PLACE: Proximity Learning of Articulation and Contact in 3D Environments

• arxiv url: http://arxiv.org/abs/2008.05570v4
• Date: Thu, 12 Nov 2020 16:21:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 05:40:28.961091
• Title: PLACE: Proximity Learning of Articulation and Contact in 3D Environments
• Title（参考訳）: PLACE:3次元環境における構音・接触の近接学習
• Authors: Siwei Zhang, Yan Zhang, Qianli Ma, Michael J. Black, Siyu Tang
• Abstract要約: 本研究では,人体と周囲の3Dシーンとの近接性をモデル化した新しいインタラクション生成手法PLACEを提案する。 我々の知覚学的研究は、PLACEが実際の人間とシーンの相互作用のリアリズムにアプローチし、最先端の手法を著しく改善することを示している。
• 参考スコア（独自算出の注目度）: 70.50782687884839
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High fidelity digital 3D environments have been proposed in recent years, however, it remains extremely challenging to automatically equip such environment with realistic human bodies. Existing work utilizes images, depth or semantic maps to represent the scene, and parametric human models to represent 3D bodies. While being straightforward, their generated human-scene interactions are often lack of naturalness and physical plausibility. Our key observation is that humans interact with the world through body-scene contact. To synthesize realistic human-scene interactions, it is essential to effectively represent the physical contact and proximity between the body and the world. To that end, we propose a novel interaction generation method, named PLACE (Proximity Learning of Articulation and Contact in 3D Environments), which explicitly models the proximity between the human body and the 3D scene around it. Specifically, given a set of basis points on a scene mesh, we leverage a conditional variational autoencoder to synthesize the minimum distances from the basis points to the human body surface. The generated proximal relationship exhibits which region of the scene is in contact with the person. Furthermore, based on such synthesized proximity, we are able to effectively obtain expressive 3D human bodies that interact with the 3D scene naturally. Our perceptual study shows that PLACE significantly improves the state-of-the-art method, approaching the realism of real human-scene interaction. We believe our method makes an important step towards the fully automatic synthesis of realistic 3D human bodies in 3D scenes. The code and model are available for research at https://sanweiliti.github.io/PLACE/PLACE.html.
• Abstract（参考訳）: 近年,高忠実度デジタル3d環境が提案されているが,現実の人体に自動装備することは極めて困難である。 既存の研究では、シーンを表現するのに画像、深度、セマンティックマップ、そして3dオブジェクトを表すためにパラメトリックな人間モデルを使用している。 単純である一方、生成する人間とシーンの相互作用は自然性や身体的妥当性に欠けることが多い。 我々の重要な観察は、人間が身体と接触することで世界と対話することである。 現実的な人間とシーンの相互作用を合成するには、身体と世界の物理的接触と近接を効果的に表現することが不可欠である。 そこで本研究では,人体と周囲の3Dシーンとの近接性を明示的にモデル化した,PLACE(Proximity Learning of Articulation and Contact in 3D Environments)という対話生成手法を提案する。 具体的には,シーンメッシュ上の基底点の集合を与えられた場合,条件付き変分オートエンコーダを用いて,基底点から人体表面までの最小距離を合成する。 生成された近位関係は、シーンのどの領域が人物と接触しているかを示す。 また、このような合成近接性に基づき、自然に3dシーンと相互作用する表現力のある3d人体を効果的に得ることができる。 我々の知覚学的研究は、PLACEが実際の人間とシーンの相互作用のリアリズムにアプローチし、最先端の手法を著しく改善することを示している。 3dシーンにおける現実の3d人体の完全自動合成に向けて,本手法が重要な一歩を踏み出すと信じている。 コードとモデルはhttps://sanweiliti.github.io/PLACE/PLACE.htmlで研究することができる。

関連論文リスト

• GenZI: Zero-Shot 3D Human-Scene Interaction Generation [39.9039943099911]
  我々は3次元人間とシーンの相互作用を生成するための最初のゼロショットアプローチであるGenZIを提案する。 GenZIの鍵となるのは、大きな視覚言語モデル(VLM)による相互作用先行の蒸留です。 既存の学習ベースのアプローチとは対照的に、GenZIはキャプチャされた3Dインタラクションデータに対する従来のニーズを回避している。
  論文  参考訳（メタデータ） (2023-11-29T15:40:11Z)
• DECO: Dense Estimation of 3D Human-Scene Contact In The Wild [54.44345845842109]
  SMPL体上の接触を推定するために、身体部分駆動とシーンコンテキスト駆動の両方の注意を用いた新しい3D接触検出器を訓練する。 すべてのベンチマークで既存のSOTAメソッドよりも大幅に優れています。 また、DECが自然画像における多様で挑戦的な現実世界の人間のインタラクションによく当てはまることを定性的に示す。
  論文  参考訳（メタデータ） (2023-09-26T21:21:07Z)
• Synthesizing Diverse Human Motions in 3D Indoor Scenes [16.948649870341782]
  そこで本研究では,仮想人間による3次元屋内シーンの映像化手法を提案する。 既存のアプローチは、キャプチャーされた人間の動きと、それらが相互作用する3Dシーンを含むトレーニングシーケンスに依存している。 仮想人間が3Dシーンをナビゲートし、現実的かつ自律的にオブジェクトと対話できる強化学習ベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-21T09:22:24Z)
• HUMANISE: Language-conditioned Human Motion Generation in 3D Scenes [54.61610144668777]
  本稿では,3次元シーンで3次元人間の動きを生成できる新しいシーン・アンド・ランゲージ・コンディショニング・ジェネレーション・モデルを提案する。 実験により,我々のモデルは3次元シーンにおいて多様で意味的に一貫した人間の動きを生成できることを示した。
  論文  参考訳（メタデータ） (2022-10-18T10:14:11Z)
• Contact-aware Human Motion Forecasting [87.04827994793823]
  我々は,3Dシーンと過去の人間の動作を与えられた将来の人間のポーズを予測することで,シーン認識型3Dモーション予測の課題に取り組む。 提案手法は,現在最先端のヒトの動作予測と,合成データと実データの両方においてヒトの合成手法より優れる。
  論文  参考訳（メタデータ） (2022-10-08T07:53:19Z)
• Human-Aware Object Placement for Visual Environment Reconstruction [63.14733166375534]
  我々は,モノクラーRGBビデオからシーンの3次元再構成を改善するために,人間とシーンのインタラクションを活用することができることを示す。 私たちのキーとなるアイデアは、人がシーンを移動してそれと対話するにつれて、複数の入力イメージにまたがってHSIを蓄積する、ということです。 シーン再構成は,初期3次元の人物のポーズと形状推定の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-07T18:59:02Z)
• HSPACE: Synthetic Parametric Humans Animated in Complex Environments [67.8628917474705]
  我々は、複雑な屋内および屋外環境に置かれたアニメーション人間による大規模な写真リアルデータセット、Human-SPACEを構築した。 年齢、性別、比率、民族性の異なる数百の個人と数百の動きとシーンを組み合わせて、100万フレームを超える最初のデータセットを生成します。 アセットは大規模に自動生成され、既存のリアルタイムレンダリングやゲームエンジンと互換性がある。
  論文  参考訳（メタデータ） (2021-12-23T22:27:55Z)
• Synthesizing Long-Term 3D Human Motion and Interaction in 3D Scenes [27.443701512923177]
  人間のモーション合成とシーンアレイアンス推論を橋渡しすることを提案する。 本研究では,3次元シーン構造上での長期人間の動作条件を合成する階層的生成フレームワークを提案する。 実験では,自然および物理的に再現可能な人間の動きをシーン内で生成する従来の手法よりも大幅に改善した。
  論文  参考訳（メタデータ） (2020-12-10T09:09:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。