論文の概要: MIME: Human-Aware 3D Scene Generation

• arxiv url: http://arxiv.org/abs/2212.04360v1
• Date: Thu, 8 Dec 2022 15:56:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 16:16:44.325102
• Title: MIME: Human-Aware 3D Scene Generation
• Title（参考訳）: MIME:人間を意識した3Dシーン生成
• Authors: Hongwei Yi, Chun-Hao P. Huang, Shashank Tripathi, Lea Hering, Justus Thies, Michael J. Black
• Abstract要約: 人間の動きを3Dで再現し,室内のシーンを3Dで再現する。 人間の動きは、部屋の空き空間を示しています。 人間との接触は、座ったり、横になったり、触ったりといった活動を支援する表面や物体を指す。
• 参考スコア（独自算出の注目度）: 55.30202416702207
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating realistic 3D worlds occupied by moving humans has many applications in games, architecture, and synthetic data creation. But generating such scenes is expensive and labor intensive. Recent work generates human poses and motions given a 3D scene. Here, we take the opposite approach and generate 3D indoor scenes given 3D human motion. Such motions can come from archival motion capture or from IMU sensors worn on the body, effectively turning human movement in a "scanner" of the 3D world. Intuitively, human movement indicates the free-space in a room and human contact indicates surfaces or objects that support activities such as sitting, lying or touching. We propose MIME (Mining Interaction and Movement to infer 3D Environments), which is a generative model of indoor scenes that produces furniture layouts that are consistent with the human movement. MIME uses an auto-regressive transformer architecture that takes the already generated objects in the scene as well as the human motion as input, and outputs the next plausible object. To train MIME, we build a dataset by populating the 3D FRONT scene dataset with 3D humans. Our experiments show that MIME produces more diverse and plausible 3D scenes than a recent generative scene method that does not know about human movement. Code and data will be available for research at https://mime.is.tue.mpg.de.
• Abstract（参考訳）: 動く人間が占める現実的な3d世界を生成するには、ゲーム、アーキテクチャ、合成データ作成に多くの応用がある。 しかし、そのようなシーンの生成は高価で、労働集約的です。 最近の作品は、人間のポーズと動きを3dシーンで生成する。 ここでは、反対のアプローチを採り、人間の動きを3Dで再現する。 このような動きは、アーチ型のモーションキャプチャや、体に装着したigmセンサーから生じ、効果的に3d世界の「スキャンナー」で人間の動きを回すことができる。 直感的には、人間の動きは部屋の自由空間を表し、人間の接触は座ったり、横になったり、触れたりといった活動を支援する表面や物体を表す。 本研究では,人間の動きと整合した家具レイアウトを製作する室内シーンの生成モデルであるmime(mining interaction and movement to infer 3d environment)を提案する。 MIMEは自動回帰トランスフォーマーアーキテクチャを使用し、シーン内で既に生成されたオブジェクトと人間の動きを入力として取り、次の可視オブジェクトを出力する。 MIMEを訓練するために、我々は3次元FRONTシーンデータセットを3次元人間に設定することでデータセットを構築する。 実験の結果,MIMEは人間の動きを知らない最近の生成シーンよりも多種多様な3Dシーンを生成することがわかった。 コードとデータはhttps://mime.is.tue.mpg.deで研究される。

関連論文リスト

• TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments [106.80978555346958]
  現在の方法では、地球上の座標で動く人間を確実に推定することはできない。 TRACEは、ダイナミックカメラからグローバル座標における3D人間の共同回収と追跡を行う最初の1段階の手法である。 トラッキングとHPSベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-06-05T13:00:44Z)
• CIRCLE: Capture In Rich Contextual Environments [69.97976304918149]
  そこで我々は,アクターが仮想世界において知覚し,操作する新たな動き獲得システムを提案する。 9つのシーンにわたる5人の被験者から10時間のフルボディ到達動作を含むデータセットであるCIRCLEを提示する。 このデータセットを用いて、シーン情報に基づいて人間の動きを生成するモデルを訓練する。
  論文  参考訳（メタデータ） (2023-03-31T09:18:12Z)
• 3D Segmentation of Humans in Point Clouds with Synthetic Data [21.518379214837278]
  本稿では,3次元人間の意味的セグメンテーション,インスタンスセグメンテーション,複数人体部分セグメンテーションの課題を提案する。 実際の3Dシーンと相互作用する合成人間のトレーニングデータを生成するためのフレームワークを提案する。 また,新しいトランスフォーマーモデルであるHuman3Dを提案する。
  論文  参考訳（メタデータ） (2022-12-01T18:59:21Z)
• HUMANISE: Language-conditioned Human Motion Generation in 3D Scenes [54.61610144668777]
  本稿では,3次元シーンで3次元人間の動きを生成できる新しいシーン・アンド・ランゲージ・コンディショニング・ジェネレーション・モデルを提案する。 実験により,我々のモデルは3次元シーンにおいて多様で意味的に一貫した人間の動きを生成できることを示した。
  論文  参考訳（メタデータ） (2022-10-18T10:14:11Z)
• Human-Aware Object Placement for Visual Environment Reconstruction [63.14733166375534]
  我々は,モノクラーRGBビデオからシーンの3次元再構成を改善するために,人間とシーンのインタラクションを活用することができることを示す。 私たちのキーとなるアイデアは、人がシーンを移動してそれと対話するにつれて、複数の入力イメージにまたがってHSIを蓄積する、ということです。 シーン再構成は,初期3次元の人物のポーズと形状推定の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-07T18:59:02Z)
• Synthesizing Long-Term 3D Human Motion and Interaction in 3D Scenes [27.443701512923177]
  人間のモーション合成とシーンアレイアンス推論を橋渡しすることを提案する。 本研究では,3次元シーン構造上での長期人間の動作条件を合成する階層的生成フレームワークを提案する。 実験では,自然および物理的に再現可能な人間の動きをシーン内で生成する従来の手法よりも大幅に改善した。
  論文  参考訳（メタデータ） (2020-12-10T09:09:38Z)
• PLACE: Proximity Learning of Articulation and Contact in 3D Environments [70.50782687884839]
  本研究では,人体と周囲の3Dシーンとの近接性をモデル化した新しいインタラクション生成手法PLACEを提案する。 我々の知覚学的研究は、PLACEが実際の人間とシーンの相互作用のリアリズムにアプローチし、最先端の手法を著しく改善することを示している。
  論文  参考訳（メタデータ） (2020-08-12T21:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。