論文の概要: Scene Synthesis from Human Motion
- arxiv url: http://arxiv.org/abs/2301.01424v1
- Date: Wed, 4 Jan 2023 03:30:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 15:59:08.500015
- Title: Scene Synthesis from Human Motion
- Title(参考訳): 人間の動きからのシーン合成
- Authors: Sifan Ye, Yixing Wang, Jiaman Li, Dennis Park, C. Karen Liu, Huazhe
Xu, Jiajun Wu
- Abstract要約: そこで本研究では,人間の動作に基づいて,多様で意味論的に合理的で,物理的に妥当なシーンを合成することを提案する。
Human Motion (MONSUM) のシーン・シンセサイザーには2つのステップがある。
まず、新たに導入されたコンタクト予測器であるContactFormerを使用して、人間の動きから時間的に一貫したコンタクトラベルを取得する。
- 参考スコア(独自算出の注目度): 26.2618553074691
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale capture of human motion with diverse, complex scenes, while
immensely useful, is often considered prohibitively costly. Meanwhile, human
motion alone contains rich information about the scene they reside in and
interact with. For example, a sitting human suggests the existence of a chair,
and their leg position further implies the chair's pose. In this paper, we
propose to synthesize diverse, semantically reasonable, and physically
plausible scenes based on human motion. Our framework, Scene Synthesis from
HUMan MotiON (SUMMON), includes two steps. It first uses ContactFormer, our
newly introduced contact predictor, to obtain temporally consistent contact
labels from human motion. Based on these predictions, SUMMON then chooses
interacting objects and optimizes physical plausibility losses; it further
populates the scene with objects that do not interact with humans. Experimental
results demonstrate that SUMMON synthesizes feasible, plausible, and diverse
scenes and has the potential to generate extensive human-scene interaction data
for the community.
- Abstract(参考訳): 多様な複雑なシーンを持つ人間の動きを大規模に捉えることは、非常に有用であるが、しばしば禁止的に費用がかかると見なされる。
一方、人間の動きだけでも、自分が住んで対話するシーンについての豊富な情報を含んでいる。
例えば、座っている人間は椅子の存在を示唆し、脚の位置は椅子のポーズをさらに示唆している。
本稿では,人間の動きに基づく多様で意味論的に合理的で,物理的に妥当なシーンを合成することを提案する。
当社のフレームワークであるsummon(scene synthesis from human motion)には,2つのステップがあります。
まず、新たに導入されたコンタクト予測器であるContactFormerを使用して、人間の動きから時間的に一貫したコンタクトラベルを取得する。
これらの予測に基づいて、SUMMONは相互作用するオブジェクトを選択し、物理的な可視性損失を最適化する。
実験結果から,SUMMONは多種多様なシーンを合成し,コミュニティのために広範囲にわたる人間とシーンのインタラクションデータを生成できる可能性が示唆された。
関連論文リスト
- IMoS: Intent-Driven Full-Body Motion Synthesis for Human-Object
Interactions [69.95820880360345]
そこで本研究では,仮想人物の全身動作を3Dオブジェクトで合成する最初のフレームワークを提案する。
本システムでは,オブジェクトと仮想文字の関連意図を入力テキストとして記述する。
その結果, 80%以上のシナリオにおいて, 合成された全身運動は参加者よりリアルに見えることがわかった。
論文 参考訳(メタデータ) (2022-12-14T23:59:24Z) - HUMANISE: Language-conditioned Human Motion Generation in 3D Scenes [54.61610144668777]
本稿では,3次元シーンで3次元人間の動きを生成できる新しいシーン・アンド・ランゲージ・コンディショニング・ジェネレーション・モデルを提案する。
実験により,我々のモデルは3次元シーンにおいて多様で意味的に一貫した人間の動きを生成できることを示した。
論文 参考訳(メタデータ) (2022-10-18T10:14:11Z) - Contact-aware Human Motion Forecasting [87.04827994793823]
我々は,3Dシーンと過去の人間の動作を与えられた将来の人間のポーズを予測することで,シーン認識型3Dモーション予測の課題に取り組む。
提案手法は,現在最先端のヒトの動作予測と,合成データと実データの両方においてヒトの合成手法より優れる。
論文 参考訳(メタデータ) (2022-10-08T07:53:19Z) - Towards Diverse and Natural Scene-aware 3D Human Motion Synthesis [117.15586710830489]
本研究では,ターゲットアクションシーケンスの誘導の下で,多様なシーンを意識した人間の動作を合成する問題に焦点をあてる。
この因子化スキームに基づいて、各サブモジュールが1つの側面をモデリングする責任を負う階層的なフレームワークが提案されている。
実験の結果,提案手法は,多様性と自然性の観点から,従来の手法よりも著しく優れていた。
論文 参考訳(メタデータ) (2022-05-25T18:20:01Z) - Interaction Replica: Tracking human-object interaction and scene changes
from human motion [67.42489661574325]
iReplicaは、人間の動きのみに基づいて物体やシーンの変化を追跡する、初めての人間と物体の相互作用推論手法である。
私たちのコード、データ、モデルは、プロジェクトのページ http://virtual humans.mpi-inf.mpg.de/ireplica/.comで公開されます。
論文 参考訳(メタデータ) (2022-05-05T17:58:06Z) - Synthesizing Long-Term 3D Human Motion and Interaction in 3D Scenes [27.443701512923177]
人間のモーション合成とシーンアレイアンス推論を橋渡しすることを提案する。
本研究では,3次元シーン構造上での長期人間の動作条件を合成する階層的生成フレームワークを提案する。
実験では,自然および物理的に再現可能な人間の動きをシーン内で生成する従来の手法よりも大幅に改善した。
論文 参考訳(メタデータ) (2020-12-10T09:09:38Z) - Long-term Human Motion Prediction with Scene Context [60.096118270451974]
人間の動きを予測するための新しい3段階フレームワークを提案する。
提案手法はまず,まず複数の人間の動作目標を抽出し,各目標に向けて3次元人間の動作経路を計画し,最後に各経路に続く3次元人間のポーズシーケンスを予測する。
論文 参考訳(メタデータ) (2020-07-07T17:59:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。