論文の概要: Scene Synthesis from Human Motion

• arxiv url: http://arxiv.org/abs/2301.01424v1
• Date: Wed, 4 Jan 2023 03:30:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 15:59:08.500015
• Title: Scene Synthesis from Human Motion
• Title（参考訳）: 人間の動きからのシーン合成
• Authors: Sifan Ye, Yixing Wang, Jiaman Li, Dennis Park, C. Karen Liu, Huazhe Xu, Jiajun Wu
• Abstract要約: そこで本研究では,人間の動作に基づいて,多様で意味論的に合理的で,物理的に妥当なシーンを合成することを提案する。 Human Motion (MONSUM) のシーン・シンセサイザーには2つのステップがある。 まず、新たに導入されたコンタクト予測器であるContactFormerを使用して、人間の動きから時間的に一貫したコンタクトラベルを取得する。
• 参考スコア（独自算出の注目度）: 26.2618553074691
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale capture of human motion with diverse, complex scenes, while immensely useful, is often considered prohibitively costly. Meanwhile, human motion alone contains rich information about the scene they reside in and interact with. For example, a sitting human suggests the existence of a chair, and their leg position further implies the chair's pose. In this paper, we propose to synthesize diverse, semantically reasonable, and physically plausible scenes based on human motion. Our framework, Scene Synthesis from HUMan MotiON (SUMMON), includes two steps. It first uses ContactFormer, our newly introduced contact predictor, to obtain temporally consistent contact labels from human motion. Based on these predictions, SUMMON then chooses interacting objects and optimizes physical plausibility losses; it further populates the scene with objects that do not interact with humans. Experimental results demonstrate that SUMMON synthesizes feasible, plausible, and diverse scenes and has the potential to generate extensive human-scene interaction data for the community.
• Abstract（参考訳）: 多様な複雑なシーンを持つ人間の動きを大規模に捉えることは、非常に有用であるが、しばしば禁止的に費用がかかると見なされる。 一方、人間の動きだけでも、自分が住んで対話するシーンについての豊富な情報を含んでいる。 例えば、座っている人間は椅子の存在を示唆し、脚の位置は椅子のポーズをさらに示唆している。 本稿では,人間の動きに基づく多様で意味論的に合理的で,物理的に妥当なシーンを合成することを提案する。 当社のフレームワークであるsummon(scene synthesis from human motion)には,2つのステップがあります。 まず、新たに導入されたコンタクト予測器であるContactFormerを使用して、人間の動きから時間的に一貫したコンタクトラベルを取得する。 これらの予測に基づいて、SUMMONは相互作用するオブジェクトを選択し、物理的な可視性損失を最適化する。 実験結果から,SUMMONは多種多様なシーンを合成し,コミュニティのために広範囲にわたる人間とシーンのインタラクションデータを生成できる可能性が示唆された。

関連論文リスト

• SynPlay: Importing Real-world Diversity for a Synthetic Human Dataset [19.32308498024933]
  SynPlay(シンセティック・プレイグラウンド)は,人間の外見の多様性を現実世界にもたらすことを目的とした,新しい人工人間データセットである。 これまでの作品では見られなかった多様性のレベルを達成するために、現実的な人間の動きとポーズという2つの要素に焦点を当てる。 モデルトレーニングにSynPlayを使用することで,人間の検出とセグメンテーションのための既存の合成データセットよりも精度が向上することを示す。
  論文  参考訳（メタデータ） (2024-08-21T17:58:49Z)
• Revisit Human-Scene Interaction via Space Occupancy [55.67657438543008]
  HSI(Human-Scene Interaction)の生成は、さまざまな下流タスクに不可欠な課題である。 本研究では,シーンとのインタラクションが,抽象的な物理的視点からシーンの空間占有と本質的に相互作用していることを論じる。 純粋な動きシーケンスを、見えないシーン占有と相互作用する人間の記録として扱うことで、動きのみのデータを大規模にペア化された人間-占有相互作用データベースに集約することができる。
  論文  参考訳（メタデータ） (2023-12-05T12:03:00Z)
• ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions [66.87211993793807]
  本稿では,2人のインタラクションシナリオにおいて,人の全身運動を合成する拡散モデルReMoSを提案する。 ペアダンス,忍術,キックボクシング,アクロバティックといった2人のシナリオでReMoSを実証する。 また,全身動作と指の動きを含む2人のインタラクションに対してReMoCapデータセットを寄贈した。
  論文  参考訳（メタデータ） (2023-11-28T18:59:52Z)
• IMoS: Intent-Driven Full-Body Motion Synthesis for Human-Object Interactions [69.95820880360345]
  そこで本研究では,仮想人物の全身動作を3Dオブジェクトで合成する最初のフレームワークを提案する。 本システムでは,オブジェクトと仮想文字の関連意図を入力テキストとして記述する。 その結果, 80%以上のシナリオにおいて, 合成された全身運動は参加者よりリアルに見えることがわかった。
  論文  参考訳（メタデータ） (2022-12-14T23:59:24Z)
• HUMANISE: Language-conditioned Human Motion Generation in 3D Scenes [54.61610144668777]
  本稿では,3次元シーンで3次元人間の動きを生成できる新しいシーン・アンド・ランゲージ・コンディショニング・ジェネレーション・モデルを提案する。 実験により,我々のモデルは3次元シーンにおいて多様で意味的に一貫した人間の動きを生成できることを示した。
  論文  参考訳（メタデータ） (2022-10-18T10:14:11Z)
• Contact-aware Human Motion Forecasting [87.04827994793823]
  我々は,3Dシーンと過去の人間の動作を与えられた将来の人間のポーズを予測することで,シーン認識型3Dモーション予測の課題に取り組む。 提案手法は,現在最先端のヒトの動作予測と,合成データと実データの両方においてヒトの合成手法より優れる。
  論文  参考訳（メタデータ） (2022-10-08T07:53:19Z)
• Towards Diverse and Natural Scene-aware 3D Human Motion Synthesis [117.15586710830489]
  本研究では,ターゲットアクションシーケンスの誘導の下で,多様なシーンを意識した人間の動作を合成する問題に焦点をあてる。 この因子化スキームに基づいて、各サブモジュールが1つの側面をモデリングする責任を負う階層的なフレームワークが提案されている。 実験の結果,提案手法は,多様性と自然性の観点から,従来の手法よりも著しく優れていた。
  論文  参考訳（メタデータ） (2022-05-25T18:20:01Z)
• Synthesizing Long-Term 3D Human Motion and Interaction in 3D Scenes [27.443701512923177]
  人間のモーション合成とシーンアレイアンス推論を橋渡しすることを提案する。 本研究では,3次元シーン構造上での長期人間の動作条件を合成する階層的生成フレームワークを提案する。 実験では,自然および物理的に再現可能な人間の動きをシーン内で生成する従来の手法よりも大幅に改善した。
  論文  参考訳（メタデータ） (2020-12-10T09:09:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。