論文の概要: HUMANISE: Language-conditioned Human Motion Generation in 3D Scenes

• arxiv url: http://arxiv.org/abs/2210.09729v1
• Date: Tue, 18 Oct 2022 10:14:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 13:29:23.844961
• Title: HUMANISE: Language-conditioned Human Motion Generation in 3D Scenes
• Title（参考訳）: HUMANISE:3次元シーンにおける言語条件のヒューマンモーション生成
• Authors: Zan Wang, Yixin Chen, Tengyu Liu, Yixin Zhu, Wei Liang, Siyuan Huang
• Abstract要約: 本稿では,3次元シーンで3次元人間の動きを生成できる新しいシーン・アンド・ランゲージ・コンディショニング・ジェネレーション・モデルを提案する。 実験により,我々のモデルは3次元シーンにおいて多様で意味的に一貫した人間の動きを生成できることを示した。
• 参考スコア（独自算出の注目度）: 54.61610144668777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning to generate diverse scene-aware and goal-oriented human motions in 3D scenes remains challenging due to the mediocre characteristics of the existing datasets on Human-Scene Interaction (HSI); they only have limited scale/quality and lack semantics. To fill in the gap, we propose a large-scale and semantic-rich synthetic HSI dataset, denoted as HUMANISE, by aligning the captured human motion sequences with various 3D indoor scenes. We automatically annotate the aligned motions with language descriptions that depict the action and the unique interacting objects in the scene; e.g., sit on the armchair near the desk. HUMANISE thus enables a new generation task, language-conditioned human motion generation in 3D scenes. The proposed task is challenging as it requires joint modeling of the 3D scene, human motion, and natural language. To tackle this task, we present a novel scene-and-language conditioned generative model that can produce 3D human motions of the desirable action interacting with the specified objects. Our experiments demonstrate that our model generates diverse and semantically consistent human motions in 3D scenes.
• Abstract（参考訳）: HSI(Human-Scene Interaction)の既存のデータセットの平凡な特徴から、3Dシーンにおける多様なシーン認識と目標指向のヒューマンモーションを生成することは依然として難しい。 このギャップを埋めるために,人間の動き列を様々な3次元屋内シーンと整合させることにより,大規模で意味に富んだ合成hsiデータセットを提案する。 私たちは、アライメントされた動きに、アクションとシーン内のユニークな相互作用するオブジェクトを記述した言語記述を自動で注釈付けします。 これにより、humaniseは3dシーンで新しい世代のタスク、言語条件付きヒューマンモーション生成を可能にする。 提案課題は,3次元シーン,人間の動き,自然言語の同時モデリングを必要とするため,課題である。 そこで本研究では,特定の対象と相互作用する望ましい動作の3次元ヒューマンモーションを生成できる,新たなシーン・言語条件付き生成モデルを提案する。 実験により,我々のモデルは3次元シーンにおいて多様かつ意味的に一貫した人間の動きを生成できることを示した。

関連論文リスト

• Generating Human Motion in 3D Scenes from Text Descriptions [60.04976442328767]
  本稿では,人間とシーンのインタラクションをテキストで記述した3次元屋内シーンにおけるヒューマンモーション生成の課題に焦点を当てた。 複雑な問題を2つのより管理可能なサブプロブレムに分解する新しい手法を提案する。 対象オブジェクトの言語グラウンド化には、大きな言語モデルのパワーを活用し、モーション生成には、オブジェクト中心のシーン表現を設計する。
  論文  参考訳（メタデータ） (2024-05-13T14:30:12Z)
• LaserHuman: Language-guided Scene-aware Human Motion Generation in Free Environment [27.38638713080283]
  我々は,Scene-Text-to-Motion研究に革命をもたらすために設計された,先駆的なデータセットであるLaserHumanを紹介する。 LaserHumanは、本物の人間の動きを3D環境に含めることで際立っている。 本稿では,既存のデータセット上での最先端性能を実現するための多条件拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-20T05:11:10Z)
• ParaHome: Parameterizing Everyday Home Activities Towards 3D Generative Modeling of Human-Object Interactions [11.32229757116179]
  そこで我々は,人間と物体の動的3次元運動を,共通のホーム環境内で捉えるために設計されたParaHomeシステムを紹介した。 ParaHomeシステムを利用することで、人間と物体の相互作用の大規模なデータセットを収集する。
  論文  参考訳（メタデータ） (2024-01-18T18:59:58Z)
• Revisit Human-Scene Interaction via Space Occupancy [55.67657438543008]
  HSI(Human-Scene Interaction)の生成は、さまざまな下流タスクに不可欠な課題である。 本研究では,シーンとのインタラクションが,抽象的な物理的視点からシーンの空間占有と本質的に相互作用していることを論じる。 純粋な動きシーケンスを、見えないシーン占有と相互作用する人間の記録として扱うことで、動きのみのデータを大規模にペア化された人間-占有相互作用データベースに集約することができる。
  論文  参考訳（メタデータ） (2023-12-05T12:03:00Z)
• GenZI: Zero-Shot 3D Human-Scene Interaction Generation [39.9039943099911]
  我々は3次元人間とシーンの相互作用を生成するための最初のゼロショットアプローチであるGenZIを提案する。 GenZIの鍵となるのは、大きな視覚言語モデル(VLM)による相互作用先行の蒸留です。 既存の学習ベースのアプローチとは対照的に、GenZIはキャプチャされた3Dインタラクションデータに対する従来のニーズを回避している。
  論文  参考訳（メタデータ） (2023-11-29T15:40:11Z)
• Task-Oriented Human-Object Interactions Generation with Implicit Neural Representations [61.659439423703155]
  TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成 本手法は時間座標のみでパラメータ化される連続運動を生成する。 この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
  論文  参考訳（メタデータ） (2023-03-23T09:31:56Z)
• MIME: Human-Aware 3D Scene Generation [55.30202416702207]
  人間の動きを3Dで再現し,室内のシーンを3Dで再現する。 人間の動きは、部屋の空き空間を示しています。 人間との接触は、座ったり、横になったり、触ったりといった活動を支援する表面や物体を指す。
  論文  参考訳（メタデータ） (2022-12-08T15:56:17Z)
• Synthesizing Long-Term 3D Human Motion and Interaction in 3D Scenes [27.443701512923177]
  人間のモーション合成とシーンアレイアンス推論を橋渡しすることを提案する。 本研究では,3次元シーン構造上での長期人間の動作条件を合成する階層的生成フレームワークを提案する。 実験では,自然および物理的に再現可能な人間の動きをシーン内で生成する従来の手法よりも大幅に改善した。
  論文  参考訳（メタデータ） (2020-12-10T09:09:38Z)
• PLACE: Proximity Learning of Articulation and Contact in 3D Environments [70.50782687884839]
  本研究では,人体と周囲の3Dシーンとの近接性をモデル化した新しいインタラクション生成手法PLACEを提案する。 我々の知覚学的研究は、PLACEが実際の人間とシーンの相互作用のリアリズムにアプローチし、最先端の手法を著しく改善することを示している。
  論文  参考訳（メタデータ） (2020-08-12T21:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。