論文の概要: Synthesizing Diverse Human Motions in 3D Indoor Scenes

• arxiv url: http://arxiv.org/abs/2305.12411v1
• Date: Sun, 21 May 2023 09:22:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 20:45:11.900114
• Title: Synthesizing Diverse Human Motions in 3D Indoor Scenes
• Title（参考訳）: 室内3次元シーンにおける異種人間の動作の合成
• Authors: Kaifeng Zhao, Yan Zhang, Shaofei Wang, Thabo Beeler, and Siyu Tang
• Abstract要約: 本研究では,現実的な方法で環境をナビゲートし,物体と対話できる仮想人間を用いた3次元屋内シーンの撮影手法を提案する。 既存のアプローチは、3Dシーンでさまざまな人間の動きをキャプチャする高品質なトレーニングシーケンスに依存している。 本稿では,強力な生成運動モデルの潜伏変数を予測するポリシネットワークを学習するための強化学習に基づくアプローチを提案する。
• 参考スコア（独自算出の注目度）: 15.782109603885543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel method for populating 3D indoor scenes with virtual humans that can navigate the environment and interact with objects in a realistic manner. Existing approaches rely on high-quality training sequences that capture a diverse range of human motions in 3D scenes. However, such motion data is costly, difficult to obtain and can never cover the full range of plausible human-scene interactions in complex indoor environments. To address these challenges, we propose a reinforcement learning-based approach to learn policy networks that predict latent variables of a powerful generative motion model that is trained on a large-scale motion capture dataset (AMASS). For navigating in a 3D environment, we propose a scene-aware policy training scheme with a novel collision avoidance reward function. Combined with the powerful generative motion model, we can synthesize highly diverse human motions navigating 3D indoor scenes, meanwhile effectively avoiding obstacles. For detailed human-object interactions, we carefully curate interaction-aware reward functions by leveraging a marker-based body representation and the signed distance field (SDF) representation of the 3D scene. With a number of important training design schemes, our method can synthesize realistic and diverse human-object interactions (e.g.,~sitting on a chair and then getting up) even for out-of-distribution test scenarios with different object shapes, orientations, starting body positions, and poses. Experimental results demonstrate that our approach outperforms state-of-the-art human-scene interaction synthesis frameworks in terms of both motion naturalness and diversity. Video results are available on the project page: \href{https://zkf1997.github.io/DIMOS}{https://zkf1997.github.io/DIMOS}.
• Abstract（参考訳）: 本研究では,現実的な方法で環境をナビゲートし,物体と対話できる仮想人間を用いた3次元屋内シーンの撮影手法を提案する。 既存のアプローチは、3Dシーンでさまざまな人間の動きをキャプチャする高品質なトレーニングシーケンスに依存している。 しかし、こうした動きデータは費用がかかり、入手が難しく、複雑な屋内環境における人間とシーンの完全な相互作用をカバーできない。 これらの課題に対処するために,大規模モーションキャプチャデータセット(amass)上で学習される強力な生成運動モデルの潜在変数を予測するポリシネットワークを学習するための強化学習ベースアプローチを提案する。 3次元環境をナビゲートするために,新しい衝突回避報酬関数を用いたシーン認識型政策訓練手法を提案する。 強力な生成運動モデルと組み合わせることで、3D屋内シーンをナビゲートする非常に多様な人間の動きを合成することができる。 詳細な人間と物体の相互作用について、マーカーに基づく身体表現と3Dシーンの符号付き距離場(SDF)表現を活用することにより、インタラクション認識報酬関数を慎重にキュレートする。 多くの重要なトレーニング設計スキームを用いて, 物体形状, 向き, 姿勢, 姿勢の異なる分布外テストシナリオであっても, 現実的で多様な人間と物体の相互作用(例えば, 椅子に座って, 立ち上がるなど)を合成することができる。 実験の結果,本手法は動作自然性と多様性の両方の観点から,最先端のヒューマン・シーン相互作用合成フレームワークよりも優れていた。 ビデオの結果はプロジェクトページにある。 \href{https://zkf1997.github.io/dimos}{https://zkf1997.github.io/dimos}。

関連論文リスト

• Sitcom-Crafter: A Plot-Driven Human Motion Generation System in 3D Scenes [83.55301458112672]
  Sitcom-Crafterは3D空間における人間のモーション生成システムである。 機能生成モジュールの中心は、我々の新しい3Dシーン対応ヒューマン・ヒューマン・インタラクションモジュールである。 拡張モジュールは、コマンド生成のためのプロット理解、異なるモーションタイプのシームレスな統合のためのモーション同期を含む。
  論文  参考訳（メタデータ） (2024-10-14T17:56:19Z)
• Human-Aware 3D Scene Generation with Spatially-constrained Diffusion Models [16.259040755335885]
  従来の自己回帰に基づく3Dシーン生成手法は、複数の物体と入力人間の関節分布を正確に捉えるのに苦労してきた。 本研究では,人間-物体衝突回避機構とオブジェクト-部屋境界制約という2つの空間衝突誘導機構を導入する。 我々のフレームワークは、人間とシーンのインタラクションを正確に行うことで、より自然でわかりやすい3Dシーンを生成することができる。
  論文  参考訳（メタデータ） (2024-06-26T08:18:39Z)
• Generating Human Interaction Motions in Scenes with Text Control [66.74298145999909]
  本稿では,デノナイズ拡散モデルに基づくテキスト制御されたシーン認識動作生成手法TeSMoを提案する。 我々のアプローチは、シーンに依存しないテキスト-モーション拡散モデルの事前学習から始まります。 トレーニングを容易にするため,シーン内に注釈付きナビゲーションと対話動作を組み込む。
  論文  参考訳（メタデータ） (2024-04-16T16:04:38Z)
• Controllable Human-Object Interaction Synthesis [77.56877961681462]
  本研究では,3次元シーンにおける同期物体の動きと人間の動きを生成するための制御可能な人間-物体相互作用合成(CHOIS)を提案する。 ここでは,高レベルな計画から効果的に抽出できるスタイルや意図を言語記述が通知し,シーン内の動きをグラウンド化する。 我々のモジュールは経路計画モジュールとシームレスに統合され、3D環境における長期的相互作用の生成を可能にします。
  論文  参考訳（メタデータ） (2023-12-06T21:14:20Z)
• Revisit Human-Scene Interaction via Space Occupancy [55.67657438543008]
  HSI(Human-Scene Interaction)の生成は、さまざまな下流タスクに不可欠な課題である。 本研究では,シーンとのインタラクションが,抽象的な物理的視点からシーンの空間占有と本質的に相互作用していることを論じる。 純粋な動きシーケンスを、見えないシーン占有と相互作用する人間の記録として扱うことで、動きのみのデータを大規模にペア化された人間-占有相互作用データベースに集約することができる。
  論文  参考訳（メタデータ） (2023-12-05T12:03:00Z)
• Synthesizing Physically Plausible Human Motions in 3D Scenes [41.1310197485928]
  物理的にシミュレートされたキャラクタが,多様で散らばった,見えない場面で長時間のインタラクションタスクを実行できるフレームワークを提案する。 具体的には、InterConには2つの補完的なポリシーが含まれており、文字が対話状態に入り、去ることができる。 異なる場所でのオブジェクトとのインタラクションを生成するために,3Dシーンの自由空間において文字の動きを保ち続けるために,ポリシーに従う軌道であるNavConをさらに設計する。
  論文  参考訳（メタデータ） (2023-08-17T15:17:49Z)
• CIRCLE: Capture In Rich Contextual Environments [69.97976304918149]
  そこで我々は,アクターが仮想世界において知覚し,操作する新たな動き獲得システムを提案する。 9つのシーンにわたる5人の被験者から10時間のフルボディ到達動作を含むデータセットであるCIRCLEを提示する。 このデータセットを用いて、シーン情報に基づいて人間の動きを生成するモデルを訓練する。
  論文  参考訳（メタデータ） (2023-03-31T09:18:12Z)
• Locomotion-Action-Manipulation: Synthesizing Human-Scene Interactions in Complex 3D Environments [11.87902527509297]
  複雑な屋内環境下での自然および可塑性な長期的人間の運動を合成するために,LAMA, Locomotion-Action-Manipulationを提案する。 従来の3Dシーンをスキャンして「ペア化」する手法とは異なり、人間のモーションキャプチャーデータを合成にのみ使用することにより、テスト時間最適化として問題を定式化する。
  論文  参考訳（メタデータ） (2023-01-09T18:59:16Z)
• Stochastic Scene-Aware Motion Prediction [41.6104600038666]
  本稿では,対象物に対して所定の動作を行う異なるスタイルをモデル化する,データ駆動合成動作法を提案する。 SAMP (Scene Aware Motion Prediction) と呼ばれる本手法は, 様々なジオメトリ対象を対象とし, キャラクタが散らばったシーンで移動できるように一般化する。
  論文  参考訳（メタデータ） (2021-08-18T17:56:17Z)
• PLACE: Proximity Learning of Articulation and Contact in 3D Environments [70.50782687884839]
  本研究では,人体と周囲の3Dシーンとの近接性をモデル化した新しいインタラクション生成手法PLACEを提案する。 我々の知覚学的研究は、PLACEが実際の人間とシーンの相互作用のリアリズムにアプローチし、最先端の手法を著しく改善することを示している。
  論文  参考訳（メタデータ） (2020-08-12T21:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。