論文の概要: LaserHuman: Language-guided Scene-aware Human Motion Generation in Free Environment

• arxiv url: http://arxiv.org/abs/2403.13307v2
• Date: Thu, 21 Mar 2024 13:06:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 12:40:50.353354
• Title: LaserHuman: Language-guided Scene-aware Human Motion Generation in Free Environment
• Title（参考訳）: LaserHuman:自由環境における言語誘導型シーン認識ヒューマンモーション生成
• Authors: Peishan Cong, Ziyi Wang, Zhiyang Dou, Yiming Ren, Wei Yin, Kai Cheng, Yujing Sun, Xiaoxiao Long, Xinge Zhu, Yuexin Ma,
• Abstract要約: 我々は,Scene-Text-to-Motion研究に革命をもたらすために設計された,先駆的なデータセットであるLaserHumanを紹介する。 LaserHumanは、本物の人間の動きを3D環境に含めることで際立っている。 本稿では,既存のデータセット上での最先端性能を実現するための多条件拡散モデルを提案する。
• 参考スコア（独自算出の注目度）: 27.38638713080283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language-guided scene-aware human motion generation has great significance for entertainment and robotics. In response to the limitations of existing datasets, we introduce LaserHuman, a pioneering dataset engineered to revolutionize Scene-Text-to-Motion research. LaserHuman stands out with its inclusion of genuine human motions within 3D environments, unbounded free-form natural language descriptions, a blend of indoor and outdoor scenarios, and dynamic, ever-changing scenes. Diverse modalities of capture data and rich annotations present great opportunities for the research of conditional motion generation, and can also facilitate the development of real-life applications. Moreover, to generate semantically consistent and physically plausible human motions, we propose a multi-conditional diffusion model, which is simple but effective, achieving state-of-the-art performance on existing datasets.
• Abstract（参考訳）: 言語誘導型シーン認識ヒューマンモーション生成は,エンターテイメントやロボット工学において非常に重要である。 既存のデータセットの制限に対応するために、Scene-Text-to-Motion研究に革命をもたらすために設計された、先駆的なデータセットであるLaserHumanを紹介します。 LaserHumanは、本物の人間の動きを3D環境に含め、自由形式の自然言語記述、屋内と屋外のシナリオのブレンド、ダイナミックで絶え間なく変化するシーンを取り上げている。 キャプチャデータとリッチアノテーションの多種多様なモダリティは、条件付きモーション生成の研究に大きな機会をもたらし、また、現実のアプリケーションの開発を促進することができる。 さらに、意味的に一貫性があり、物理的に妥当な人間の動作を生成するために、既存のデータセット上での最先端性能を実現するために、単純だが効果的である多条件拡散モデルを提案する。

関連論文リスト

• Multi-Condition Latent Diffusion Network for Scene-Aware Neural Human Motion Prediction [46.309401205546656]
  現実世界の人間の動きはゴール指向であり、周囲のシーンの空間的レイアウトの影響を強く受けている。 本稿では,多条件共同推論問題として人間の動作予測タスクを再構成するマルチコンディション遅延拡散ネットワーク(MCLD)を提案する。 我々のネットワークは、現実的かつ多様な予測において最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-05-29T02:21:31Z)
• Generating Human Interaction Motions in Scenes with Text Control [66.74298145999909]
  本稿では,デノナイズ拡散モデルに基づくテキスト制御されたシーン認識動作生成手法TeSMoを提案する。 我々のアプローチは、シーンに依存しないテキスト-モーション拡散モデルの事前学習から始まります。 トレーニングを容易にするため,シーン内に注釈付きナビゲーションと対話動作を組み込む。
  論文  参考訳（メタデータ） (2024-04-16T16:04:38Z)
• Move as You Say, Interact as You Can: Language-guided Human Motion Generation with Scene Affordance [48.986552871497]
  本稿では,シーンアベイランスを中間表現として活用する新しい2段階フレームワークを提案する。 シーンアベイランスマップを活用することで,マルチモーダルな条件下での人間の動きを再現する難しさを克服する。 我々のアプローチは、HumanML3DやHUMANISEなど、確立されたベンチマークのベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-03-26T18:41:07Z)
• Scaling Up Dynamic Human-Scene Interaction Modeling [58.032368564071895]
  TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。 人体全体の動きや部分レベルの物体の動きを複雑に捉えます。 本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-13T15:45:04Z)
• CIRCLE: Capture In Rich Contextual Environments [69.97976304918149]
  そこで我々は,アクターが仮想世界において知覚し,操作する新たな動き獲得システムを提案する。 9つのシーンにわたる5人の被験者から10時間のフルボディ到達動作を含むデータセットであるCIRCLEを提示する。 このデータセットを用いて、シーン情報に基づいて人間の動きを生成するモデルを訓練する。
  論文  参考訳（メタデータ） (2023-03-31T09:18:12Z)
• HUMANISE: Language-conditioned Human Motion Generation in 3D Scenes [54.61610144668777]
  本稿では,3次元シーンで3次元人間の動きを生成できる新しいシーン・アンド・ランゲージ・コンディショニング・ジェネレーション・モデルを提案する。 実験により,我々のモデルは3次元シーンにおいて多様で意味的に一貫した人間の動きを生成できることを示した。
  論文  参考訳（メタデータ） (2022-10-18T10:14:11Z)
• Scene-aware Generative Network for Human Motion Synthesis [125.21079898942347]
  シーンと人間の動きの相互作用を考慮した新しい枠組みを提案する。 人間の動きの不確実性を考慮すると、このタスクを生成タスクとして定式化する。 我々は、人間の動きと文脈シーンとの整合性を強制するための識別器を備えた、GANに基づく学習アプローチを導出する。
  論文  参考訳（メタデータ） (2021-05-31T09:05:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。