論文の概要: Generating Continual Human Motion in Diverse 3D Scenes

• arxiv url: http://arxiv.org/abs/2304.02061v3
• Date: Mon, 30 Oct 2023 21:01:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 03:17:16.798743
• Title: Generating Continual Human Motion in Diverse 3D Scenes
• Title（参考訳）: 横型3次元シーンにおける連続的人間の動きの生成
• Authors: Aymen Mir, Xavier Puig, Angjoo Kanazawa, Gerard Pons-Moll
• Abstract要約: 本研究では,3次元シーンにまたがる人間の動きを誘導するアニメーターを合成する手法を提案する。 本研究では,連続的な動作合成問題を経路に沿って歩行し,キーポイントが指定した動作の内外への遷移に分解する。 我々のモデルは、つかんだり、座ったり、傾いたりといった多様な行動の長いシーケンスを生成することができる。
• 参考スコア（独自算出の注目度）: 56.70255926954609
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a method to synthesize animator guided human motion across 3D scenes. Given a set of sparse (3 or 4) joint locations (such as the location of a person's hand and two feet) and a seed motion sequence in a 3D scene, our method generates a plausible motion sequence starting from the seed motion while satisfying the constraints imposed by the provided keypoints. We decompose the continual motion synthesis problem into walking along paths and transitioning in and out of the actions specified by the keypoints, which enables long generation of motions that satisfy scene constraints without explicitly incorporating scene information. Our method is trained only using scene agnostic mocap data. As a result, our approach is deployable across 3D scenes with various geometries. For achieving plausible continual motion synthesis without drift, our key contribution is to generate motion in a goal-centric canonical coordinate frame where the next immediate target is situated at the origin. Our model can generate long sequences of diverse actions such as grabbing, sitting and leaning chained together in arbitrary order, demonstrated on scenes of varying geometry: HPS, Replica, Matterport, ScanNet and scenes represented using NeRFs. Several experiments demonstrate that our method outperforms existing methods that navigate paths in 3D scenes.
• Abstract（参考訳）: 本研究では,3次元シーンにおけるアニメーター誘導人間の動作を合成する手法を提案する。 3dシーンにおいて、スパース (3 または 4) のジョイント位置(例えば、人の手と2 フィートの位置)とシード動作シーケンスのセットが与えられると、本手法は、与えられたキーポイントによって課される制約を満足しながら、シード動作から開始される、妥当な動作シーケンスを生成する。 本研究では,連続的な動作合成問題を経路に分解し,キーポイントが指定した動作の内外への遷移を図り,シーン情報を明示的に組み込むことなくシーン制約を満たす動作の長期化を可能にする。 本手法はシーン非依存のモキャップデータのみを用いて訓練する。 結果として,我々のアプローチは,さまざまなジオメトリを備えた3dシーンに展開可能である。 ドリフトを使わずに再現可能な連続運動合成を実現するためには,次の目標が原点に位置する目標中心の正準座標系において運動を生成することが重要となる。 我々のモデルは,HPS, Replica, Matterport, ScanNet, およびNeRFを用いて表現されたシーンにおいて, 任意の順序でつかむ, 座る, 傾くといった多様な動作の長いシーケンスを生成することができる。 いくつかの実験により、3dシーンでパスをナビゲートする既存のメソッドよりも優れていることが証明された。

関連論文リスト

• MIMO: Controllable Character Video Synthesis with Spatial Decomposed Modeling [21.1274747033854]
  キャラクタビデオ合成は、ライフライクなシーン内でアニマタブルなキャラクターのリアルなビデオを作成することを目的としている。 Miloは、文字ビデオを制御可能な属性で合成できる新しいフレームワークである。 Miloは、任意のキャラクタへの高度なスケーラビリティ、新しい3Dモーションへの一般化、インタラクティブな現実世界のシーンへの適用性を実現している。
  論文  参考訳（メタデータ） (2024-09-24T15:00:07Z)
• Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
  本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。 シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。 本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)
• BerfScene: Bev-conditioned Equivariant Radiance Fields for Infinite 3D Scene Generation [96.58789785954409]
  本研究では,同変放射場と鳥眼視図のガイダンスを組み込んだ実用的で効率的な3次元表現を提案する。 局所的なシーンを合成し、スムーズな一貫性で縫い合わせることで、大規模で無限スケールの3Dシーンを作ります。
  論文  参考訳（メタデータ） (2023-12-04T18:56:10Z)
• Synthesizing Diverse Human Motions in 3D Indoor Scenes [16.948649870341782]
  そこで本研究では,仮想人間による3次元屋内シーンの映像化手法を提案する。 既存のアプローチは、キャプチャーされた人間の動きと、それらが相互作用する3Dシーンを含むトレーニングシーケンスに依存している。 仮想人間が3Dシーンをナビゲートし、現実的かつ自律的にオブジェクトと対話できる強化学習ベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-21T09:22:24Z)
• 3D Cinemagraphy from a Single Image [73.09720823592092]
  3Dシネマグラフィー(3D Cinemagraphy)は、3D画像と2Dアニメーションを融合させる新しい技術である。 静止画1枚を入力として、視覚コンテンツアニメーションとカメラモーションの両方を含むビデオを生成することを目標としています。
  論文  参考訳（メタデータ） (2023-03-10T06:08:23Z)
• HUMANISE: Language-conditioned Human Motion Generation in 3D Scenes [54.61610144668777]
  本稿では,3次元シーンで3次元人間の動きを生成できる新しいシーン・アンド・ランゲージ・コンディショニング・ジェネレーション・モデルを提案する。 実験により,我々のモデルは3次元シーンにおいて多様で意味的に一貫した人間の動きを生成できることを示した。
  論文  参考訳（メタデータ） (2022-10-18T10:14:11Z)
• MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks [77.56526918859345]
  そこで本研究では,制御された環境から3次元動作タスクを実現する新しいフレームワークを提案する。 モーションキャプチャシステムや3D再構成手順を使わずに、2Dモノクロ映像のキャラクタから3Dキャラクタへの体動を可能にする。
  論文  参考訳（メタデータ） (2021-12-19T07:52:05Z)
• The Wanderings of Odysseus in 3D Scenes [22.230079422580065]
  GAMMAとして短縮された体表面マーカーによる生成運動プリミティブを提案する。 本研究では,各動作プリミティブをモデル化するために,体表面マーカーと条件付き変分オートエンコーダを利用する。 実験により,本手法は最先端のデータ駆動方式よりも現実的で制御可能な動作を実現できることが示された。
  論文  参考訳（メタデータ） (2021-12-16T23:24:50Z)
• Action2video: Generating Videos of Human 3D Actions [31.665831044217363]
  我々は、所定のアクションカテゴリから多様で自然な人間の動きのビデオを生成するという、興味深いが挑戦的な課題に取り組むことを目的としている。 重要な問題は、視覚的な外観で現実的な複数の異なる動き列を合成する能力にある。 Action2motionallyは、所定のアクションカテゴリのもっともらしい3Dポーズシーケンスを生成し、モーション2ビデオによって処理され、レンダリングされ、2Dビデオを形成する。
  論文  参考訳（メタデータ） (2021-11-12T20:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。