論文の概要: Generating Continual Human Motion in Diverse 3D Scenes

• arxiv url: http://arxiv.org/abs/2304.02061v4
• Date: Sun, 02 Feb 2025 17:40:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:54:52.845483
• Title: Generating Continual Human Motion in Diverse 3D Scenes
• Title（参考訳）: 横型3次元シーンにおける連続的人間の動きの生成
• Authors: Aymen Mir, Xavier Puig, Angjoo Kanazawa, Gerard Pons-Moll,
• Abstract要約: 本研究では,3次元シーンにまたがる人間の動きを誘導するアニメーターを合成する手法を提案する。 本研究では,連続的な動作合成問題を経路に沿って歩行し,キーポイントが指定した動作の内外への遷移に分解する。 我々のモデルは、つかんだり、座ったり、傾いたりといった多様な行動の長いシーケンスを生成することができる。
• 参考スコア（独自算出の注目度）: 51.90506920301473
• License:
• Abstract: We introduce a method to synthesize animator guided human motion across 3D scenes. Given a set of sparse (3 or 4) joint locations (such as the location of a person's hand and two feet) and a seed motion sequence in a 3D scene, our method generates a plausible motion sequence starting from the seed motion while satisfying the constraints imposed by the provided keypoints. We decompose the continual motion synthesis problem into walking along paths and transitioning in and out of the actions specified by the keypoints, which enables long generation of motions that satisfy scene constraints without explicitly incorporating scene information. Our method is trained only using scene agnostic mocap data. As a result, our approach is deployable across 3D scenes with various geometries. For achieving plausible continual motion synthesis without drift, our key contribution is to generate motion in a goal-centric canonical coordinate frame where the next immediate target is situated at the origin. Our model can generate long sequences of diverse actions such as grabbing, sitting and leaning chained together in arbitrary order, demonstrated on scenes of varying geometry: HPS, Replica, Matterport, ScanNet and scenes represented using NeRFs. Several experiments demonstrate that our method outperforms existing methods that navigate paths in 3D scenes. For more results we urge the reader to watch our supplementary video available at: https://www.youtube.com/watch?v=0wZgsdyCT4A&t=1s
• Abstract（参考訳）: 本研究では,3次元シーンにまたがる人間の動きを誘導するアニメーターを合成する手法を提案する。 3Dシーンにおける3または4の関節位置(手と2フィートの位置など)とシードモーションシーケンスのセットを与えられた場合、提案したキーポイントの制約を満たすとともに、シードモーションから始まる可塑性モーションシーケンスを生成する。 本研究では,連続的な動作合成問題を経路に分解し,キーポイントが指定した動作の内外への遷移を図り,シーン情報を明示的に組み込むことなくシーン制約を満たす動作の長期化を可能にする。 本手法はシーン非依存のモキャップデータのみを用いて訓練する。 その結果,本手法は様々な地形を持つ3次元シーンに展開可能であることがわかった。 ドリフトを伴わない確実な連続的な運動合成を実現するために、我々の重要な貢献は、次の瞬間目標が原点にあるゴール中心の標準座標フレーム内での運動を生成することである。 我々のモデルは,HPS, Replica, Matterport, ScanNet, およびNeRFを用いて表現されたシーンにおいて, 任意の順序でつかむ, 座る, 傾くといった多様な動作の長いシーケンスを生成することができる。 いくつかの実験により,本手法は3次元シーンの経路をナビゲートする既存の手法よりも優れていることが示された。 さらなる結果を得るためには、読者に以下の補足ビデオを見るよう促す。 v=0wZgsdyCT4A&t=1s

関連論文リスト

• Move-in-2D: 2D-Conditioned Human Motion Generation [54.067588636155115]
  そこで我々は,シーンイメージに条件付けされた人間の動作シーケンスを生成する新しい手法であるMove-in-2Dを提案する。 本手法はシーンイメージとテキストプロンプトの両方を入力として受け入れ,シーンに合わせた動作シーケンスを生成する。
  論文  参考訳（メタデータ） (2024-12-17T18:58:07Z)
• Gaussians-to-Life: Text-Driven Animation of 3D Gaussian Splatting Scenes [49.26872036160368]
  ガウススティング表現における高品質な3Dシーンの一部をアニメーションする手法を提案する。 従来の作業とは対照的に、複雑な既存の3Dシーンのリアルなアニメーションを可能にする。
  論文  参考訳（メタデータ） (2024-11-28T16:01:58Z)
• MIMO: Controllable Character Video Synthesis with Spatial Decomposed Modeling [21.1274747033854]
  キャラクタビデオ合成は、ライフライクなシーン内でアニマタブルなキャラクターのリアルなビデオを作成することを目的としている。 Miloは、文字ビデオを制御可能な属性で合成できる新しいフレームワークである。 Miloは、任意のキャラクタへの高度なスケーラビリティ、新しい3Dモーションへの一般化、インタラクティブな現実世界のシーンへの適用性を実現している。
  論文  参考訳（メタデータ） (2024-09-24T15:00:07Z)
• Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
  本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。 シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。 本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)
• LoopGaussian: Creating 3D Cinemagraph with Multi-view Images via Eulerian Motion Field [13.815932949774858]
  シネマグラフ(Cinemagraph)は、静止画と微妙な動きの要素を組み合わせた視覚メディアの一種である。 本稿では,3次元ガウスモデルを用いて,2次元画像空間から3次元空間への撮影画像の高次化を提案する。 実験の結果,提案手法の有効性を検証し,高品質で視覚的に魅力的なシーン生成を実証した。
  論文  参考訳（メタデータ） (2024-04-13T11:07:53Z)
• Synthesizing Diverse Human Motions in 3D Indoor Scenes [16.948649870341782]
  そこで本研究では,仮想人間による3次元屋内シーンの映像化手法を提案する。 既存のアプローチは、キャプチャーされた人間の動きと、それらが相互作用する3Dシーンを含むトレーニングシーケンスに依存している。 仮想人間が3Dシーンをナビゲートし、現実的かつ自律的にオブジェクトと対話できる強化学習ベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-21T09:22:24Z)
• 3D Cinemagraphy from a Single Image [73.09720823592092]
  3Dシネマグラフィー(3D Cinemagraphy)は、3D画像と2Dアニメーションを融合させる新しい技術である。 静止画1枚を入力として、視覚コンテンツアニメーションとカメラモーションの両方を含むビデオを生成することを目標としています。
  論文  参考訳（メタデータ） (2023-03-10T06:08:23Z)
• MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks [77.56526918859345]
  そこで本研究では,制御された環境から3次元動作タスクを実現する新しいフレームワークを提案する。 モーションキャプチャシステムや3D再構成手順を使わずに、2Dモノクロ映像のキャラクタから3Dキャラクタへの体動を可能にする。
  論文  参考訳（メタデータ） (2021-12-19T07:52:05Z)
• The Wanderings of Odysseus in 3D Scenes [22.230079422580065]
  GAMMAとして短縮された体表面マーカーによる生成運動プリミティブを提案する。 本研究では,各動作プリミティブをモデル化するために,体表面マーカーと条件付き変分オートエンコーダを利用する。 実験により,本手法は最先端のデータ駆動方式よりも現実的で制御可能な動作を実現できることが示された。
  論文  参考訳（メタデータ） (2021-12-16T23:24:50Z)
• Action2video: Generating Videos of Human 3D Actions [31.665831044217363]
  我々は、所定のアクションカテゴリから多様で自然な人間の動きのビデオを生成するという、興味深いが挑戦的な課題に取り組むことを目的としている。 重要な問題は、視覚的な外観で現実的な複数の異なる動き列を合成する能力にある。 Action2motionallyは、所定のアクションカテゴリのもっともらしい3Dポーズシーケンスを生成し、モーション2ビデオによって処理され、レンダリングされ、2Dビデオを形成する。
  論文  参考訳（メタデータ） (2021-11-12T20:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。