論文の概要: Purposer: Putting Human Motion Generation in Context

• arxiv url: http://arxiv.org/abs/2404.12942v1
• Date: Fri, 19 Apr 2024 15:16:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 14:36:33.647206
• Title: Purposer: Putting Human Motion Generation in Context
• Title（参考訳）: 目的:人間の動作生成を文脈で行う
• Authors: Nicolas Ugrinovic, Thomas Lucas, Fabien Baradel, Philippe Weinzaepfel, Gregory Rogez, Francesc Moreno-Noguer,
• Abstract要約: 本研究では,3次元屋内シーンに人間の動きを再現する新しい手法を提案する。 シーン内のパス、ターゲットポーズ、過去の動き、そして3Dポイントの雲として表されるシーンなど、様々な条件信号の組み合わせで制御できる。
• 参考スコア（独自算出の注目度）: 30.706219830149504
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a novel method to generate human motion to populate 3D indoor scenes. It can be controlled with various combinations of conditioning signals such as a path in a scene, target poses, past motions, and scenes represented as 3D point clouds. State-of-the-art methods are either models specialized to one single setting, require vast amounts of high-quality and diverse training data, or are unconditional models that do not integrate scene or other contextual information. As a consequence, they have limited applicability and rely on costly training data. To address these limitations, we propose a new method ,dubbed Purposer, based on neural discrete representation learning. Our model is capable of exploiting, in a flexible manner, different types of information already present in open access large-scale datasets such as AMASS. First, we encode unconditional human motion into a discrete latent space. Second, an autoregressive generative model, conditioned with key contextual information, either with prompting or additive tokens, and trained for next-step prediction in this space, synthesizes sequences of latent indices. We further design a novel conditioning block to handle future conditioning information in such a causal model by using a network with two branches to compute separate stacks of features. In this manner, Purposer can generate realistic motion sequences in diverse test scenes. Through exhaustive evaluation, we demonstrate that our multi-contextual solution outperforms existing specialized approaches for specific contextual information, both in terms of quality and diversity. Our model is trained with short sequences, but a byproduct of being able to use various conditioning signals is that at test time different combinations can be used to chain short sequences together and generate long motions within a context scene.
• Abstract（参考訳）: 本研究では,3次元屋内シーンに人間の動きを再現する新しい手法を提案する。 シーン内のパス、ターゲットポーズ、過去の動き、そして3Dポイントの雲として表されるシーンなど、様々な条件信号の組み合わせで制御できる。 State-of-the-art(最先端の手法)は、1つの単一の設定に特化されたモデルであり、大量の高品質で多様なトレーニングデータを必要とするか、シーンやその他の文脈情報を統合しない無条件のモデルである。 その結果、適用性が制限され、コストのかかるトレーニングデータに依存します。 これらの制約に対処するため,ニューラル離散表現学習に基づく新しい手法であるPurposerを提案する。 我々のモデルは、AMASSのようなオープンアクセスの大規模データセットにすでに存在する様々な種類の情報を柔軟に活用することができる。 まず、無条件の人間の動きを離散的な潜在空間に符号化する。 第二に、自己回帰生成モデルにおいて、重要な文脈情報を条件付きで、プロンプトまたは付加的なトークンで条件付けし、この空間における次のステップ予測のために訓練し、潜在指標のシーケンスを合成する。 さらに,2つの枝を持つネットワークを用いて,特徴のスタックを個別に計算することで,そのような因果モデルにおける将来の条件情報を扱うための新しい条件付けブロックを設計する。 このようにして、Purposerは様々なテストシーンでリアルな動作シーケンスを生成することができる。 総合的な評価を通じて、我々のマルチコンテキストソリューションは、品質と多様性の両面において、特定のコンテキスト情報に対して、既存の特殊なアプローチよりも優れていることを示す。 我々のモデルは短いシーケンスで訓練されているが、様々な条件付き信号を使用するための副産物は、テスト時に短いシーケンスをチェーンし、コンテキストシーン内で長い動きを生成するために異なる組み合わせを使うことができることである。

関連論文リスト

• Deciphering Movement: Unified Trajectory Generation Model for Multi-Agent [53.637837706712794]
  任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。 具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを導入する。 バスケットボール-U,サッカー-U,サッカー-Uの3つの実用的なスポーツゲームデータセットをベンチマークして評価を行った。
  論文  参考訳（メタデータ） (2024-05-27T22:15:23Z)
• Generating Human Interaction Motions in Scenes with Text Control [66.74298145999909]
  本稿では,デノナイズ拡散モデルに基づくテキスト制御されたシーン認識動作生成手法TeSMoを提案する。 我々のアプローチは、シーンに依存しないテキスト-モーション拡散モデルの事前学習から始まります。 トレーニングを容易にするため,シーン内に注釈付きナビゲーションと対話動作を組み込む。
  論文  参考訳（メタデータ） (2024-04-16T16:04:38Z)
• Learn the Force We Can: Enabling Sparse Motion Control in Multi-Object Video Generation [26.292052071093945]
  単一のフレームとスパース動作入力からビデオを生成する教師なしの手法を提案する。 我々の訓練されたモデルは、目に見えない現実的なオブジェクト間相互作用を生成できる。 ヨダは、制御性と映像品質の両面において、先行するアートビデオ生成の状況と同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-06-06T19:50:02Z)
• Neural Rendering of Humans in Novel View and Pose from Monocular Video [68.37767099240236]
  本稿では,新しい視点下で写真リアルな人間を生成し,モノクロ映像を入力として提示する新しい手法を提案する。 提案手法は,モノクラー映像を入力として,見知らぬポーズや新しい視点下での既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-04T03:09:20Z)
• Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
  本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。 NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。 提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
  論文  参考訳（メタデータ） (2022-02-24T01:31:29Z)
• Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
  本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。 提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
  論文  参考訳（メタデータ） (2021-08-30T19:45:07Z)
• Action-Conditioned 3D Human Motion Synthesis with Transformer VAE [44.523477804533364]
  我々は、現実的で多様な人間の動き系列の行動条件生成の問題に取り組む。 動作シーケンスを完了または拡張する手法とは対照的に、このタスクは初期ポーズやシーケンスを必要としない。 生成的変分オートエンコーダを訓練することにより、人間の動きに対する行動認識の潜在表現を学ぶ。
  論文  参考訳（メタデータ） (2021-04-12T17:40:27Z)
• CharacterGAN: Few-Shot Keypoint Character Animation and Reposing [64.19520387536741]
  本稿では,与えられた文字の少数のサンプルに対してのみトレーニング可能な生成モデルである characterGAN を紹介する。 我々のモデルはキーポイント位置に基づいて新しいポーズを生成し、インタラクティブなフィードバックを提供しながらリアルタイムで修正することができる。 提案手法は,近年のベースラインよりも優れており,多様なキャラクタに対してリアルなアニメーションを生成する。
  論文  参考訳（メタデータ） (2021-02-05T12:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。