論文の概要: TEACH: Temporal Action Composition for 3D Humans
- arxiv url: http://arxiv.org/abs/2209.04066v2
- Date: Mon, 12 Sep 2022 16:34:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-13 10:35:34.105375
- Title: TEACH: Temporal Action Composition for 3D Humans
- Title（参考訳）: TEACH:3D人間のための時間的行動構成
- Authors: Nikos Athanasiou, Mathis Petrovich, Michael J. Black, G\"ul Varol
- Abstract要約: 自然言語の一連の記述を前提として,テキストに意味的に対応する3次元の人間の動作を生成する。
特に、我々のゴールは一連のアクションの合成を可能にすることであり、これは時間的アクション合成と呼ばれる。
- 参考スコア（独自算出の注目度）: 50.97135662063117
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given a series of natural language descriptions, our task is to generate 3D
human motions that correspond semantically to the text, and follow the temporal
order of the instructions. In particular, our goal is to enable the synthesis
of a series of actions, which we refer to as temporal action composition. The
current state of the art in text-conditioned motion synthesis only takes a
single action or a single sentence as input. This is partially due to lack of
suitable training data containing action sequences, but also due to the
computational complexity of their non-autoregressive model formulation, which
does not scale well to long sequences. In this work, we address both issues.
First, we exploit the recent BABEL motion-text collection, which has a wide
range of labeled actions, many of which occur in a sequence with transitions
between them. Next, we design a Transformer-based approach that operates
non-autoregressively within an action, but autoregressively within the sequence
of actions. This hierarchical formulation proves effective in our experiments
when compared with multiple baselines. Our approach, called TEACH for "TEmporal
Action Compositions for Human motions", produces realistic human motions for a
wide variety of actions and temporal compositions from language descriptions.
To encourage work on this new task, we make our code available for research
purposes at our $\href{teach.is.tue.mpg.de}{\text{website}}$.
- Abstract（参考訳）: 自然言語の一連の記述を前提として,テキストに意味的に対応する3次元の人間の動作を生成し,命令の時間的順序に従う。
特に、我々のゴールは一連のアクションの合成を可能にすることであり、これは時間的アクション合成と呼ばれる。
テキストコンディショルドモーション合成における現在の技術は、入力として1つのアクションまたは1つの文だけを取る。
これは、アクションシーケンスを含む適切なトレーニングデータが欠如していることに加えて、非自己回帰モデル定式化の計算の複雑さによっても原因である。
この作業では、両方の問題に対処します。
まず,BABELの動作テキストコレクションを利用して,ラベル付きアクションを多種多様に表現し,それらの間の遷移を連続して生成する。
次に、動作のシーケンス内で非自己回帰的に動作するTransformerベースのアプローチを設計する。
この階層的な定式化は、複数のベースラインと比較して、我々の実験で有効であることを示す。
我々のアプローチはTAACH(Temporal Action compositions for Human Motions)と呼ばれ、多種多様な行動のためのリアルな人間の動きと、言語記述からの時間的構成を生成する。
この新しいタスクの作業を促進するために、調査目的のコードを$\href{teach.is.tue.mpg.de}{\text{website}}$で公開しています。
関連論文リスト
- Multi-Track Timeline Control for Text-Driven 3D Human Motion Generation [71.08922726494842]
テキスト駆動動作合成におけるタイムライン制御の問題を紹介する。
ユーザーは単一のプロンプトの代わりに、重複する可能性のある時間間隔に整理された複数のプロンプトのマルチトラックタイムラインを指定することができる。
マルチトラックタイムラインから合成アニメーションを生成するための新しいテスト時間復調手法を提案する。
論文 参考訳（メタデータ） (2024-01-16T18:39:15Z) - Act As You Wish: Fine-Grained Control of Motion Diffusion Model with
Hierarchical Semantic Graphs [31.244039305932287]
動き生成のきめ細かい制御のための階層的意味グラフを提案する。
動作記述を階層的なセマンティックグラフに分解し,3段階の動作,行動,具体性を含む。
提案手法は, コミュニティに多大な影響を及ぼす可能性のある, 生成した動きを連続的に改善することができる。
論文 参考訳（メタデータ） (2023-11-02T06:20:23Z) - Synthesizing Long-Term Human Motions with Diffusion Models via Coherent
Sampling [74.62570964142063]
テキスト・トゥ・モーション・ジェネレーションは注目されているが、既存の手法のほとんどは短期的な動きに限られている。
本稿では,2つのコヒーレントサンプリング手法を用いた過去の拡散モデルを用いた新しい手法を提案する。
提案手法は,ユーザの指示した長文ストリームによって制御された,構成的かつコヒーレントな3次元人間の動作を生成することができる。
論文 参考訳（メタデータ） (2023-08-03T16:18:32Z) - SINC: Spatial Composition of 3D Human Motions for Simultaneous Action Generation [58.25766404147109]
我々のゴールは、同時動作を記述するテキスト入力を与えられた3次元人間の動作を合成することである。
我々は「空間構成」というような同時的な動きを生み出すことを指す。
論文 参考訳（メタデータ） (2023-04-20T16:01:55Z) - Weakly-supervised Action Transition Learning for Stochastic Human Motion
Prediction [81.94175022575966]
動作駆動型人間の動作予測の課題について紹介する。
一連の動作ラベルと短い動作履歴から、複数の可算な将来の動作を予測することを目的としている。
論文 参考訳（メタデータ） (2022-05-31T08:38:07Z) - Synthesis of Compositional Animations from Textual Descriptions [54.85920052559239]
「どんなに非構造的で複雑で、文を作りながら、それからもっともらしい動きを生成できるのか。」
「映画の脚本から3Dキャラクタをアニメーションしたり、ロボットに何をしたいのかを伝えるだけで動かせるのか?」
論文 参考訳（メタデータ） (2021-03-26T18:23:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。