論文の概要: Behavior-Driven Synthesis of Human Dynamics
- arxiv url: http://arxiv.org/abs/2103.04677v1
- Date: Mon, 8 Mar 2021 11:36:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-09 15:33:53.002866
- Title: Behavior-Driven Synthesis of Human Dynamics
- Title（参考訳）: 行動駆動型人間のダイナミクスの合成
- Authors: Andreas Blattmann, Timo Milbich, Michael Dorkenwald, Bj\"orn Ommer
- Abstract要約: 本稿では,姿勢に依存しない人間の行動の表現を学習する行動合成モデルを提案する。
任意の姿勢で描かれた人物の行動を変更したり、所定の映像列で観察された行動を直接転送することも可能である。
- 参考スコア（独自算出の注目度）: 8.17925295907622
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating and representing human behavior are of major importance for
various computer vision applications. Commonly, human video synthesis
represents behavior as sequences of postures while directly predicting their
likely progressions or merely changing the appearance of the depicted persons,
thus not being able to exercise control over their actual behavior during the
synthesis process. In contrast, controlled behavior synthesis and transfer
across individuals requires a deep understanding of body dynamics and calls for
a representation of behavior that is independent of appearance and also of
specific postures. In this work, we present a model for human behavior
synthesis which learns a dedicated representation of human dynamics independent
of postures. Using this representation, we are able to change the behavior of a
person depicted in an arbitrary posture, or to even directly transfer behavior
observed in a given video sequence. To this end, we propose a conditional
variational framework which explicitly disentangles posture from behavior. We
demonstrate the effectiveness of our approach on this novel task, evaluating
capturing, transferring, and sampling fine-grained, diverse behavior, both
quantitatively and qualitatively. Project page is available at
https://cutt.ly/5l7rXEp
- Abstract（参考訳）: 人間の行動の生成と表現は、様々なコンピュータビジョンアプリケーションにおいて重要である。
一般的に、人間のビデオ合成は、行動が姿勢のシーケンスとして表現され、その傾向を直接予測したり、描写された人物の外観を単に変えるだけで、合成過程で実際の行動を制御できない。
対照的に、個人間での制御された行動合成と伝達は、身体力学の深い理解を必要とし、外見や特定の姿勢にも依存しない行動の表現を要求する。
本研究では,姿勢に依存しない人間の行動の表現を学習する人間の行動合成モデルを提案する。
この表現を用いることで、任意の姿勢で描写された人物の行動を変更したり、ビデオシーケンスで観察された行動を直接転送したりすることができる。
そこで本稿では,姿勢を行動から明確に切り離す条件付き変分フレームワークを提案する。
本手法の有効性を実証し, 定量的および質的に, 細粒度, 多様な行動の捉え, 伝達, サンプリングについて評価した。
プロジェクトページはhttps://cutt.ly/5l7rXEpにあります。
関連論文リスト
- Synthesizing Physical Character-Scene Interactions [64.26035523518846]
仮想キャラクタとその周辺環境間のこのような相互作用を合成する必要がある。
本稿では,逆模倣学習と強化学習を用いて物理シミュレーション文字を学習するシステムを提案する。
我々のアプローチは、物理学に基づくキャラクターモーション生成を広い適用性に一歩近づいた。
論文 参考訳（メタデータ） (2023-02-02T05:21:32Z) - Towards Diverse and Natural Scene-aware 3D Human Motion Synthesis [117.15586710830489]
本研究では,ターゲットアクションシーケンスの誘導の下で,多様なシーンを意識した人間の動作を合成する問題に焦点をあてる。
この因子化スキームに基づいて、各サブモジュールが1つの側面をモデリングする責任を負う階層的なフレームワークが提案されている。
実験の結果,提案手法は,多様性と自然性の観点から,従来の手法よりも著しく優れていた。
論文 参考訳（メタデータ） (2022-05-25T18:20:01Z) - Learning Motion-Dependent Appearance for High-Fidelity Rendering of
Dynamic Humans from a Single Camera [49.357174195542854]
外観のダイナミクスを学ぶ上で重要な課題は、違法に大量の観測を必要とすることである。
本手法は,1つの視点映像から,身体のポーズや新しいビューを時間的に協調的に生成できることを示す。
論文 参考訳（メタデータ） (2022-03-24T00:22:03Z) - The world seems different in a social context: a neural network analysis
of human experimental data [57.729312306803955]
本研究では,先行・知覚的信号の精度を変化させることで,個人・社会的タスク設定の両方で人間の行動データを再現可能であることを示す。
トレーニングされたネットワークの神経活性化トレースの分析は、情報が個人や社会的条件のネットワークにおいて、根本的に異なる方法でコード化されていることを示す。
論文 参考訳（メタデータ） (2022-03-03T17:19:12Z) - Stochastic Scene-Aware Motion Prediction [41.6104600038666]
本稿では,対象物に対して所定の動作を行う異なるスタイルをモデル化する,データ駆動合成動作法を提案する。
SAMP (Scene Aware Motion Prediction) と呼ばれる本手法は, 様々なジオメトリ対象を対象とし, キャラクタが散らばったシーンで移動できるように一般化する。
論文 参考訳（メタデータ） (2021-08-18T17:56:17Z) - High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。
自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。
実験結果では,映像リアリズムの点で最先端を著しく上回っている。
論文 参考訳（メタデータ） (2020-12-20T16:54:38Z) - Pose-Guided Human Animation from a Single Image in the Wild [83.86903892201656]
身体ポーズのシーケンスによって制御される人の単一の画像から人間のアニメーションを合成するための新しいポーズ転送方法を提案する。
既存のポーズ転送手法は、新しいシーンに適用する際に重要な視覚的アーティファクトを示す。
我々は,シルエット,衣料ラベル,テクスチャを予測する合成ニューラルネットワークを設計した。
我々は、テスト現場でネットワークを微調整することなく、時間的に一貫した方法で人物のアイデンティティと外観を保存できる人間のアニメーションを合成することができる。
論文 参考訳（メタデータ） (2020-12-07T15:38:29Z) - Do As I Do: Transferring Human Motion and Appearance between Monocular
Videos with Spatial and Temporal Constraints [8.784162652042959]
画像からのマーカレス人間の動き推定と形状モデリングは、この課題を先進国にもたらす。
本稿では,モノクラービデオから外見や人間の動きを伝達するための統一的な定式化を提案する。
本手法は,人間の動作と外観の両方を,最先端の手法で転送することができる。
論文 参考訳（メタデータ） (2020-01-08T16:39:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。