論文の概要: AniFormer: Data-driven 3D Animation with Transformer
- arxiv url: http://arxiv.org/abs/2110.10533v1
- Date: Wed, 20 Oct 2021 12:36:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-22 17:18:15.800219
- Title: AniFormer: Data-driven 3D Animation with Transformer
- Title(参考訳): AniFormer: Transformerを使ったデータ駆動3Dアニメーション
- Authors: Haoyu Chen, Hao Tang, Nicu Sebe, Guoying Zhao
- Abstract要約: そこで本研究では,ターゲット3Dオブジェクトを原駆動シーケンスの動作によってアニメーションする,新しいタスクを提案する。
AniFormerは、生の駆動シーケンスと任意の同じタイプのターゲットメッシュを直接入力として取り込んでアニメーション3Dシーケンスを生成する。
我々のAniFormerは、様々なカテゴリのベンチマークにおいて、高忠実で、現実的で、時間的に一貫性のあるアニメーション結果を実現し、最先端の手法よりも優れています。
- 参考スコア(独自算出の注目度): 95.45760189583181
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel task, i.e., animating a target 3D object through the
motion of a raw driving sequence. In previous works, extra auxiliary
correlations between source and target meshes or intermedia factors are
inevitable to capture the motions in the driving sequences. Instead, we
introduce AniFormer, a novel Transformer-based architecture, that generates
animated 3D sequences by directly taking the raw driving sequences and
arbitrary same-type target meshes as inputs. Specifically, we customize the
Transformer architecture for 3D animation that generates mesh sequences by
integrating styles from target meshes and motions from the driving meshes.
Besides, instead of the conventional single regression head in the vanilla
Transformer, AniFormer generates multiple frames as outputs to preserve the
sequential consistency of the generated meshes. To achieve this, we carefully
design a pair of regression constraints, i.e., motion and appearance
constraints, that can provide strong regularization on the generated mesh
sequences. Our AniFormer achieves high-fidelity, realistic, temporally coherent
animated results and outperforms compared start-of-the-art methods on
benchmarks of diverse categories. Code is available:
https://github.com/mikecheninoulu/AniFormer.
- Abstract(参考訳): 本稿では,ターゲット3Dオブジェクトを原駆動シーケンスの動作によってアニメーションする,新しいタスクを提案する。
これまでの研究では、ソースメッシュとターゲットメッシュまたは中間要素の間の追加の補助相関は、駆動シーケンスの動作を捉えるために避けられない。
入力として生の駆動シーケンスと任意の同種のターゲットメッシュを直接取り込んでアニメーションの3dシーケンスを生成する,新しいトランスフォーマーアーキテクチャであるaniformerを導入する。
具体的には、ターゲットメッシュのスタイルと駆動メッシュの動作を統合することでメッシュシーケンスを生成する3DアニメーションのためのTransformerアーキテクチャをカスタマイズする。
さらに、従来のバニラ変圧器の回帰ヘッドの代わりに、aniformerは複数のフレームを出力として生成し、生成されたメッシュのシーケンシャルな一貫性を維持する。
これを達成するため、私たちは、生成したメッシュシーケンスに対して強い正規化を提供するための2つの回帰制約、すなわち動きと外観の制約を慎重に設計します。
我々のAniFormerは、様々なカテゴリのベンチマークにおいて、高忠実で、現実的で、時間的に一貫性のあるアニメーション結果を実現し、最先端の手法よりも優れています。
コードは、https://github.com/mikecheninoulu/AniFormer.comで入手できる。
関連論文リスト
- GenDeF: Learning Generative Deformation Field for Video Generation [89.49567113452396]
我々は1つの静止画像を生成変形場(GenDeF)でワープすることで映像をレンダリングすることを提案する。
このようなパイプラインには,魅力的なメリットが3つあります。
論文 参考訳(メタデータ) (2023-12-07T18:59:41Z) - Generative Rendering: Controllable 4D-Guided Video Generation with 2D
Diffusion Models [40.71940056121056]
本稿では,動的3次元メッシュの制御可能性と,新しい拡散モデルの表現性と編集性を組み合わせた新しいアプローチを提案する。
本手法は,トリグアセットのアニメーションやカメラパスの変更によって,動きを得られる様々な例について実証する。
論文 参考訳(メタデータ) (2023-12-03T14:17:11Z) - Regenerating Arbitrary Video Sequences with Distillation Path-Finding [6.687073794084539]
本稿では,開始フレーム上でユーザの好みに応じて新しいシーケンスを生成するインタラクティブなフレームワークを提案する。
これを効果的に実現するために、まず、提案ネットワークであるRCFNetを用いて、与えられたビデオのフレームセットの特徴相関を学習する。
そこで我々は,ソースビデオの動作方向の知識を定式化し,スムーズかつ妥当なシーケンスを推定する新しいパスフィニングアルゴリズム,SDPFを開発した。
論文 参考訳(メタデータ) (2023-11-13T09:05:30Z) - Hierarchical Generation of Human-Object Interactions with Diffusion
Probabilistic Models [71.64318025625833]
本稿では,対象物と相互作用する人間の3次元運動を生成するための新しいアプローチを提案する。
私たちのフレームワークはまず一連のマイルストーンを生成し、それに沿って動きを合成します。
NSM, COUCH, SAMPデータセットを用いた実験では, 従来の手法よりも品質と多様性に大きな差があることが示されている。
論文 参考訳(メタデータ) (2023-10-03T17:50:23Z) - SeqTrack: Sequence to Sequence Learning for Visual Object Tracking [79.90729193686835]
視覚追跡のためのシーケンシャル・ツー・シーケンス学習フレームワークSeqTrackを提案する。
視覚的トラッキングをシーケンス生成問題とみなし、自動回帰的にオブジェクト境界ボックスを予測する。
論文 参考訳(メタデータ) (2023-04-27T17:56:29Z) - Generating Continual Human Motion in Diverse 3D Scenes [56.70255926954609]
本研究では,3次元シーンにまたがる人間の動きを誘導するアニメーターを合成する手法を提案する。
本研究では,連続的な動作合成問題を経路に沿って歩行し,キーポイントが指定した動作の内外への遷移に分解する。
我々のモデルは、つかんだり、座ったり、傾いたりといった多様な行動の長いシーケンスを生成することができる。
論文 参考訳(メタデータ) (2023-04-04T18:24:22Z) - MUGL: Large Scale Multi Person Conditional Action Generation with
Locomotion [9.30315673109153]
MUGLは、大規模で多様な1対複数対多のポーズベースのアクションシーケンスをロコモーションで生成するための、新しいディープニューラルネットワークモデルである。
我々の制御可能なアプローチは、100以上のカテゴリで、アクションカテゴリによってカスタマイズ可能な可変長世代を可能にする。
論文 参考訳(メタデータ) (2021-10-21T20:11:53Z) - Robust Motion In-betweening [17.473287573543065]
本稿では,3次元アニメーターのための新しいツールとして機能する,新しい頑健な遷移生成技術を提案する。
このシステムは、時間的にスパーサをアニメーションの制約として使用する高品質な動作を合成する。
私たちは、トレーニングされたモデルを使用して運用シナリオで相互運用を行う、カスタムのMotionBuilderプラグインを紹介します。
論文 参考訳(メタデータ) (2021-02-09T16:52:45Z) - Convolutional Autoencoders for Human Motion Infilling [37.16099544563645]
モーションインフィルメントは、入力されたポーズがスタートシーケンスを確実に予測し、エンドシーケンスに自然に遷移するような、欠落したギャップを埋めることを目的としている。
一つのモデルを用いて、異なるタイプのアクティビティ間の自然な遷移を生成できることが示される。
提案手法は, 欠落フレーム全体を埋めるだけでなく, 部分的なポーズが利用できるようなギャップを埋めるのにも利用できる。
論文 参考訳(メタデータ) (2020-10-22T08:45:38Z) - First Order Motion Model for Image Animation [90.712718329677]
画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。
我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
論文 参考訳(メタデータ) (2020-02-29T07:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。