論文の概要: AniFormer: Data-driven 3D Animation with Transformer

• arxiv url: http://arxiv.org/abs/2110.10533v1
• Date: Wed, 20 Oct 2021 12:36:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-22 17:18:15.800219
• Title: AniFormer: Data-driven 3D Animation with Transformer
• Title（参考訳）: AniFormer: Transformerを使ったデータ駆動3Dアニメーション
• Authors: Haoyu Chen, Hao Tang, Nicu Sebe, Guoying Zhao
• Abstract要約: そこで本研究では,ターゲット3Dオブジェクトを原駆動シーケンスの動作によってアニメーションする,新しいタスクを提案する。 AniFormerは、生の駆動シーケンスと任意の同じタイプのターゲットメッシュを直接入力として取り込んでアニメーション3Dシーケンスを生成する。 我々のAniFormerは、様々なカテゴリのベンチマークにおいて、高忠実で、現実的で、時間的に一貫性のあるアニメーション結果を実現し、最先端の手法よりも優れています。
• 参考スコア（独自算出の注目度）: 95.45760189583181
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel task, i.e., animating a target 3D object through the motion of a raw driving sequence. In previous works, extra auxiliary correlations between source and target meshes or intermedia factors are inevitable to capture the motions in the driving sequences. Instead, we introduce AniFormer, a novel Transformer-based architecture, that generates animated 3D sequences by directly taking the raw driving sequences and arbitrary same-type target meshes as inputs. Specifically, we customize the Transformer architecture for 3D animation that generates mesh sequences by integrating styles from target meshes and motions from the driving meshes. Besides, instead of the conventional single regression head in the vanilla Transformer, AniFormer generates multiple frames as outputs to preserve the sequential consistency of the generated meshes. To achieve this, we carefully design a pair of regression constraints, i.e., motion and appearance constraints, that can provide strong regularization on the generated mesh sequences. Our AniFormer achieves high-fidelity, realistic, temporally coherent animated results and outperforms compared start-of-the-art methods on benchmarks of diverse categories. Code is available: https://github.com/mikecheninoulu/AniFormer.
• Abstract（参考訳）: 本稿では,ターゲット3Dオブジェクトを原駆動シーケンスの動作によってアニメーションする,新しいタスクを提案する。 これまでの研究では、ソースメッシュとターゲットメッシュまたは中間要素の間の追加の補助相関は、駆動シーケンスの動作を捉えるために避けられない。 入力として生の駆動シーケンスと任意の同種のターゲットメッシュを直接取り込んでアニメーションの3dシーケンスを生成する,新しいトランスフォーマーアーキテクチャであるaniformerを導入する。 具体的には、ターゲットメッシュのスタイルと駆動メッシュの動作を統合することでメッシュシーケンスを生成する3DアニメーションのためのTransformerアーキテクチャをカスタマイズする。 さらに、従来のバニラ変圧器の回帰ヘッドの代わりに、aniformerは複数のフレームを出力として生成し、生成されたメッシュのシーケンシャルな一貫性を維持する。 これを達成するため、私たちは、生成したメッシュシーケンスに対して強い正規化を提供するための2つの回帰制約、すなわち動きと外観の制約を慎重に設計します。 我々のAniFormerは、様々なカテゴリのベンチマークにおいて、高忠実で、現実的で、時間的に一貫性のあるアニメーション結果を実現し、最先端の手法よりも優れています。 コードは、https://github.com/mikecheninoulu/AniFormer.comで入手できる。

関連論文リスト

• Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics [67.97235923372035]
  本稿では,対話型ビデオ生成モデルであるPuppet-Masterについて紹介する。 テスト時には、ひとつのイメージと粗い動き軌跡が与えられた場合、Puppet-Masterは、与えられたドラッグ操作に忠実な現実的な部分レベルの動きを描写したビデオを合成することができる。
  論文  参考訳（メタデータ） (2024-08-08T17:59:38Z)
• PASTA: Controllable Part-Aware Shape Generation with Autoregressive Transformers [5.7181794813117754]
  PASTAは、高品質な3D形状を生成する自動回帰トランスフォーマーアーキテクチャである。 我々のモデルは、既存のパートベースおよび非パートベース手法よりも現実的で多様な3D形状を生成する。
  論文  参考訳（メタデータ） (2024-07-18T16:52:45Z)
• Generating 3D House Wireframes with Semantics [11.408526398063712]
  本稿では, 自己回帰モデルを用いて, セマンティックエンリッチメントを用いた3次元住宅の創出手法を提案する。 意味に基づくワイヤシーケンスを並べ替えることで,3次元ワイヤフレーム構造をシームレスに学習する。
  論文  参考訳（メタデータ） (2024-07-17T02:33:34Z)
• Text-guided 3D Human Motion Generation with Keyframe-based Parallel Skip Transformer [62.29951737214263]
  既存のアルゴリズムは、コストがかかりエラーを起こしやすい全シーケンスを直接生成する。 本稿では,入力テキストに対応する人間の動作系列を生成するKeyMotionを提案する。 我々は,自動エンコーダを潜在空間に投影するために,Kullback-Leibler正規化付き変分符号器(VAE)を用いる。 逆拡散のために,デザインラテントとテキスト条件の相互参照を行う新しいパラレルスキップ変換器を提案する。
  論文  参考訳（メタデータ） (2024-05-24T11:12:37Z)
• GenDeF: Learning Generative Deformation Field for Video Generation [89.49567113452396]
  我々は1つの静止画像を生成変形場(GenDeF)でワープすることで映像をレンダリングすることを提案する。 このようなパイプラインには,魅力的なメリットが3つあります。
  論文  参考訳（メタデータ） (2023-12-07T18:59:41Z)
• Hierarchical Generation of Human-Object Interactions with Diffusion Probabilistic Models [71.64318025625833]
  本稿では,対象物と相互作用する人間の3次元運動を生成するための新しいアプローチを提案する。 私たちのフレームワークはまず一連のマイルストーンを生成し、それに沿って動きを合成します。 NSM, COUCH, SAMPデータセットを用いた実験では, 従来の手法よりも品質と多様性に大きな差があることが示されている。
  論文  参考訳（メタデータ） (2023-10-03T17:50:23Z)
• Robust Motion In-betweening [17.473287573543065]
  本稿では,3次元アニメーターのための新しいツールとして機能する,新しい頑健な遷移生成技術を提案する。 このシステムは、時間的にスパーサをアニメーションの制約として使用する高品質な動作を合成する。 私たちは、トレーニングされたモデルを使用して運用シナリオで相互運用を行う、カスタムのMotionBuilderプラグインを紹介します。
  論文  参考訳（メタデータ） (2021-02-09T16:52:45Z)
• First Order Motion Model for Image Animation [90.712718329677]
  画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。 我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
  論文  参考訳（メタデータ） (2020-02-29T07:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。