論文の概要: Motion Avatar: Generate Human and Animal Avatars with Arbitrary Motion

• arxiv url: http://arxiv.org/abs/2405.11286v1
• Date: Sat, 18 May 2024 13:21:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 18:28:33.489942
• Title: Motion Avatar: Generate Human and Animal Avatars with Arbitrary Motion
• Title（参考訳）: 運動アバター : 任意運動による人・動物アバターの生成
• Authors: Zeyu Zhang, Yiran Wang, Biao Wu, Shuo Chen, Zhiyuan Zhang, Shiya Huang, Wenbo Zhang, Meng Fang, Ling Chen, Yang Zhao,
• Abstract要約: 我々は、高品質なカスタマイズ可能な人間と動物のアバターの自動生成を可能にする、モーションアバターという新しいエージェントベースのアプローチを提案する。 第2に、動作とアバターの生成を協調するLLMプランナを導入し、識別計画をカスタマイズ可能なQ&A方式に変換する。 最後に,65種の動物を対象に,約30万対のテキスト・モーション・ペアからなる動物運動データセットZoo-300Kを紹介した。
• 参考スコア（独自算出の注目度）: 39.456643736018435
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In recent years, there has been significant interest in creating 3D avatars and motions, driven by their diverse applications in areas like film-making, video games, AR/VR, and human-robot interaction. However, current efforts primarily concentrate on either generating the 3D avatar mesh alone or producing motion sequences, with integrating these two aspects proving to be a persistent challenge. Additionally, while avatar and motion generation predominantly target humans, extending these techniques to animals remains a significant challenge due to inadequate training data and methods. To bridge these gaps, our paper presents three key contributions. Firstly, we proposed a novel agent-based approach named Motion Avatar, which allows for the automatic generation of high-quality customizable human and animal avatars with motions through text queries. The method significantly advanced the progress in dynamic 3D character generation. Secondly, we introduced a LLM planner that coordinates both motion and avatar generation, which transforms a discriminative planning into a customizable Q&A fashion. Lastly, we presented an animal motion dataset named Zoo-300K, comprising approximately 300,000 text-motion pairs across 65 animal categories and its building pipeline ZooGen, which serves as a valuable resource for the community. See project website https://steve-zeyu-zhang.github.io/MotionAvatar/
• Abstract（参考訳）: 近年、映画製作、ビデオゲーム、AR/VR、人間とロボットの相互作用といった分野における多種多様な応用により、3Dアバターやモーションを作ることに大きな関心が寄せられている。 しかし、現在の取り組みは主に3Dアバターメッシュのみを生成するか、モーションシーケンスを生成することに集中しており、これら2つの側面を統合することは永続的な課題であることが証明されている。 加えて、アバターとモーションジェネレーションは主に人間をターゲットにしているが、訓練データや方法が不十分なため、これらの技術を動物に拡張することは重要な課題である。 これらのギャップを埋めるために,本稿では3つの重要な貢献について述べる。 まず,テキストクエリによる動作を伴う高品質なカスタマイズ可能な人間と動物のアバターの自動生成を可能にする,Motion Avatarというエージェントベースの新しいアプローチを提案する。 この手法は動的3次元キャラクタ生成の進歩を著しく促進した。 第2に、動作とアバターの生成を協調するLLMプランナを導入し、識別計画をカスタマイズ可能なQ&A方式に変換する。 最後に,65の動物カテゴリーにまたがる約30万のテキストモーションペアと,その構築パイプラインであるZooGenからなる動物運動データセットZoo-300Kを紹介した。 プロジェクトサイト https://steve-zeyu-zhang.github.io/MotionAvatar/

関連論文リスト

• AvatarGO: Zero-shot 4D Human-Object Interaction Generation and Animation [60.5897687447003]
  AvatarGOはテキスト入力からリアルな4D HOIシーンを生成するために設計された新しいフレームワークである。 我々のフレームワークは、コヒーレントな構成運動を生成するだけでなく、問題に対処する上でより堅牢性を示す。 4Dアバターをオブジェクトインタラクションで合成する最初の試みとして、AvatarGOが人間中心の4Dコンテンツを作るための新しい扉を開くことを願っている。
  論文  参考訳（メタデータ） (2024-10-09T17:58:56Z)
• AMG: Avatar Motion Guided Video Generation [5.82136706118236]
  本稿では,3次元アバターの制御レンダリングにビデオ拡散モデルを適用し,2次元フォトリアリズムと3次元制御性を組み合わせたAMGを提案する。 AMGは、カメラの位置、人間の動き、背景スタイルを正確に制御し、多人数拡散ビデオ生成を可能にする最初の方法である。
  論文  参考訳（メタデータ） (2024-09-02T23:59:01Z)
• HumanVid: Demystifying Training Data for Camera-controllable Human Image Animation [64.37874983401221]
  人間の画像アニメーションに適した,最初の大規模高品質データセットであるHumanVidを紹介する。 実世界のデータについては、インターネットから大量の実世界のビデオをコンパイルします。 合成データとして,10K3Dアバターを収集し,体形,肌のテクスチャ,衣服などの既存の資産を利用した。
  論文  参考訳（メタデータ） (2024-07-24T17:15:58Z)
• AniArtAvatar: Animatable 3D Art Avatar from a Single Image [0.0]
  単一画像からアニマタブルな3D認識アートアバターを生成するための新しいアプローチを提案する。 我々は、ビュー条件付き2次元拡散モデルを用いて、中性表現で1枚の絵画像から多視点画像を合成する。 アバターアニメーションでは、制御点を抽出し、これらの点で動きを転送し、暗黙の正準空間を変形する。
  論文  参考訳（メタデータ） (2024-03-26T12:08:04Z)
• OmniMotionGPT: Animal Motion Generation with Limited Data [70.35662376853163]
  最初のテキストアニマルモーションデータセットであるAnimalML3Dを紹介した。 我々は,動物データに基づくヒトの動き生成ベースラインのトレーニング結果よりも定量的かつ質的に,高い多様性と忠実さで動物の動きを生成することができる。
  論文  参考訳（メタデータ） (2023-11-30T07:14:00Z)
• MagicAvatar: Multimodal Avatar Generation and Animation [70.55750617502696]
  MagicAvatarは、人間のアバターのマルチモーダルビデオ生成とアニメーションのためのフレームワークである。 アバター・ビデオ生成は、マルチモーダル・トゥ・モーションとモーション・トゥ・ビデオ・ジェネレーションの2段階に分けられる。 我々は,テキスト誘導アバター生成やビデオ誘導アバター生成など,様々な応用を通じてMagicAvatarの柔軟性を実証する。
  論文  参考訳（メタデータ） (2023-08-28T17:56:18Z)
• Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
  商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。 本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。 アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
  論文  参考訳（メタデータ） (2023-07-04T21:57:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。