論文の概要: MagicAvatar: Multimodal Avatar Generation and Animation

• arxiv url: http://arxiv.org/abs/2308.14748v1
• Date: Mon, 28 Aug 2023 17:56:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 12:45:25.417425
• Title: MagicAvatar: Multimodal Avatar Generation and Animation
• Title（参考訳）: magicavatar:マルチモーダルアバターの生成とアニメーション
• Authors: Jianfeng Zhang and Hanshu Yan and Zhongcong Xu and Jiashi Feng and Jun Hao Liew
• Abstract要約: MagicAvatarは、人間のアバターのマルチモーダルビデオ生成とアニメーションのためのフレームワークである。 アバター・ビデオ生成は、マルチモーダル・トゥ・モーションとモーション・トゥ・ビデオ・ジェネレーションの2段階に分けられる。 我々は,テキスト誘導アバター生成やビデオ誘導アバター生成など,様々な応用を通じてMagicAvatarの柔軟性を実証する。
• 参考スコア（独自算出の注目度）: 70.55750617502696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This report presents MagicAvatar, a framework for multimodal video generation and animation of human avatars. Unlike most existing methods that generate avatar-centric videos directly from multimodal inputs (e.g., text prompts), MagicAvatar explicitly disentangles avatar video generation into two stages: (1) multimodal-to-motion and (2) motion-to-video generation. The first stage translates the multimodal inputs into motion/ control signals (e.g., human pose, depth, DensePose); while the second stage generates avatar-centric video guided by these motion signals. Additionally, MagicAvatar supports avatar animation by simply providing a few images of the target person. This capability enables the animation of the provided human identity according to the specific motion derived from the first stage. We demonstrate the flexibility of MagicAvatar through various applications, including text-guided and video-guided avatar generation, as well as multimodal avatar animation.
• Abstract（参考訳）: 本稿では,人間のアバターのマルチモーダル映像生成とアニメーションのためのフレームワークMagicAvatarについて述べる。 マルチモーダル入力(例えばテキストプロンプト)から直接アバター中心のビデオを生成する既存の方法とは異なり、MagicAvatarは明確にアバタービデオ生成を2段階に分離する:(1)マルチモーダル・トゥ・モーションと(2)モーション・トゥ・ビデオ生成である。 第1段はマルチモーダル入力を動き/制御信号(人間のポーズ、深さ、密度など)に変換し、第2段はこれらの動き信号によって誘導されたアバター中心のビデオを生成する。 さらにMagicAvatarは、ターゲット人物のいくつかの画像を提供することで、アバターアニメーションをサポートする。 これにより、提供された人間のアイデンティティを第1段階から派生した特定の動きに応じてアニメーションすることができる。 マルチモーダルアバターアニメーションだけでなく,テキストガイドやビデオガイドアバター生成など,さまざまなアプリケーションを通じてmagicavatarの柔軟性を実証する。

関連論文リスト

• EgoAvatar: Egocentric View-Driven and Photorealistic Full-body Avatars [56.56236652774294]
  本研究では,光合成デジタルアバターを共同でモデル化し,同時に1つの自我中心映像から駆動する人物中心型テレプレゼンス手法を提案する。 提案手法は,エゴセントリック・フォトリアル・テレプレゼンスへの明確な一歩として,ベースラインと競合する手法に優れることを示す。
  論文  参考訳（メタデータ） (2024-09-22T22:50:27Z)
• InstructAvatar: Text-Guided Emotion and Motion Control for Avatar Generation [39.235962838952624]
  本稿では,感情表現型2Dアバターを生成するための新しいテキスト誘導手法を提案する。 我々のフレームワークであるInstructAvatarは、自然言語インタフェースを利用して感情やアバターの顔の動きを制御します。 実験結果から,InstructAvatarは両条件とも良好に一致した結果が得られた。
  論文  参考訳（メタデータ） (2024-05-24T17:53:54Z)
• Motion Avatar: Generate Human and Animal Avatars with Arbitrary Motion [39.456643736018435]
  我々は、高品質なカスタマイズ可能な人間と動物のアバターの自動生成を可能にする、モーションアバターという新しいエージェントベースのアプローチを提案する。 第2に、動作とアバターの生成を協調するLLMプランナを導入し、識別計画をカスタマイズ可能なQ&A方式に変換する。 最後に,65種の動物を対象に,約30万対のテキスト・モーション・ペアからなる動物運動データセットZoo-300Kを紹介した。
  論文  参考訳（メタデータ） (2024-05-18T13:21:14Z)
• AniArtAvatar: Animatable 3D Art Avatar from a Single Image [0.0]
  単一画像からアニマタブルな3D認識アートアバターを生成するための新しいアプローチを提案する。 我々は、ビュー条件付き2次元拡散モデルを用いて、中性表現で1枚の絵画像から多視点画像を合成する。 アバターアニメーションでは、制御点を抽出し、これらの点で動きを転送し、暗黙の正準空間を変形する。
  論文  参考訳（メタデータ） (2024-03-26T12:08:04Z)
• DivAvatar: Diverse 3D Avatar Generation with a Single Prompt [95.9978722953278]
  DivAvatarは、単一のテキストプロンプトから多様なアバターを生成するフレームワークである。 生成の多様性と視覚的品質を達成するための2つの重要な設計がある。 大規模な実験により、ディヴァバターは様々な外観のアバターを生成するのに非常に多用途であることが示されている。
  論文  参考訳（メタデータ） (2024-02-27T08:10:31Z)
• AvatarStudio: High-fidelity and Animatable 3D Avatar Creation from Text [71.09533176800707]
  アバターストゥディオ(AvatarStudio)は、アニマタブルな人間のアバターのために、明瞭なテクスチャ化された3Dメッシュを生成する粗大で微細な生成モデルである。 調音メッシュ表現とDensePose条件拡散モデルとの相乗効果を効果的に活用することにより、AvatarStudioは高品質なアバターを作成することができる。
  論文  参考訳（メタデータ） (2023-11-29T18:59:32Z)
• GAIA: Zero-shot Talking Avatar Generation [64.78978434650416]
  GAIA(Generative AI for Avatar)を導入し、会話アバター生成におけるドメインの先行性を排除した。 GAIAは、自然性、多様性、リップシンク品質、視覚的品質の点で、これまでのベースラインモデルを上回っている。 汎用的で、制御可能な音声アバター生成やテキストインストラクションされたアバター生成など、さまざまなアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2023-11-26T08:04:43Z)
• Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
  商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。 本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。 アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
  論文  参考訳（メタデータ） (2023-07-04T21:57:05Z)
• SwiftAvatar: Efficient Auto-Creation of Parameterized Stylized Character on Arbitrary Avatar Engines [34.645129752596915]
  我々は,新しいアバター自動作成フレームワークであるSwiftAvatarを提案する。 我々は、アバターベクトルとその対応する現実的な顔からなる高品質なデータをできるだけ多く合成する。 実験では2つの異なるアバターエンジンにおけるSwiftAvatarの有効性と効率を実証した。
  論文  参考訳（メタデータ） (2023-01-19T16:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。