論文の概要: Bring Your Own Character: A Holistic Solution for Automatic Facial
Animation Generation of Customized Characters
- arxiv url: http://arxiv.org/abs/2402.13724v1
- Date: Wed, 21 Feb 2024 11:35:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 15:43:11.363242
- Title: Bring Your Own Character: A Holistic Solution for Automatic Facial
Animation Generation of Customized Characters
- Title（参考訳）: 自分のキャラクタを持ってくる: カスタマイズされたキャラクタの自動顔アニメーション生成のための完全解法
- Authors: Zechen Bai, Peng Chen, Xiaolan Peng, Lu Liu, Hui Chen, Mike Zheng
Shou, Feng Tian
- Abstract要約: 仮想顔を自動的にアニメーションする総合的なソリューションを提案する。
深層学習モデルはまず、入力された顔画像から仮想人間の顔への表情の再ターゲティングを訓練した。
Unity 3Dを使った実用的なツールキットが開発され、最も人気のあるVRアプリケーションと互換性がある。
- 参考スコア（独自算出の注目度）: 24.615066741391125
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Animating virtual characters has always been a fundamental research problem
in virtual reality (VR). Facial animations play a crucial role as they
effectively convey emotions and attitudes of virtual humans. However, creating
such facial animations can be challenging, as current methods often involve
utilization of expensive motion capture devices or significant investments of
time and effort from human animators in tuning animation parameters. In this
paper, we propose a holistic solution to automatically animate virtual human
faces. In our solution, a deep learning model was first trained to retarget the
facial expression from input face images to virtual human faces by estimating
the blendshape coefficients. This method offers the flexibility of generating
animations with characters of different appearances and blendshape topologies.
Second, a practical toolkit was developed using Unity 3D, making it compatible
with the most popular VR applications. The toolkit accepts both image and video
as input to animate the target virtual human faces and enables users to
manipulate the animation results. Furthermore, inspired by the spirit of
Human-in-the-loop (HITL), we leveraged user feedback to further improve the
performance of the model and toolkit, thereby increasing the customization
properties to suit user preferences. The whole solution, for which we will make
the code public, has the potential to accelerate the generation of facial
animations for use in VR applications.
- Abstract（参考訳）: 仮想キャラクタのアニメーションは、常に仮想現実(VR)の基本的な研究課題である。
仮想人間の感情や態度を効果的に伝えるため、顔のアニメーションは重要な役割を果たす。
しかし、このような顔アニメーションの作成は、しばしば高価なモーションキャプチャー装置の利用や、アニメーションパラメータのチューニングに人体アニメーターからの時間と労力の大幅な投資を含むため、難しい場合がある。
本稿では,仮想人間の顔を自動的にアニメーションする全体解を提案する。
提案手法では,ブレンド形状係数を推定することにより,入力顔画像から仮想顔への表情再ターゲティングを深層学習モデルで訓練した。
異なる外観のキャラクターとブレンドシェープトポロジを持つアニメーションを生成する柔軟性を提供する。
第2に、Unity 3Dを使って実用的なツールキットが開発され、最も人気のあるVRアプリケーションと互換性がある。
このツールキットは、画像とビデオの両方を入力として受け入れ、ターゲットの仮想顔をアニメーション化し、ユーザはアニメーション結果を操作することができる。
さらに,Human-in-the-loop(HITL)の精神に触発されて,ユーザからのフィードバックを利用して,モデルとツールキットの性能をさらに向上し,ユーザの好みに合ったカスタマイズ特性を向上した。
コードを公開する全体的なソリューションは、VRアプリケーションで使用する顔アニメーションの生成を加速する可能性を秘めている。
関連論文リスト
- AvatarGO: Zero-shot 4D Human-Object Interaction Generation and Animation [60.5897687447003]
AvatarGOはテキスト入力からリアルな4D HOIシーンを生成するために設計された新しいフレームワークである。
我々のフレームワークは、コヒーレントな構成運動を生成するだけでなく、問題に対処する上でより堅牢性を示す。
4Dアバターをオブジェクトインタラクションで合成する最初の試みとして、AvatarGOが人間中心の4Dコンテンツを作るための新しい扉を開くことを願っている。
論文 参考訳（メタデータ） (2024-10-09T17:58:56Z) - Universal Facial Encoding of Codec Avatars from VR Headsets [32.60236093340087]
コンシューマー向けVRヘッドセットのヘッドマウントカメラ(HMC)を用いて,光リアルアバターをリアルタイムにアニメーションする手法を提案する。
本稿では,実行時の効率向上に最小限のコストで精度を高める軽量な式キャリブレーション機構を提案する。
論文 参考訳（メタデータ） (2024-07-17T22:08:15Z) - Video-Driven Animation of Neural Head Avatars [3.5229503563299915]
高品質なニューラル3Dヘッドモデルの映像駆動型アニメーションに対する新しいアプローチを提案する。
本研究では、個人に依存しない表現特徴をパーソナライズされたアニメーションパラメータに翻訳できるLSTMベースのアニメーションネットワークを提案する。
論文 参考訳（メタデータ） (2024-03-07T10:13:48Z) - Attention-Based VR Facial Animation with Visual Mouth Camera Guidance
for Immersive Telepresence Avatars [19.70403947793871]
本稿では,マウスカメラのキーポイントと直接視覚誘導を併用したハイブリッド手法を提案する。
提案手法は,未知の演算子に一般化され,短いビデオ2本をキャプチャして簡単なエンロラメントステップのみを必要とする。
我々は、ANAアバターXPRIZEファイナルでの勝利に顔のアニメーションがどう貢献したかを強調した。
論文 参考訳（メタデータ） (2023-12-15T12:45:11Z) - Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。
まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。
次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
論文 参考訳（メタデータ） (2023-10-06T20:48:43Z) - Versatile Face Animator: Driving Arbitrary 3D Facial Avatar in RGBD
Space [38.940128217895115]
本稿では,顔の動きを終末的にキャプチャーと組み合わせたVersatile Face Animatorを提案する。
1) 階層的な動き辞書を用いて生のRGBDビデオから顔の動きを学習し, 任意の3D文字で表情をアニメーションできるRGBDアニメーションモジュールを提案する。
総合的な実験により,提案手法が印象的な3次元顔画像生成に有効であることを実証した。
論文 参考訳（メタデータ） (2023-08-11T11:29:01Z) - Learning-based pose edition for efficient and interactive design [55.41644538483948]
コンピュータ支援アニメーションアーティストでは、キャラクターのキーポーズは骨格を操作することで定義されている。
キャラクターのポーズは多くの不明確な制約を尊重しなければならないので、結果のリアリズムはアニメーターのスキルと知識に大きく依存する。
ポーズデザインのための効率的なツールを記述し、ユーザーが直感的にポーズを操作してキャラクターアニメーションを作成することができる。
論文 参考訳（メタデータ） (2021-07-01T12:15:02Z) - MeshTalk: 3D Face Animation from Speech using Cross-Modality
Disentanglement [142.9900055577252]
本研究では,顔全体の映像合成を高度に実現するための汎用的な音声駆動顔アニメーション手法を提案する。
このアプローチは、目のまばたきやまばたきなど、音声信号とは無関係な顔の一部のアニメーションを再現すると同時に、高精度な唇の動きを保証します。
論文 参考訳（メタデータ） (2021-04-16T17:05:40Z) - S3: Neural Shape, Skeleton, and Skinning Fields for 3D Human Modeling [103.65625425020129]
歩行者の形状、ポーズ、皮膚の重みを、データから直接学習する神経暗黙関数として表現します。
各種データセットに対するアプローチの有効性を実証し,既存の最先端手法よりも再現性が優れていることを示す。
論文 参考訳（メタデータ） (2021-01-17T02:16:56Z) - Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。
私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
論文 参考訳（メタデータ） (2020-08-11T22:28:48Z) - A Robust Interactive Facial Animation Editing System [0.0]
直感的な制御パラメータの集合から顔のアニメーションを簡単に編集するための学習に基づく新しいアプローチを提案する。
我々は、制御パラメータを結合係数列にマップする分解能保存完全畳み込みニューラルネットワークを使用している。
提案システムは頑丈で,非専門ユーザからの粗大で誇張された編集を処理できる。
論文 参考訳（メタデータ） (2020-07-18T08:31:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。