論文の概要: MienCap: Realtime Performance-Based Facial Animation with Live Mood Dynamics
- arxiv url: http://arxiv.org/abs/2508.04687v1
- Date: Wed, 06 Aug 2025 17:50:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-07 20:09:22.862999
- Title: MienCap: Realtime Performance-Based Facial Animation with Live Mood Dynamics
- Title（参考訳）: MienCap: Live Mood Dynamicsを使ったリアルタイムパフォーマンスベースの顔アニメーション
- Authors: Ye Pan, Ruisi Zhang, Jingying Wang, Nengfu Chen, Yilin Qiu, Yu Ding, Kenny Mitchell,
- Abstract要約: 我々の目的は、3Dスタイルのキャラクタを駆動できるパフォーマンスベースのアニメーションを改善することである。
我々は、幾何学的に一貫性があり、知覚的に妥当な方法で文字表現を駆動する非リアルタイムおよびリアルタイムのソリューションを提示する。
- 参考スコア（独自算出の注目度）: 8.332503215983346
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Our purpose is to improve performance-based animation which can drive believable 3D stylized characters that are truly perceptual. By combining traditional blendshape animation techniques with multiple machine learning models, we present both non-real time and real time solutions which drive character expressions in a geometrically consistent and perceptually valid way. For the non-real time system, we propose a 3D emotion transfer network makes use of a 2D human image to generate a stylized 3D rig parameters. For the real time system, we propose a blendshape adaption network which generates the character rig parameter motions with geometric consistency and temporally stability. We demonstrate the effectiveness of our system by comparing to a commercial product Faceware. Results reveal that ratings of the recognition, intensity, and attractiveness of expressions depicted for animated characters via our systems are statistically higher than Faceware. Our results may be implemented into the animation pipeline, and provide animators with a system for creating the expressions they wish to use more quickly and accurately.
- Abstract（参考訳）: 我々の目的は、真に知覚可能な3Dスタイリングキャラクタを駆動できるパフォーマンスベースのアニメーションを改善することである。
従来のブレンドシェープアニメーション技術と複数の機械学習モデルを組み合わせることで、幾何学的に一貫性があり、知覚的に妥当な方法で文字表現を駆動する非リアルタイムおよびリアルタイムのソリューションを提示する。
非リアルタイムシステムでは,2次元の人間画像を用いた3次元感情伝達ネットワークを提案し,スタイリングされた3次元リグパラメータを生成する。
リアルタイムシステムにおいて,幾何的整合性と時間的安定性を有するキャラクタリグパラメータ運動を生成するブレンドシェイプ適応ネットワークを提案する。
市販のFacewareと比較することで,システムの有効性を実証する。
その結果,我々のシステムによるアニメーションキャラクターの表現の認識,強度,魅力の評価は,Facewareよりも統計的に高いことがわかった。
アニメーションパイプラインに実装して,より迅速かつ正確な表現を生成するシステムを提供する。
関連論文リスト
- VisualSpeaker: Visually-Guided 3D Avatar Lip Synthesis [70.76837748695841]
視覚音声認識によって教師される写真リアルな微分可能レンダリングを用いてギャップを埋める新しい手法であるVisualSpeakerを提案する。
我々の貢献は、訓練中に訓練済みの視覚自動音声認識モデルを通して3Dガウス・スプティング・アバターレンダリングを通過させることによって得られる、知覚的な唇読影損失である。
MEADデータセットの評価は、VisualSpeakerが標準のLip Vertex Errorメトリックを56.1%改善し、生成されたアニメーションの知覚的品質を向上し、メッシュ駆動アニメーションの制御性を維持していることを示している。
論文 参考訳（メタデータ） (2025-07-08T15:04:17Z) - Animating the Uncaptured: Humanoid Mesh Animation with Video Diffusion Models [71.78723353724493]
ヒューマノイド文字のアニメーションは、様々なグラフィックス応用において不可欠である。
入力された静的な3次元ヒューマノイドメッシュの4次元アニメーションシーケンスを合成する手法を提案する。
論文 参考訳（メタデータ） (2025-03-20T10:00:22Z) - Make-It-Animatable: An Efficient Framework for Authoring Animation-Ready 3D Characters [86.13319549186959]
我々は3次元ヒューマノイドモデルを1秒未満でキャラクターアニメーションに対応させる新しいデータ駆動方式であるMake-It-Animatableを提案する。
我々のフレームワークは、高品質なブレンドウェイト、骨、ポーズトランスフォーメーションを生成します。
既存の手法と比較して,本手法は品質と速度の両方において著しく改善されている。
論文 参考訳（メタデータ） (2024-11-27T10:18:06Z) - MotionDreamer: Exploring Semantic Video Diffusion features for Zero-Shot 3D Mesh Animation [10.263762787854862]
本稿では,ビデオ拡散モデルから抽出した動きに基づいて,様々な3次元形状の自動アニメーションを行う手法を提案する。
既存のコンピュータグラフィックスパイプラインと互換性のあるメッシュベースの明示的な表現を活用します。
我々の時間効率ゼロショット法は,多種多様な3次元形状を再アニメーションする優れた性能を実現する。
論文 参考訳（メタデータ） (2024-05-30T15:30:38Z) - Bring Your Own Character: A Holistic Solution for Automatic Facial
Animation Generation of Customized Characters [24.615066741391125]
仮想顔を自動的にアニメーションする総合的なソリューションを提案する。
深層学習モデルはまず、入力された顔画像から仮想人間の顔への表情の再ターゲティングを訓練した。
Unity 3Dを使った実用的なツールキットが開発され、最も人気のあるVRアプリケーションと互換性がある。
論文 参考訳（メタデータ） (2024-02-21T11:35:20Z) - GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。
GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
論文 参考訳（メタデータ） (2023-12-04T18:55:45Z) - TADA! Text to Animatable Digital Avatars [57.52707683788961]
TADAはテキスト記述を取り込み、高品質な幾何学とライフスタイルのテクスチャを備えた表現力のある3Dアバターを生産する。
我々は3次元変位とテクスチャマップを備えたSMPL-Xから最適化可能な高分解能ボディモデルを導出した。
我々は、生成した文字の正規表現とRGB画像をレンダリングし、SDSトレーニングプロセスにおけるそれらの潜伏埋め込みを利用する。
論文 参考訳（メタデータ） (2023-08-21T17:59:10Z) - Versatile Face Animator: Driving Arbitrary 3D Facial Avatar in RGBD
Space [38.940128217895115]
本稿では,顔の動きを終末的にキャプチャーと組み合わせたVersatile Face Animatorを提案する。
1) 階層的な動き辞書を用いて生のRGBDビデオから顔の動きを学習し, 任意の3D文字で表情をアニメーションできるRGBDアニメーションモジュールを提案する。
総合的な実験により,提案手法が印象的な3次元顔画像生成に有効であることを実証した。
論文 参考訳（メタデータ） (2023-08-11T11:29:01Z) - A Deep Emulator for Secondary Motion of 3D Characters [24.308088194689415]
本稿では,3次元キャラクタのスキンアニメーションを鮮明な二次動作効果で強化する学習的アプローチを提案する。
文字シミュレーションメッシュの各局所パッチを符号化するニューラルネットワークを設計する。
ネットワークは局所的な手法であるため,テスト時に任意の形状の3Dキャラクタメッシュに一般化する。
論文 参考訳（メタデータ） (2021-03-01T19:13:35Z) - Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。
私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
論文 参考訳（メタデータ） (2020-08-11T22:28:48Z) - Real-Time Cleaning and Refinement of Facial Animation Signals [0.0]
顔の動きの自然なダイナミクスを保存または復元するリアルタイムアニメーション精錬システムを提案する。
クリーンなアニメーションデータに対して,適切な顔のダイナミックスパターンを学習する,既製のリカレントニューラルネットワークアーキテクチャを活用する。
論文 参考訳（メタデータ） (2020-08-04T05:21:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。