論文の概要: Real-Time Cleaning and Refinement of Facial Animation Signals

• arxiv url: http://arxiv.org/abs/2008.01332v1
• Date: Tue, 4 Aug 2020 05:21:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 01:07:51.404722
• Title: Real-Time Cleaning and Refinement of Facial Animation Signals
• Title（参考訳）: 顔アニメーション信号のリアルタイムクリーニングと高精度化
• Authors: Elo\"ise Berson, Catherine Soladi\'e, Nicolas Stoiber
• Abstract要約: 顔の動きの自然なダイナミクスを保存または復元するリアルタイムアニメーション精錬システムを提案する。 クリーンなアニメーションデータに対して,適切な顔のダイナミックスパターンを学習する,既製のリカレントニューラルネットワークアーキテクチャを活用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the increasing demand for real-time animated 3D content in the entertainment industry and beyond, performance-based animation has garnered interest among both academic and industrial communities. While recent solutions for motion-capture animation have achieved impressive results, handmade post-processing is often needed, as the generated animations often contain artifacts. Existing real-time motion capture solutions have opted for standard signal processing methods to strengthen temporal coherence of the resulting animations and remove inaccuracies. While these methods produce smooth results, they inherently filter-out part of the dynamics of facial motion, such as high frequency transient movements. In this work, we propose a real-time animation refining system that preserves -- or even restores -- the natural dynamics of facial motions. To do so, we leverage an off-the-shelf recurrent neural network architecture that learns proper facial dynamics patterns on clean animation data. We parametrize our system using the temporal derivatives of the signal, enabling our network to process animations at any framerate. Qualitative results show that our system is able to retrieve natural motion signals from noisy or degraded input animation.
• Abstract（参考訳）: エンターテイメント業界などにおけるリアルタイム3Dコンテンツの需要が高まり、パフォーマンスベースのアニメーションは、学術界と産業界の両方で注目を集めている。 最近のモーションキャプチャアニメーションのソリューションは素晴らしい成果を上げているが、生成されたアニメーションにはしばしばアーティファクトが含まれているため、手作りのポストプロセッシングがしばしば必要である。 既存のリアルタイムモーションキャプチャソリューションは、結果のアニメーションの時間的コヒーレンスを強化し、不正確さを取り除くために、標準的な信号処理方法を選択している。 これらの手法はスムーズな結果をもたらすが、それらは本質的に、高周波過渡運動のような顔の動きのダイナミクスの一部をフィルタリングする。 本研究では,顔の動きの自然なダイナミクスを保存し,あるいは復元するリアルタイムアニメーション精製システムを提案する。 そのため、クリーンなアニメーションデータ上で適切な顔のダイナミックスパターンを学習する、既製のリカレントニューラルネットワークアーキテクチャを活用する。 我々は,信号の時間微分を用いてシステムのパラメータ化を行い,ネットワークが任意のフレームレートでアニメーションを処理できるようにする。 定性的な結果から,本システムは雑音や劣化した入力アニメーションから自然運動信号を検索できることがわかった。

関連論文リスト

• PhysAnimator: Physics-Guided Generative Cartoon Animation [19.124321553546242]
  我々は、静的アニメイラストからアニメスタイライズされたアニメーションを生成する新しいアプローチであるPhysAnimatorを紹介する。 アニメの流動性と誇張特性を捉えるため,抽出したメッシュ地形上で画像空間の変形可能な物体シミュレーションを行った。 シミュレーションシーケンスからスケッチを抽出し、テクスチャに依存しない表現を生成し、スケッチ誘導映像拡散モデルを用いて高品質なアニメーションフレームを合成する。
  論文  参考訳（メタデータ） (2025-01-27T22:48:36Z)
• X-Dyna: Expressive Dynamic Human Image Animation [49.896933584815926]
  X-Dynaは、単一の人間のイメージをアニメーションするための、ゼロショットで拡散ベースのパイプラインである。 対象と周辺環境の両方に対して現実的でコンテキスト対応のダイナミクスを生成する。
  論文  参考訳（メタデータ） (2025-01-17T08:10:53Z)
• Motion Prompting: Controlling Video Generation with Motion Trajectories [57.049252242807874]
  スパースもしくは高密度なビデオ軌跡を条件とした映像生成モデルを訓練する。 ハイレベルなユーザリクエストを,詳細なセミセンスな動作プロンプトに変換する。 我々は、カメラや物体の動き制御、画像との「相互作用」、動画転送、画像編集など、様々な応用を通してアプローチを実証する。
  論文  参考訳（メタデータ） (2024-12-03T18:59:56Z)
• MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model [74.84435399451573]
  本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。 既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。 MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
  論文  参考訳（メタデータ） (2023-11-27T18:32:31Z)
• AnimateAnything: Fine-Grained Open Domain Image Animation with Motion Guidance [13.416296247896042]
  本稿では,映像拡散モデルに先立って動きを利用するオープンドメイン画像アニメーション手法を提案する。 本手法では,移動領域の正確な制御と移動速度を実現するため,目標となる運動領域の誘導と運動強度の誘導を導入する。 オープンドメインデータセットを用いた厳密な実験により,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-11-21T03:47:54Z)
• CodeTalker: Speech-Driven 3D Facial Animation with Discrete Motion Prior [27.989344587876964]
  音声駆動の3D顔アニメーションは広く研究されているが、現実主義と鮮明さを達成するにはまだまだギャップがある。 本稿では,学習したコードブックの有限プロキシ空間において,音声による顔のアニメーションをコードクエリタスクとしてキャストすることを提案する。 提案手法は, 定性的かつ定量的に, 現在の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-06T05:04:32Z)
• Towards Lightweight Neural Animation : Exploration of Neural Network Pruning in Mixture of Experts-based Animation Models [3.1733862899654652]
  対話型キャラクタアニメーションの文脈でニューラルネットワークを圧縮するために,プルーニングアルゴリズムを適用した。 同じ数の専門家とパラメータで、刈り取られたモデルは、密度の高いモデルよりも動きの人工物が少ない。 この研究は、同じ数の専門家とパラメータで、刈り取られたモデルは密度の高いモデルよりも動きの人工物が少ないことを示した。
  論文  参考訳（メタデータ） (2022-01-11T16:39:32Z)
• MeshTalk: 3D Face Animation from Speech using Cross-Modality Disentanglement [142.9900055577252]
  本研究では,顔全体の映像合成を高度に実現するための汎用的な音声駆動顔アニメーション手法を提案する。 このアプローチは、目のまばたきやまばたきなど、音声信号とは無関係な顔の一部のアニメーションを再現すると同時に、高精度な唇の動きを保証します。
  論文  参考訳（メタデータ） (2021-04-16T17:05:40Z)
• High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
  ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。 自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。 実験結果では,映像リアリズムの点で最先端を著しく上回っている。
  論文  参考訳（メタデータ） (2020-12-20T16:54:38Z)
• Animating Pictures with Eulerian Motion Fields [90.30598913855216]
  静止画をリアルなアニメーションループ映像に変換する完全自動手法を示す。 流れ水や吹く煙など,連続流体運動の場面を対象とする。 本稿では,前向きと後向きの両方に特徴を流し,その結果をブレンドする新しいビデオループ手法を提案する。
  論文  参考訳（メタデータ） (2020-11-30T18:59:06Z)
• A Robust Interactive Facial Animation Editing System [0.0]
  直感的な制御パラメータの集合から顔のアニメーションを簡単に編集するための学習に基づく新しいアプローチを提案する。 我々は、制御パラメータを結合係数列にマップする分解能保存完全畳み込みニューラルネットワークを使用している。 提案システムは頑丈で,非専門ユーザからの粗大で誇張された編集を処理できる。
  論文  参考訳（メタデータ） (2020-07-18T08:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。