論文の概要: Real-Time Cleaning and Refinement of Facial Animation Signals

• arxiv url: http://arxiv.org/abs/2008.01332v1
• Date: Tue, 4 Aug 2020 05:21:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 01:07:51.404722
• Title: Real-Time Cleaning and Refinement of Facial Animation Signals
• Title（参考訳）: 顔アニメーション信号のリアルタイムクリーニングと高精度化
• Authors: Elo\"ise Berson, Catherine Soladi\'e, Nicolas Stoiber
• Abstract要約: 顔の動きの自然なダイナミクスを保存または復元するリアルタイムアニメーション精錬システムを提案する。 クリーンなアニメーションデータに対して,適切な顔のダイナミックスパターンを学習する,既製のリカレントニューラルネットワークアーキテクチャを活用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the increasing demand for real-time animated 3D content in the entertainment industry and beyond, performance-based animation has garnered interest among both academic and industrial communities. While recent solutions for motion-capture animation have achieved impressive results, handmade post-processing is often needed, as the generated animations often contain artifacts. Existing real-time motion capture solutions have opted for standard signal processing methods to strengthen temporal coherence of the resulting animations and remove inaccuracies. While these methods produce smooth results, they inherently filter-out part of the dynamics of facial motion, such as high frequency transient movements. In this work, we propose a real-time animation refining system that preserves -- or even restores -- the natural dynamics of facial motions. To do so, we leverage an off-the-shelf recurrent neural network architecture that learns proper facial dynamics patterns on clean animation data. We parametrize our system using the temporal derivatives of the signal, enabling our network to process animations at any framerate. Qualitative results show that our system is able to retrieve natural motion signals from noisy or degraded input animation.
• Abstract（参考訳）: エンターテイメント業界などにおけるリアルタイム3Dコンテンツの需要が高まり、パフォーマンスベースのアニメーションは、学術界と産業界の両方で注目を集めている。 最近のモーションキャプチャアニメーションのソリューションは素晴らしい成果を上げているが、生成されたアニメーションにはしばしばアーティファクトが含まれているため、手作りのポストプロセッシングがしばしば必要である。 既存のリアルタイムモーションキャプチャソリューションは、結果のアニメーションの時間的コヒーレンスを強化し、不正確さを取り除くために、標準的な信号処理方法を選択している。 これらの手法はスムーズな結果をもたらすが、それらは本質的に、高周波過渡運動のような顔の動きのダイナミクスの一部をフィルタリングする。 本研究では,顔の動きの自然なダイナミクスを保存し,あるいは復元するリアルタイムアニメーション精製システムを提案する。 そのため、クリーンなアニメーションデータ上で適切な顔のダイナミックスパターンを学習する、既製のリカレントニューラルネットワークアーキテクチャを活用する。 我々は,信号の時間微分を用いてシステムのパラメータ化を行い,ネットワークが任意のフレームレートでアニメーションを処理できるようにする。 定性的な結果から,本システムは雑音や劣化した入力アニメーションから自然運動信号を検索できることがわかった。

関連論文リスト

• Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
  スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。 SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。 大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-22T14:47:18Z)
• Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation [27.700371215886683]
  拡散モデルは、その堅牢な生成能力のために、視覚世代研究の主流となっている。 本稿では,キャラクターアニメーションに適した新しいフレームワークを提案する。 トレーニングデータを拡張することにより、任意の文字をアニメーション化することが可能となり、他の画像とビデオの手法と比較して、文字アニメーションにおいて優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-11-28T12:27:15Z)
• MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model [74.84435399451573]
  本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。 既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。 MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
  論文  参考訳（メタデータ） (2023-11-27T18:32:31Z)
• AnimateAnything: Fine-Grained Open Domain Image Animation with Motion Guidance [13.416296247896042]
  本稿では,映像拡散モデルに先立って動きを利用するオープンドメイン画像アニメーション手法を提案する。 本手法では,移動領域の正確な制御と移動速度を実現するため,目標となる運動領域の誘導と運動強度の誘導を導入する。 オープンドメインデータセットを用いた厳密な実験により,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-11-21T03:47:54Z)
• CodeTalker: Speech-Driven 3D Facial Animation with Discrete Motion Prior [27.989344587876964]
  音声駆動の3D顔アニメーションは広く研究されているが、現実主義と鮮明さを達成するにはまだまだギャップがある。 本稿では,学習したコードブックの有限プロキシ空間において,音声による顔のアニメーションをコードクエリタスクとしてキャストすることを提案する。 提案手法は, 定性的かつ定量的に, 現在の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-06T05:04:32Z)
• Towards Lightweight Neural Animation : Exploration of Neural Network Pruning in Mixture of Experts-based Animation Models [3.1733862899654652]
  対話型キャラクタアニメーションの文脈でニューラルネットワークを圧縮するために,プルーニングアルゴリズムを適用した。 同じ数の専門家とパラメータで、刈り取られたモデルは、密度の高いモデルよりも動きの人工物が少ない。 この研究は、同じ数の専門家とパラメータで、刈り取られたモデルは密度の高いモデルよりも動きの人工物が少ないことを示した。
  論文  参考訳（メタデータ） (2022-01-11T16:39:32Z)
• Dance In the Wild: Monocular Human Animation with Neural Dynamic Appearance Synthesis [56.550999933048075]
  そこで本研究では,課題に対処し,高品質な映像合成手法を提案する。 動的外見変化を捉えるために発電機重量を変調するために用いられる新しい動きシグネチャを導入する。 提案手法を課題ビデオの集合上で評価し,その手法が質的かつ定量的に最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-11-10T20:18:57Z)
• MeshTalk: 3D Face Animation from Speech using Cross-Modality Disentanglement [142.9900055577252]
  本研究では,顔全体の映像合成を高度に実現するための汎用的な音声駆動顔アニメーション手法を提案する。 このアプローチは、目のまばたきやまばたきなど、音声信号とは無関係な顔の一部のアニメーションを再現すると同時に、高精度な唇の動きを保証します。
  論文  参考訳（メタデータ） (2021-04-16T17:05:40Z)
• High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
  ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。 自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。 実験結果では,映像リアリズムの点で最先端を著しく上回っている。
  論文  参考訳（メタデータ） (2020-12-20T16:54:38Z)
• Animating Pictures with Eulerian Motion Fields [90.30598913855216]
  静止画をリアルなアニメーションループ映像に変換する完全自動手法を示す。 流れ水や吹く煙など,連続流体運動の場面を対象とする。 本稿では,前向きと後向きの両方に特徴を流し,その結果をブレンドする新しいビデオループ手法を提案する。
  論文  参考訳（メタデータ） (2020-11-30T18:59:06Z)
• A Robust Interactive Facial Animation Editing System [0.0]
  直感的な制御パラメータの集合から顔のアニメーションを簡単に編集するための学習に基づく新しいアプローチを提案する。 我々は、制御パラメータを結合係数列にマップする分解能保存完全畳み込みニューラルネットワークを使用している。 提案システムは頑丈で,非専門ユーザからの粗大で誇張された編集を処理できる。
  論文  参考訳（メタデータ） (2020-07-18T08:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。