論文の概要: Learning to Stabilize Faces

• arxiv url: http://arxiv.org/abs/2411.15074v1
• Date: Fri, 22 Nov 2024 17:03:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:03:47.366779
• Title: Learning to Stabilize Faces
• Title（参考訳）: 顔の安定化を学ぶ
• Authors: Jan Bednarik, Erroll Wood, Vasileios Choutas, Timo Bolkart, Daoye Wang, Chenglei Wu, Thabo Beeler,
• Abstract要約: 我々は、シンプルで完全に自動化された新しい学習ベースのアプローチを提案する。 3次元形態モデル(3DMM)を用いて合成トレーニングデータを生成し、3DMMパラメータが顔の皮膚の動きから頭蓋骨の動きを分離するという事実を生かした。 本手法は,個別の表情セットを安定化させる作業において,定量的かつ質的に,最先端技術よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 19.862045104684636
• License:
• Abstract: Nowadays, it is possible to scan faces and automatically register them with high quality. However, the resulting face meshes often need further processing: we need to stabilize them to remove unwanted head movement. Stabilization is important for tasks like game development or movie making which require facial expressions to be cleanly separated from rigid head motion. Since manual stabilization is labor-intensive, there have been attempts to automate it. However, previous methods remain impractical: they either still require some manual input, produce imprecise alignments, rely on dubious heuristics and slow optimization, or assume a temporally ordered input. Instead, we present a new learning-based approach that is simple and fully automatic. We treat stabilization as a regression problem: given two face meshes, our network directly predicts the rigid transform between them that brings their skulls into alignment. We generate synthetic training data using a 3D Morphable Model (3DMM), exploiting the fact that 3DMM parameters separate skull motion from facial skin motion. Through extensive experiments we show that our approach outperforms the state-of-the-art both quantitatively and qualitatively on the tasks of stabilizing discrete sets of facial expressions as well as dynamic facial performances. Furthermore, we provide an ablation study detailing the design choices and best practices to help others adopt our approach for their own uses. Supplementary videos can be found on the project webpage syntec-research.github.io/FaceStab.
• Abstract（参考訳）: 現在、顔をスキャンして高品質で自動的に登録することが可能である。 しかし、結果として生じるフェースメッシュは、しばしばさらなる処理を必要とします。 安定は、ゲーム開発や映画製作などのタスクにおいて重要であり、顔の表情を硬い頭の動きからきれいに分離する必要がある。 手動安定化は労働集約的であるため、自動化の試みも行われている。 しかし、従来の手法は依然として非現実的であり、手動入力を必要とするか、不正確なアライメントを生成するか、疑わしいヒューリスティックと遅い最適化に依存するか、時間的に順序づけられた入力を仮定するかのいずれかである。 代わりに、我々はシンプルで完全に自動化された新しい学習ベースのアプローチを提示します。 我々は安定化を回帰問題として扱う: 2つの面メッシュが与えられたら、我々のネットワークはそれらの間の剛性変換を直接予測し、頭蓋骨をアライメントする。 3次元形態モデル(3DMM)を用いて合成トレーニングデータを生成し、3DMMパラメータが顔の皮膚の動きから頭蓋骨の動きを分離するという事実を生かした。 より広範な実験により,我々のアプローチは,表情の個別セットの安定化と動的顔パフォーマンスの両面において,定量的かつ質的に,最先端技術よりも優れることを示した。 さらに、私たちは、他の人が自分たちのために我々のアプローチを採用するのを助けるために、デザインの選択とベストプラクティスを詳細に研究します。 追加ビデオはプロジェクトWebページsyntec-research.github.io/FaceStabで見ることができる。

関連論文リスト

• A Theory of Stabilization by Skull Carving [0.0]
  顔の動きの正確な安定化は、3Dゲーム、仮想現実、映画、トレーニングデータ収集のためのフォトリアルアバター構築への応用に不可欠である。 安定化スキャンの交差面として安定な船体の概念を導入し, シルエット形状の視覚的船体と空間彫刻の光的船体とを類似させた。
  論文  参考訳（メタデータ） (2024-11-05T17:54:05Z)
• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• KMTalk: Speech-Driven 3D Facial Animation with Key Motion Embedding [19.15471840100407]
  キーモーション埋め込みを用いた音声系列から3次元顔の動きを合成する新しい手法を提案する。 本手法は,言語に基づくキーモーション獲得とモーダル間動作完了の2つのモジュールを通じて,言語的およびデータ駆動の先行情報を統合する。 後者は、キーモーションを音声機能によって案内される3D音声のフルシーケンスに拡張し、時間的コヒーレンスとオーディオ-視覚的整合性を改善する。
  論文  参考訳（メタデータ） (2024-09-02T09:41:24Z)
• 3D Face Tracking from 2D Video through Iterative Dense UV to Image Flow [15.479024531161476]
  本稿では,頂点ごとの高密度アライメントのための2次元アライメントネットワークを革新的に導入する新しいフェイストラッカーであるFlowFaceを提案する。 以前の作業とは異なり、FlowFaceは、弱い監視や合成データではなく、高品質な3Dスキャンアノテーションでトレーニングされている。 本手法は,カスタムベンチマークと公開ベンチマークの両方において,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-15T14:20:07Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• StableFace: Analyzing and Improving Motion Stability for Talking Face Generation [38.25025849434312]
  入力音声と出力映像をブリッジする3次元顔表現を用いた最先端パイプラインに基づく動きジッタリング問題について検討する。 音声合成ビデオでは,いくつかの問題がジッタに繋がることが判明した。
  論文  参考訳（メタデータ） (2022-08-29T16:56:35Z)
• Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
  本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。 提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
  論文  参考訳（メタデータ） (2021-08-30T19:45:07Z)
• Shape My Face: Registering 3D Face Scans by Surface-to-Surface Translation [75.59415852802958]
  Shape-My-Face (SMF) は、改良されたポイントクラウドエンコーダ、新しい視覚的注意機構、スキップ接続付きグラフ畳み込みデコーダ、特殊口モデルに基づく強力なエンコーダデコーダアーキテクチャである。 私たちのモデルは、トポロジカルにサウンドメッシュを最小限の監視で提供し、より高速なトレーニング時間を提供し、訓練可能なパラメータを桁違いに減らし、ノイズに強く、以前は見られないデータセットに一般化することができます。
  論文  参考訳（メタデータ） (2020-12-16T20:02:36Z)
• Neural Face Models for Example-Based Visual Speech Synthesis [2.2817442144155207]
  マルチビュー映像に基づく顔の動きキャプチャのためのマーカーレスアプローチを提案する。 アニメーション中の表情をシームレスに表現するために,表情のニューラル表現を学習する。
  論文  参考訳（メタデータ） (2020-09-22T07:35:33Z)
• Towards Fast, Accurate and Stable 3D Dense Face Alignment [73.01620081047336]
  本稿では,速度,精度,安定性のバランスをとる3DDFA-V2という新しい回帰フレームワークを提案する。 本研究では,静止画を平面内と面外の動きを取り入れた映像に変換する仮想合成法を提案する。
  論文  参考訳（メタデータ） (2020-09-21T15:37:37Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。