論文の概要: TEASER: Token Enhanced Spatial Modeling for Expressions Reconstruction
- arxiv url: http://arxiv.org/abs/2502.10982v1
- Date: Sun, 16 Feb 2025 04:00:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:10:57.959328
- Title: TEASER: Token Enhanced Spatial Modeling for Expressions Reconstruction
- Title（参考訳）: TEASER:表現再構成のための空間モデリングの高度化
- Authors: Yunfei Liu, Lei Zhu, Lijian Lin, Ye Zhu, Ailing Zhang, Yu Li,
- Abstract要約: 人物中心のコンピュータビジョンタスクでは,1つの眼内画像からの3D顔の再構成が重要な課題である。
現在のアプローチでは、誇張された不規則な口の形、表情、非対称な顔の動きに苦労している。
本稿では,これらの課題に対処し,顔形状を3次元的に拡張するTEASERを提案する。
- 参考スコア（独自算出の注目度）: 29.41924691414499
- License:
- Abstract: 3D facial reconstruction from a single in-the-wild image is a crucial task in human-centered computer vision tasks. While existing methods can recover accurate facial shapes, there remains significant space for improvement in fine-grained expression capture. Current approaches struggle with irregular mouth shapes, exaggerated expressions, and asymmetrical facial movements. We present TEASER (Token EnhAnced Spatial modeling for Expressions Reconstruction), which addresses these challenges and enhances 3D facial geometry performance. TEASER tackles two main limitations of existing methods: insufficient photometric loss for self-reconstruction and inaccurate localization of subtle expressions. We introduce a multi-scale tokenizer to extract facial appearance information. Combined with a neural renderer, these tokens provide precise geometric guidance for expression reconstruction. Furthermore, TEASER incorporates a pose-dependent landmark loss to further improve geometric performances. Our approach not only significantly enhances expression reconstruction quality but also offers interpretable tokens suitable for various downstream applications, such as photorealistic facial video driving, expression transfer, and identity swapping. Quantitative and qualitative experimental results across multiple datasets demonstrate that TEASER achieves state-of-the-art performance in precise expression reconstruction.
- Abstract（参考訳）: 人物中心のコンピュータビジョンタスクでは,1つの眼内画像からの3D顔の再構成が重要な課題である。
既存の方法では正確な顔の形状を復元できるが、微細な表情キャプチャーの改善にはかなりのスペースが残されている。
現在のアプローチでは、不規則な口の形、誇張された表情、非対称な顔の動きに苦労している。
本稿では, TEASER (Token EnhAnced Spatial Modeling for Expressions Reconstruction) を提案する。
TEASERは、自己再構成のための測光損失の不足と、微妙な表現の非正確な局所化という、既存の方法の主な2つの制限に取り組む。
顔の外観情報を抽出するマルチスケールトークン化手法を提案する。
ニューラルレンダラーと組み合わせることで、これらのトークンは表現再構成のための正確な幾何学的ガイダンスを提供する。
さらに、TEASERはポーズ依存のランドマーク損失を取り入れ、幾何学的性能をさらに向上させる。
提案手法は,表現再構成の品質を著しく向上させるだけでなく,フォトリアリスティックな顔画像駆動,表現転送,アイデンティティスワップなど,さまざまな下流アプリケーションに適した解釈可能なトークンも提供する。
複数のデータセットにわたる定量的および定性的な実験結果から、TEASERは正確な表現再構成において最先端のパフォーマンスを達成することが示された。
関連論文リスト
- ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。
前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
論文 参考訳（メタデータ） (2024-05-26T13:36:45Z) - 3D Facial Expressions through Analysis-by-Neural-Synthesis [30.2749903946587]
SMIRK(Spatial Modeling for Image-based Reconstruction of Kinesics)は、画像から表現力のある3次元顔を忠実に再構築する。
既存の手法では,自己指導型トレーニングの定式化における欠点と,訓練画像における表現の多様性の欠如の2つの重要な限界を識別する。
我々の質的,定量的,特に知覚的評価は、SMIRKが正確な表現再構成における新しい最先端技術を実現することを証明している。
論文 参考訳（メタデータ） (2024-04-05T14:00:07Z) - ImFace++: A Sophisticated Nonlinear 3D Morphable Face Model with Implicit Neural Representations [25.016000421755162]
本稿では,暗黙のニューラル表現を持つ高度で連続的な空間を学習するために,ImFace++という新しい3次元顔モデルを提案する。
ImFace++は、まず2つの明示的に歪んだ変形フィールドを構築し、アイデンティティと式に関連する複雑な形状をモデル化する。
さらにテンプレート空間内の精細化変位場が組み込まれ、個々の顔の詳細をきめ細かな学習が可能となる。
論文 参考訳（メタデータ） (2023-12-07T03:53:53Z) - GaFET: Learning Geometry-aware Facial Expression Translation from
In-The-Wild Images [55.431697263581626]
本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。
我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
論文 参考訳（メタデータ） (2023-08-07T09:03:35Z) - Neural Point-based Volumetric Avatar: Surface-guided Neural Points for
Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。
具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。
設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
論文 参考訳（メタデータ） (2023-07-11T03:40:10Z) - ImFace: A Nonlinear 3D Morphable Face Model with Implicit Neural
Representations [21.389170615787368]
本稿では,暗黙のニューラル表現を持つ非線形かつ連続的な空間を学習するために,新しい3次元顔モデルImFaceを提案する。
2つの明示的に非交叉な変形場を構築し、それぞれアイデンティティと表現に関連する複雑な形状をモデル化し、表現の埋め込みを拡張するための改良された学習戦略を設計する。
ImFaceに加えて、暗黙の表現における水密入力要求の問題に対処するために、効果的な前処理パイプラインが提案されている。
論文 参考訳（メタデータ） (2022-03-28T05:37:59Z) - AvatarMe++: Facial Shape and BRDF Inference with Photorealistic
Rendering-Aware GANs [119.23922747230193]
そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。
本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
論文 参考訳（メタデータ） (2021-12-11T11:36:30Z) - SIDER: Single-Image Neural Optimization for Facial Geometric Detail
Recovery [54.64663713249079]
SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。
以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
論文 参考訳（メタデータ） (2021-08-11T22:34:53Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳（メタデータ） (2021-05-06T04:16:06Z) - Real-time Facial Expression Recognition "In The Wild'' by Disentangling
3D Expression from Identity [6.974241731162878]
本稿では,1枚のRGB画像から人間の感情認識を行う新しい手法を提案する。
顔のダイナミックス、アイデンティティ、表情、外観、3Dポーズのバリエーションに富んだ大規模な顔ビデオデータセットを構築した。
提案するフレームワークは毎秒50フレームで動作し、3次元表現変動のパラメータを頑健に推定することができる。
論文 参考訳（メタデータ） (2020-05-12T01:32:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。