論文の概要: GRAPE: Graduated Routing for Articulated Portrait mesh Estimation
- arxiv url: http://arxiv.org/abs/2607.23657v1
- Date: Sun, 26 Jul 2026 13:46:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.181797
- Title: GRAPE: Graduated Routing for Articulated Portrait mesh Estimation
- Title（参考訳）: GRAPE:Articulated Portrait Mesh Estimationのための大学院ルーティング
- Abstract要約: 3次元理解、アバター生成、没入型相互作用には、Articulated portrait mesh Estimationが不可欠である。
現在の方法では, 口開きの表情を過度に考慮し, 顎関節と表情の混在を解離させることに苦慮している。
ポートレート・パラメトリック・モデル (PPM) を構築し, 明示的な胴体対頭運動鎖とFLAME とSMPL-X を融合させる正準注入ステップを構築した。
我々は,事前訓練されたポートレートエンコーダ,累進マスクルータ,粗大な専門家で構成されるPAA(Progressive Anatomical Alignment)ネットワークを提案する。
- 参考スコア（独自算出の注目度）: 18.48123527419252
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Articulated portrait mesh estimation is fundamental to 3D understanding, avatar generation, and immersive interaction. Existing approaches primarily rely on 3D Morphable Models (3DMMs). However, face-centric models suffer from the "floating head" assumption, conflating head pose with global rotation due to the lack of neck kinematics. Conversely, body-centric models lack high-fidelity facial expression capabilities. Furthermore, current methods struggle to disentangle jaw articulation from expression blendshapes, often over-relying on expressions for mouth opening. These limitations make monocular portrait recovery difficult across representation, supervision, and anatomical parameter estimation. To address these limitations, we introduce GRAPE(Graduated Routing for Articulated Portrait mesh Estimation). We build a Portrait Parametric Model (PPM) with an explicit torso-to-head kinematic chain and a canonical injection step to merge FLAME and the SMPL-X torso. We propose a Progressive Anatomical Alignment (PAA) network, which is composed of a pretrained portrait encoder, a Graduated-Mask Router, and coarse-to-fine experts that follow the portrait anatomical prior. We then train this network with multi-source supervision that combines sparse anatomical keypoints, feature distillation, foreground mask constraints, and relative geometry constraints. Experiments show that GRAPE improves portrait mesh recovery quality, pose alignment, and jaw--expression disentanglement over prior methods. We also demonstrate that our method can benefit the downstream tasks of audio-driven talking-head generation and 3D portrait generation.
- Abstract（参考訳）: 3次元理解、アバター生成、没入型相互作用には、Articulated portrait mesh Estimationが不可欠である。
既存のアプローチは主に3D Morphable Models (3DMMs)に依存している。
しかし、顔中心のモデルは「浮き頭」という仮定に悩まされ、首の運動学が欠如しているため、頭が膨らむとグローバルな回転が引き起こされる。
逆に、身体中心モデルには高忠実度表情能力がない。
さらに、現在の方法では、口開きの表情を過度に考慮し、表情の混在から顎関節を遠ざけるのに苦労している。
これらの制限により、表現、監督、解剖学的パラメーター推定において単眼像の復元が困難になる。
これらの制約に対処するため、GRAPE(Graduated Routing for Articulated Portrait Mesh Estimation)を導入する。
ポートレート・パラメトリック・モデル (PPM) を構築し, 明示的な胴体対頭運動鎖とFLAME とSMPL-X を融合させる正準注入ステップを構築した。
本稿では,事前に訓練されたポートレートエンコーダ,卒業マスクルータ,および,先行するポートレート解剖学に追従する粗粒度の専門家からなる,プログレッシブ・解剖アライメント(PAA)ネットワークを提案する。
次に, このネットワークを, 希少な解剖学的キーポイント, 特徴蒸留, 前景マスク制約, 相対幾何学的制約を組み合わせたマルチソース監視で訓練する。
実験により,GRAPEは従来の方法よりも肖像画メッシュの回復性,ポーズアライメント,顎の伸展性を改善することが示された。
また,本手法は,音声駆動型トーキングヘッド生成と3次元ポートレート生成の下流作業に有効であることを示す。
関連論文リスト
- GSwap: Realistic Head Swapping with Dynamic Neural Gaussian Field [66.31636070843516]
GSwapは一貫したリアルなビデオヘッドスワッピングシステムで、ダイナミック・ニューラル・ガウシアン・ポートレートによって強化されている。
GSwapは、視覚的品質、時間的コヒーレンス、アイデンティティの保存、3D整合性など、様々な面で既存の手法を超越している。
論文 参考訳（メタデータ） (2026-03-24T13:11:25Z) - MagicPortrait: Temporally Consistent Face Reenactment with 3D Geometric Guidance [25.366082874509612]
本稿では,3次元顔パラメトリックモデルを潜在拡散フレームワークに統合した映像顔再現手法を提案する。
本手法では, 3次元顔パラメトリック表現として, FLAME(Articulated Model and Expressions)モデルを用いる。
提案手法は,高精度な表情表現と頭部ポーズ変動モデルを用いて,高品質な顔アニメーションを生成するのに優れていることを示す。
論文 参考訳（メタデータ） (2025-04-30T10:30:46Z) - SPARK: Self-supervised Personalized Real-time Monocular Face Capture [6.093606972415841]
現在の最先端技術では、パラメトリックな3D顔モデルを幅広いアイデンティティにわたってリアルタイムに再現することができる。
本稿では,被写体の制約のない映像を先行情報として活用し,高精度な3次元顔撮影手法を提案する。
論文 参考訳（メタデータ） (2024-09-12T12:30:04Z) - Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。
動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。
本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
論文 参考訳（メタデータ） (2023-09-28T17:59:51Z) - Explicitly Controllable 3D-Aware Portrait Generation [42.30481422714532]
ポーズ,アイデンティティ,表現,照明に関する意味的パラメータに基づいて,一貫した肖像画を生成する3次元肖像画生成ネットワークを提案する。
提案手法は,自然光の鮮明な表現によるリアルな肖像画を,自由視点で見る場合,先行技術よりも優れる。
論文 参考訳（メタデータ） (2022-09-12T17:40:08Z) - Normalized Avatar Synthesis Using StyleGAN and Perceptual Refinement [11.422683083130577]
我々は,1枚の制約のない写真から人物の正規化された3Dアバターをデジタル化する,非常に堅牢なGANベースのフレームワークを提案する。
入力画像は笑顔でもよいし、極端な照明条件で撮影することもできるが、この方法は人の顔の質の高いテクスチャモデルを確実に作成することができる。
論文 参考訳（メタデータ） (2021-06-21T21:57:16Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T03:10:17Z) - KAMA: 3D Keypoint Aware Body Mesh Articulation [79.04090630502782]
本稿では,パラメトリックなボディーモデルSMPLを簡単な幾何学的変換によって記述する解析解を提案する。
今回のアプローチは,最先端のアプローチと比較して,画像コンテンツのアライメントが大幅に向上する。
挑戦的な3DPWおよびHuman3.6Mの結果は私達のアプローチが最先端のボディ網付属品をもたらすことを示します。
論文 参考訳（メタデータ） (2021-04-27T23:01:03Z) - Portrait Neural Radiance Fields from a Single Image [68.66958204066721]
本稿では,単一のポートレートからニューラルラジアンス場(NeRF)を推定する手法を提案する。
体積密度を暗黙的にモデル化する多層パーセプトロン(MLP)の重みを事前に訓練することを提案する。
非知覚面の一般化を改善するため、3次元顔変形モデルによって近似される正準座標空間を訓練する。
本手法は,制御されたキャプチャを用いて定量的に評価し,実画像への一般化を実証し,最先端画像に対して良好な結果を示す。
論文 参考訳（メタデータ） (2020-12-10T18:59:59Z) - StyleRig: Rigging StyleGAN for 3D Control over Portrait Images [81.43265493604302]
StyleGANは、目、歯、髪、コンテキスト(首、肩、背景)のある顔の肖像画を生成する
StyleGANには、顔ポーズ、表情、シーン照明といった3Dで解釈可能なセマンティックフェイスパラメータに対するrigのようなコントロールがない。
3DMMを用いて,事前に訓練された,固定されたStyleGANに対して,顔リグライクな制御を行うための最初の方法を提案する。
論文 参考訳（メタデータ） (2020-03-31T21:20:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。