論文の概要: Towards Geometric-Photometric Joint Alignment for Facial Mesh Registration
- arxiv url: http://arxiv.org/abs/2403.02629v2
- Date: Mon, 31 Mar 2025 02:37:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-01 14:28:31.819694
- Title: Towards Geometric-Photometric Joint Alignment for Facial Mesh Registration
- Title（参考訳）: 顔メッシュ登録のための幾何学的・測光的関節アライメントに向けて
- Authors: Xizhi Wang, Yaxiong Wang, Mengjian Li,
- Abstract要約: 本稿では,GPJA法を提案する。
幾何学的情報と測光的情報を組み合わせることで、個々の人間の表情をピクセルレベルの精度で整列する。
この一貫性は、フェースアニメーション、再パラメータ化、およびフェースモデリングおよび効率を向上したアプリケーションのためのその他のバッチ操作の恩恵を受ける。
- 参考スコア（独自算出の注目度）: 3.1932242398896964
- License:
- Abstract: This paper presents a Geometric-Photometric Joint Alignment~(GPJA) method, which aligns discrete human expressions at pixel-level accuracy by combining geometric and photometric information. Common practices for registering human heads typically involve aligning landmarks with facial template meshes using geometry processing approaches, but often overlook dense pixel-level photometric consistency. This oversight leads to inconsistent texture parametrization across different expressions, hindering the creation of topologically consistent head meshes widely used in movies and games. GPJA overcomes this limitation by leveraging differentiable rendering to align vertices with target expressions, achieving joint alignment in both geometry and photometric appearances automatically, without requiring semantic annotation or pre-aligned meshes for training. It features a holistic rendering alignment mechanism and a multiscale regularized optimization for robust convergence on large deformation. The method utilizes derivatives at vertex positions for supervision and employs a gradient-based algorithm which guarantees smoothness and avoids topological artifacts during the geometry evolution. Experimental results demonstrate faithful alignment under various expressions, surpassing the conventional non-rigid ICP-based methods and the state-of-the-art deep learning based method. In practical, our method generates meshes of the same subject across diverse expressions, all with the same texture parametrization. This consistency benefits face animation, re-parametrization, and other batch operations for face modeling and applications with enhanced efficiency.
- Abstract（参考訳）: 本稿では,幾何学的情報と測光的情報を組み合わせることで,個々の人間の表情をピクセルレベルの精度で整列する幾何学的・測光的関節アライメント~(GPJA)手法を提案する。
人間の頭部を登録するための一般的な慣行は、ジオメトリ処理アプローチを使用して、ランドマークと顔テンプレートメッシュを整列させることが一般的であるが、しばしば高解像度のピクセルレベルの光度一貫性を見落としている。
この監視は、異なる表現をまたいだ一貫性のないテクスチャのパラメトリゼーションをもたらし、映画やゲームで広く使われているトポロジ的に一貫性のあるヘッドメッシュの作成を妨げる。
GPJAはこの制限を克服し、異なるレンダリングを活用して頂点を対象の表現と整列させ、意味論的アノテーションや事前整列メッシュを必要とせず、幾何学的および測光的外観の両方での関節アライメントを自動で達成する。
全体的なレンダリングアライメント機構と、大規模変形に対する堅牢な収束のためのマルチスケールの正規化最適化を備えている。
この方法は頂点位置の微分を監督に利用し、勾配に基づくアルゴリズムを用いて滑らかさを保証し、幾何学的進化の過程で位相的アーティファクトを避ける。
実験結果は,従来の非厳密なICP法や最先端のディープラーニング法を超越した,様々な表現下での忠実なアライメントを示す。
本手法は, 様々な表現にまたがって同一対象のメッシュを生成し, すべて同じテクスチャ・パラメトリゼーションで生成する。
この一貫性は、フェースアニメーション、再パラメータ化、およびフェースモデリングおよび効率を向上したアプリケーションのためのその他のバッチ操作の恩恵を受ける。
関連論文リスト
- Image Gradient-Aided Photometric Stereo Network [37.71540892622098]
種々の照明下での測光画像からのシェーディング手がかりを用いて表面の正常性を確認するための測光ステレオの開発
最近のディープラーニングベースのPS法は、しばしば物体表面の複雑さを見落としている。
光度と勾配の両方から特徴を抽出するデュアルブランチ・フレームワークである画像勾配支援光度ステレオネットワーク(IGA-PSN)を提案する。
論文 参考訳（メタデータ） (2024-12-16T10:50:52Z) - Geometry-aware Feature Matching for Large-Scale Structure from Motion [10.645087195983201]
大規模シナリオでは重なりが小さい場合にギャップを埋めるために,カラーキューに加えて幾何学的手がかりを導入する。
提案手法は, 検出器フリー法からの高密度対応が幾何的に整合性を持ち, 精度が高いことを保証する。
ベンチマークデータセットにおける最先端の機能マッチングメソッドよりも優れています。
論文 参考訳（メタデータ） (2024-09-03T21:41:35Z) - Geometric Artifact Correction for Symmetric Multi-Linear Trajectory CT: Theory, Method, and Generalization [3.343129011758024]
既存のCTの校正法は粗大かつ非効率である。
本稿では,CTの難解な幾何学的アーティファクトを包括的かつ効率的に解決する。
また, 一般的な回転CTとCTの変種に有意な一般化が認められた。
論文 参考訳（メタデータ） (2024-08-27T13:56:48Z) - Adaptive Surface Normal Constraint for Geometric Estimation from Monocular Images [56.86175251327466]
本稿では,幾何学的文脈を取り入れつつ,画像から深度や表面正規度などの測地を学習するための新しい手法を提案する。
提案手法は,入力画像に存在する幾何学的変動を符号化した幾何学的文脈を抽出し,幾何的制約と深度推定を相関付ける。
本手法は,画像から高品質な3次元形状を生成可能な密着型フレームワーク内での深度と表面の正規分布推定を統一する。
論文 参考訳（メタデータ） (2024-02-08T17:57:59Z) - Efficient Multi-View Inverse Rendering Using a Hybrid Differentiable
Rendering Method [19.330797817738542]
シーンの3次元形状と反射率を効率的に再構成する,新しいハイブリッド微分可能レンダリング手法を提案する。
本手法は, 最先端の手法と同等あるいは高い品質で再現が可能であり, 効率がよい。
論文 参考訳（メタデータ） (2023-08-19T12:48:10Z) - Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。
まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。
本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
論文 参考訳（メタデータ） (2023-02-16T10:40:55Z) - SIDER: Single-Image Neural Optimization for Facial Geometric Detail
Recovery [54.64663713249079]
SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。
以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
論文 参考訳（メタデータ） (2021-08-11T22:34:53Z) - Improving Metric Dimensionality Reduction with Distributed Topology [68.8204255655161]
DIPOLEは、局所的、計量的項と大域的、位相的項の両方で損失関数を最小化し、初期埋め込みを補正する次元推論後処理ステップである。
DIPOLEは、UMAP、t-SNE、Isomapといった一般的な手法よりも多くの一般的なデータセットで優れています。
論文 参考訳（メタデータ） (2021-06-14T17:19:44Z) - Adaptive Surface Normal Constraint for Depth Estimation [102.7466374038784]
アダプティブサーフェスノーマル(ASN)制約と呼ばれるシンプルで効果的な手法を導入し、深さ推定と幾何学的一貫性を相関させます。
本手法は3次元形状を忠実に再構成でき,境界,鋭角,雑音などの局所形状変化に頑健である。
論文 参考訳（メタデータ） (2021-03-29T10:36:25Z) - Self-supervised Geometric Perception [96.89966337518854]
自己教師付き幾何知覚(self-supervised geometric perception)は、基底幾何モデルラベルなしで対応マッチングのための特徴記述子を学ぶためのフレームワークである。
また,SGPは,地上トラスラベルを用いて訓練した教師付きオークルよりも同等か優れる最先端性能を達成できることを示す。
論文 参考訳（メタデータ） (2021-03-04T15:34:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。