論文の概要: Towards Geometric-Photometric Joint Alignment for Facial Mesh Registration

• arxiv url: http://arxiv.org/abs/2403.02629v1
• Date: Tue, 5 Mar 2024 03:39:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 16:19:54.524146
• Title: Towards Geometric-Photometric Joint Alignment for Facial Mesh Registration
• Title（参考訳）: 顔のメッシュ登録のための幾何・測光ジョイントアライメント
• Authors: Xizhi Wang and Yaxiong Wang and Mengjian Li
• Abstract要約: 本稿では,幾何情報と測光情報を組み合わせることで,人間の表情を正確に整列する幾何学的・測光的関節アライメント法を提案する。 実験結果は,従来のICPに基づく手法と最先端のディープラーニングに基づく手法を超越した,様々な表現の下で忠実なアライメントを示す。 本手法は,多視点ステレオ顔スキャンからトポロジに一貫性のある顔モデルを得る効率を高める。
• 参考スコア（独自算出の注目度）: 3.588864037082647
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper presents a Geometric-Photometric Joint Alignment(GPJA) method, for accurately aligning human expressions by combining geometry and photometric information. Common practices for registering human heads typically involve aligning landmarks with facial template meshes using geometry processing approaches, but often overlook photometric consistency. GPJA overcomes this limitation by leveraging differentiable rendering to align vertices with target expressions, achieving joint alignment in geometry and photometric appearances automatically, without the need for semantic annotation or aligned meshes for training. It features a holistic rendering alignment strategy and a multiscale regularized optimization for robust and fast convergence. The method utilizes derivatives at vertex positions for supervision and employs a gradient-based algorithm which guarantees smoothness and avoids topological defects during the geometry evolution. Experimental results demonstrate faithful alignment under various expressions, surpassing the conventional ICP-based methods and the state-of-the-art deep learning based method. In practical, our method enhances the efficiency of obtaining topology-consistent face models from multi-view stereo facial scanning.
• Abstract（参考訳）: 本稿では,図形と測光情報を組み合わせることにより,人間の表情を正確に整列する幾何測光ジョイントアライメント(gpja)法を提案する。 人間の頭部を登録する一般的な方法は、幾何学的処理のアプローチでランドマークを顔のテンプレートメッシュに合わせることを伴うが、フォトメトリックの一貫性は見過ごされることが多い。 gpjaはこの制限を克服し、可微分レンダリングを利用して頂点を目標表現にアライメントし、幾何学と測光線の同時アライメントを自動で達成し、セマンティックアノテーションやトレーニング用のアライメントメッシュを必要とせずに実現している。 全体的なレンダリングアライメント戦略と、堅牢で高速な収束のためのマルチスケールの正規化最適化が特徴である。 この方法は、頂点位置の微分を監督に利用し、滑らかさを保証し、幾何学進化中の位相的欠陥を回避する勾配に基づくアルゴリズムを用いる。 実験結果は,従来のICPに基づく手法と最先端のディープラーニングに基づく手法を超越した,様々な表現の下で忠実なアライメントを示す。 本手法は,多視点ステレオ顔スキャンからトポロジーに一貫性のある顔モデルを得る効率を高める。

関連論文リスト

• Geometry-aware Feature Matching for Large-Scale Structure from Motion [10.645087195983201]
  大規模シナリオでは重なりが小さい場合にギャップを埋めるために,カラーキューに加えて幾何学的手がかりを導入する。 提案手法は, 検出器フリー法からの高密度対応が幾何的に整合性を持ち, 精度が高いことを保証する。 ベンチマークデータセットにおける最先端の機能マッチングメソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-09-03T21:41:35Z)
• Geometric Artifact Correction for Symmetric Multi-Linear Trajectory CT: Theory, Method, and Generalization [3.343129011758024]
  既存のCTの校正法は粗大かつ非効率である。 本稿では,CTの難解な幾何学的アーティファクトを包括的かつ効率的に解決する。 また, 一般的な回転CTとCTの変種に有意な一般化が認められた。
  論文  参考訳（メタデータ） (2024-08-27T13:56:48Z)
• Boundary Constraint-free Biomechanical Model-Based Surface Matching for Intraoperative Liver Deformation Correction [0.6249768559720122]
  画像ガイド下肝手術において, 3D-3D非剛性登録法は, 点雲として表される術前モデルと術中表面のマッピングを推定する上で重要な役割を担っている。 本稿では,新しい3D-3D非剛性登録法を提案する。 従来の手法とは対照的に,本手法は表面マッチング項自体にFEMを独自に組み込む。
  論文  参考訳（メタデータ） (2024-03-15T02:05:20Z)
• Adaptive Surface Normal Constraint for Geometric Estimation from Monocular Images [56.86175251327466]
  本稿では,幾何学的文脈を取り入れつつ,画像から深度や表面正規度などの測地を学習するための新しい手法を提案する。 提案手法は,入力画像に存在する幾何学的変動を符号化した幾何学的文脈を抽出し,幾何的制約と深度推定を相関付ける。 本手法は,画像から高品質な3次元形状を生成可能な密着型フレームワーク内での深度と表面の正規分布推定を統一する。
  論文  参考訳（メタデータ） (2024-02-08T17:57:59Z)
• Efficient Multi-View Inverse Rendering Using a Hybrid Differentiable Rendering Method [19.330797817738542]
  シーンの3次元形状と反射率を効率的に再構成する,新しいハイブリッド微分可能レンダリング手法を提案する。 本手法は, 最先端の手法と同等あるいは高い品質で再現が可能であり, 効率がよい。
  論文  参考訳（メタデータ） (2023-08-19T12:48:10Z)
• Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
  本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。 まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。 本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
  論文  参考訳（メタデータ） (2023-02-16T10:40:55Z)
• SIDER: Single-Image Neural Optimization for Facial Geometric Detail Recovery [54.64663713249079]
  SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。 以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
  論文  参考訳（メタデータ） (2021-08-11T22:34:53Z)
• Improving Metric Dimensionality Reduction with Distributed Topology [68.8204255655161]
  DIPOLEは、局所的、計量的項と大域的、位相的項の両方で損失関数を最小化し、初期埋め込みを補正する次元推論後処理ステップである。 DIPOLEは、UMAP、t-SNE、Isomapといった一般的な手法よりも多くの一般的なデータセットで優れています。
  論文  参考訳（メタデータ） (2021-06-14T17:19:44Z)
• Adaptive Surface Normal Constraint for Depth Estimation [102.7466374038784]
  アダプティブサーフェスノーマル(ASN)制約と呼ばれるシンプルで効果的な手法を導入し、深さ推定と幾何学的一貫性を相関させます。 本手法は3次元形状を忠実に再構成でき,境界,鋭角,雑音などの局所形状変化に頑健である。
  論文  参考訳（メタデータ） (2021-03-29T10:36:25Z)
• Self-supervised Geometric Perception [96.89966337518854]
  自己教師付き幾何知覚(self-supervised geometric perception)は、基底幾何モデルラベルなしで対応マッチングのための特徴記述子を学ぶためのフレームワークである。 また,SGPは,地上トラスラベルを用いて訓練した教師付きオークルよりも同等か優れる最先端性能を達成できることを示す。
  論文  参考訳（メタデータ） (2021-03-04T15:34:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。