論文の概要: DPHMs: Diffusion Parametric Head Models for Depth-based Tracking
- arxiv url: http://arxiv.org/abs/2312.01068v2
- Date: Mon, 8 Apr 2024 14:33:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 02:06:00.413734
- Title: DPHMs: Diffusion Parametric Head Models for Depth-based Tracking
- Title(参考訳): DPHM:深度追跡のための拡散パラメトリックヘッドモデル
- Authors: Jiapeng Tang, Angela Dai, Yinyu Nie, Lev Markhasin, Justus Thies, Matthias Niessner,
- Abstract要約: 拡散パラメトリックヘッドモデル(DPHM)を紹介する。
DPHMは、単分子深度配列からの堅牢な頭部再構成と追跡を可能にする生成モデルである。
本稿では,ボリュームヘッドの再構築と追跡を正規化するために,遅延拡散に基づく手法を提案する。
- 参考スコア(独自算出の注目度): 42.016598097736626
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce Diffusion Parametric Head Models (DPHMs), a generative model that enables robust volumetric head reconstruction and tracking from monocular depth sequences. While recent volumetric head models, such as NPHMs, can now excel in representing high-fidelity head geometries, tracking and reconstructing heads from real-world single-view depth sequences remains very challenging, as the fitting to partial and noisy observations is underconstrained. To tackle these challenges, we propose a latent diffusion-based prior to regularize volumetric head reconstruction and tracking. This prior-based regularizer effectively constrains the identity and expression codes to lie on the underlying latent manifold which represents plausible head shapes. To evaluate the effectiveness of the diffusion-based prior, we collect a dataset of monocular Kinect sequences consisting of various complex facial expression motions and rapid transitions. We compare our method to state-of-the-art tracking methods and demonstrate improved head identity reconstruction as well as robust expression tracking.
- Abstract(参考訳): DPHM(Diffusion Parametric Head Models:拡散パラメトリックヘッドモデル)を導入する。
NPHMsのような最近のボリュームヘッドモデルは、高忠実度ヘッドジオメトリを表現し、実世界の単一視野深度シーケンスからのヘッドの追跡と再構成に優れているが、部分的かつノイズの多い観測への適応は過小評価されているため、依然として非常に困難である。
これらの課題に対処するために,ボリュームヘッドの再構築と追跡を正規化するための遅延拡散に基づく手法を提案する。
この事前ベース正規化器は、同一性および表現符号を、プラウジブルな頭部形状を表す下層の潜在多様体上に配置することを効果的に制限する。
拡散に基づく先行処理の有効性を評価するため,複雑な表情運動と素早い遷移からなる単眼Kinectシーケンスのデータセットを収集した。
提案手法を最先端の追跡手法と比較し,頭部の自己同一性再構築とロバストな表現追跡を実証した。
関連論文リスト
- HeadRecon: High-Fidelity 3D Head Reconstruction from Monocular Video [37.53752896927615]
任意のモノクラービデオから高忠実度3Dヘッドモデルの再構成について検討する。
本稿では,これらの問題に対処するために,事前誘導型動的暗黙的ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2023-12-14T12:38:56Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-07-31T10:22:33Z) - Unsupervised Anomaly Detection in Medical Images Using Masked Diffusion
Model [7.116982044576858]
Masked Image Modeling (MIM) と Masked Frequency Modeling (MFM) は、モデルがラベルのないデータから視覚表現を学習できるようにする自己教師型アプローチである。
腫瘍と多発性硬化症病変を含むデータセットについて検討した。
論文 参考訳(メタデータ) (2023-05-31T14:04:11Z) - CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion
Models [72.93652777646233]
カモフラーゲ型物体検出(COD)は、カモフラーゲ型物体とその周囲の類似性が高いため、コンピュータビジョンにおいて難しい課題である。
本研究では,CODを拡散モデルを利用した条件付きマスク生成タスクとして扱う新しいパラダイムを提案する。
カモ拡散(CamoDiffusion)と呼ばれる本手法では,拡散モデルのデノナイズプロセスを用いてマスクの雑音を反復的に低減する。
論文 参考訳(メタデータ) (2023-05-29T07:49:44Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2023-05-22T12:18:20Z) - Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。
本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
論文 参考訳(メタデータ) (2022-08-03T16:46:08Z) - MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface
Reconstruction [72.05649682685197]
最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。
これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。
近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
論文 参考訳(メタデータ) (2022-06-01T17:58:15Z) - Diffusion Causal Models for Counterfactual Estimation [18.438307666925425]
本稿では,観測画像データから因果構造を推定する作業について考察する。
Diff-SCMは,近年の発電エネルギーモデルの発展を基盤とした構造因果モデルである。
Diff-SCMはMNISTデータに基づくベースラインよりも現実的で最小限のデファクトアルを生成しており、ImageNetデータにも適用可能である。
論文 参考訳(メタデータ) (2022-02-21T12:23:01Z) - Unsupervised Alternating Optimization for Blind Hyperspectral Imagery
Super-resolution [40.350308926790255]
本稿では, 盲点HSI融合問題に対処するために, 盲点HSI SR法を提案する。
本稿ではまず,デジェネレーションモデルを推定し,遅延画像の再構成を行うために,逐次最適化に基づく深層フレームワークを提案する。
そして,ネットワークを事前学習するメタラーニングに基づく機構が提案され,ネットワークの速度と一般化能力を効果的に向上させることができる。
論文 参考訳(メタデータ) (2020-12-03T07:52:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。