論文の概要: DPHMs: Diffusion Parametric Head Models for Depth-based Tracking
- arxiv url: http://arxiv.org/abs/2312.01068v1
- Date: Sat, 2 Dec 2023 08:34:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 19:31:42.966763
- Title: DPHMs: Diffusion Parametric Head Models for Depth-based Tracking
- Title(参考訳): DPHM:深度追跡のための拡散パラメトリックヘッドモデル
- Authors: Jiapeng Tang, Angela Dai, Yinyu Nie, Lev Markhasin, Justus Thies,
Matthias Niessner
- Abstract要約: Diffusion Parametric Head Models (DPHMs) は、単分子深度配列からの堅牢な容積頭部再構成と追跡を可能にする生成モデルである。
本稿では,ボリュームヘッドの再構築と追跡を正規化するために,遅延拡散に基づく手法を提案する。
提案手法を最先端の追跡手法と比較し,頭部の自己同一性向上とロバストな表現追跡を実証した。
- 参考スコア(独自算出の注目度): 44.521452102413534
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce Diffusion Parametric Head Models (DPHMs), a generative model
that enables robust volumetric head reconstruction and tracking from monocular
depth sequences. While recent volumetric head models, such as NPHMs, can now
excel in representing high-fidelity head geometries, tracking and
reconstruction heads from real-world single-view depth sequences remains very
challenging, as the fitting to partial and noisy observations is
underconstrained. To tackle these challenges, we propose a latent
diffusion-based prior to regularize volumetric head reconstruction and
tracking. This prior-based regularizer effectively constrains the identity and
expression codes to lie on the underlying latent manifold which represents
plausible head shapes. To evaluate the effectiveness of the diffusion-based
prior, we collect a dataset of monocular Kinect sequences consisting of various
complex facial expression motions and rapid transitions. We compare our method
to state-of-the-art tracking methods, and demonstrate improved head identity
reconstruction as well as robust expression tracking.
- Abstract(参考訳): そこで本研究では拡散パラメトリックヘッドモデル(dphms)について紹介する。
NPHMsのような最近のボリュームヘッドモデルは、高忠実度ヘッドジオメトリを表現するのに優れていますが、部分的および雑音的な観測への適合が過小評価されているため、現実の単一視野深度シーケンスからのヘッドの追跡と再構成は非常に困難です。
これらの課題に対処するために,ボリュームヘッドの再構築と追跡を正規化するための遅延拡散に基づく手法を提案する。
この事前ベース正規化器は、同一性および表現符号を、プラプシブルな頭部形状を表す下層の潜在多様体上に配置することを効果的に制限する。
拡散に基づく先行処理の有効性を評価するため,複雑な表情運動と素早い遷移からなる単眼Kinectシーケンスのデータセットを収集した。
本手法を最先端追跡手法と比較し,ロバストな表現追跡とともに頭部同一性再構成の改善を示す。
関連論文リスト
- HeadRecon: High-Fidelity 3D Head Reconstruction from Monocular Video [37.53752896927615]
任意のモノクラービデオから高忠実度3Dヘッドモデルの再構成について検討する。
本稿では,これらの問題に対処するために,事前誘導型動的暗黙的ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2023-12-14T12:38:56Z) - Implicit Shape and Appearance Priors for Few-Shot Full Head
Reconstruction [17.254539604491303]
本稿では,数発のフル3次元頭部再構成の問題点に対処する。
我々は、座標に基づく表現に先立って確率的形状と外観を組み込むことにより、これを達成した。
我々はH3DSデータセットを拡張し、60個の高解像度3Dフルヘッドスキャンと対応する画像とマスクを含む。
論文 参考訳(メタデータ) (2023-10-12T07:35:30Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-07-31T10:22:33Z) - CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion
Models [72.93652777646233]
カモフラーゲ型物体検出(COD)は、カモフラーゲ型物体とその周囲の類似性が高いため、コンピュータビジョンにおいて難しい課題である。
本研究では,CODを拡散モデルを利用した条件付きマスク生成タスクとして扱う新しいパラダイムを提案する。
カモ拡散(CamoDiffusion)と呼ばれる本手法では,拡散モデルのデノナイズプロセスを用いてマスクの雑音を反復的に低減する。
論文 参考訳(メタデータ) (2023-05-29T07:49:44Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2023-05-22T12:18:20Z) - Patched Diffusion Models for Unsupervised Anomaly Detection in Brain MRI [55.78588835407174]
本稿では,正常脳解剖のパッチベース推定法として拡散モデルの生成タスクを再構築する手法を提案する。
腫瘍と多発性硬化症について検討し,既存のベースラインと比較して25.1%の改善がみられた。
論文 参考訳(メタデータ) (2023-03-07T09:40:22Z) - MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface
Reconstruction [72.05649682685197]
最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。
これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。
近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
論文 参考訳(メタデータ) (2022-06-01T17:58:15Z) - Diffusion Causal Models for Counterfactual Estimation [18.438307666925425]
本稿では,観測画像データから因果構造を推定する作業について考察する。
Diff-SCMは,近年の発電エネルギーモデルの発展を基盤とした構造因果モデルである。
Diff-SCMはMNISTデータに基づくベースラインよりも現実的で最小限のデファクトアルを生成しており、ImageNetデータにも適用可能である。
論文 参考訳(メタデータ) (2022-02-21T12:23:01Z) - Unsupervised Alternating Optimization for Blind Hyperspectral Imagery
Super-resolution [40.350308926790255]
本稿では, 盲点HSI融合問題に対処するために, 盲点HSI SR法を提案する。
本稿ではまず,デジェネレーションモデルを推定し,遅延画像の再構成を行うために,逐次最適化に基づく深層フレームワークを提案する。
そして,ネットワークを事前学習するメタラーニングに基づく機構が提案され,ネットワークの速度と一般化能力を効果的に向上させることができる。
論文 参考訳(メタデータ) (2020-12-03T07:52:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。