論文の概要: SHeaP: Self-Supervised Head Geometry Predictor Learned via 2D Gaussians

• arxiv url: http://arxiv.org/abs/2504.12292v1
• Date: Wed, 16 Apr 2025 17:55:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:40:49.760904
• Title: SHeaP: Self-Supervised Head Geometry Predictor Learned via 2D Gaussians
• Title（参考訳）: SHeaP: 2Dガウスで学ぶ自己監督型頭部形状予測器
• Authors: Liam Schoneveld, Zhe Chen, Davide Davoli, Jiapeng Tang, Saimon Terazawa, Ko Nishino, Matthias Nießner,
• Abstract要約: モノクロ画像とビデオからの頭部の3次元再構成は、多くの視覚的応用の根底にある。 従来の手法は、豊富な2Dビデオから自己監督的な方法で学習しようとしてきた。 SHeaP (Self-supervised Head Geometry Predictor Learned through 2D Gaussian)を提案する。
• 参考スコア（独自算出の注目度）: 55.813327441814344
• License:
• Abstract: Accurate, real-time 3D reconstruction of human heads from monocular images and videos underlies numerous visual applications. As 3D ground truth data is hard to come by at scale, previous methods have sought to learn from abundant 2D videos in a self-supervised manner. Typically, this involves the use of differentiable mesh rendering, which is effective but faces limitations. To improve on this, we propose SHeaP (Self-supervised Head Geometry Predictor Learned via 2D Gaussians). Given a source image, we predict a 3DMM mesh and a set of Gaussians that are rigged to this mesh. We then reanimate this rigged head avatar to match a target frame, and backpropagate photometric losses to both the 3DMM and Gaussian prediction networks. We find that using Gaussians for rendering substantially improves the effectiveness of this self-supervised approach. Training solely on 2D data, our method surpasses existing self-supervised approaches in geometric evaluations on the NoW benchmark for neutral faces and a new benchmark for non-neutral expressions. Our method also produces highly expressive meshes, outperforming state-of-the-art in emotion classification.
• Abstract（参考訳）: モノクロ画像やビデオからの人間の頭部の正確なリアルタイムな3D再構成は、多くの視覚的応用の基盤となっている。 地上3Dの真理データを大規模に扱うことは難しいため、従来の手法は、豊富な2Dビデオから自己監督的な方法で学習しようとしてきた。 一般的にこれは、有効だが制限に直面している差別化可能なメッシュレンダリングを使用する。 そこで我々は,SHeaP (Self-supervised Head Geometry Predictor Learned via 2D Gaussians)を提案する。 ソースイメージが与えられたら、3DMMメッシュと、このメッシュに組み込まれたガウスのセットを予測します。 次に、この引き裂かれた頭部アバターをターゲットフレームに合わせるように再認識し、3DMMとガウス予測ネットワークの両方に光度損失をバックプロパゲートする。 レンダリングにガウスアンを用いることで、この自己教師型アプローチの有効性が大幅に向上することがわかった。 2次元データのみをトレーニングし、中立面のNoWベンチマークにおける幾何学的評価における既存の自己教師的アプローチを超越し、ニュートラル表現の新たなベンチマークを作成した。 また,感情の分類において,高い表現力を持つメッシュを生成する。

関連論文リスト

• MixedGaussianAvatar: Realistically and Geometrically Accurate Head Avatar via Mixed 2D-3D Gaussian Splatting [38.16397253003339]
  高忠実度3Dヘッドアバターの再構築は、仮想現実などの様々な応用において重要である。 最近の3次元ガウススティング(3DGS)に基づく手法は、トレーニングとレンダリングの効率を著しく向上させる。 そこで我々は,MixedGaussian Avatarという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T11:17:25Z)
• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• DreamMesh4D: Video-to-4D Generation with Sparse-Controlled Gaussian-Mesh Hybrid Representation [10.250715657201363]
  本稿では,メッシュ表現と幾何スキン技術を組み合わせた新しいフレームワークDreamMesh4Dを紹介し,モノクロビデオから高品質な4Dオブジェクトを生成する。 我々の手法は現代のグラフィックパイプラインと互換性があり、3Dゲームや映画産業におけるその可能性を示している。
  論文  参考訳（メタデータ） (2024-10-09T10:41:08Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• Effective Rank Analysis and Regularization for Enhanced 3D Gaussian Splatting [33.01987451251659]
  3D Gaussian Splatting(3DGS)は、高品質な3D再構成によるリアルタイムレンダリングが可能な有望な技術として登場した。 その可能性にもかかわらず、3DGSは針状アーティファクト、準最適ジオメトリー、不正確な正常といった課題に遭遇する。 正規化として有効ランクを導入し、ガウスの構造を制約する。
  論文  参考訳（メタデータ） (2024-06-17T15:51:59Z)
• Gaussian3Diff: 3D Gaussian Diffusion for 3D Full Head Synthesis and Editing [53.05069432989608]
  本稿では,3次元人間の頭部を顕著な柔軟性で生成するための新しい枠組みを提案する。 本手法は,顔の特徴や表情を微妙に編集した多彩でリアルな3次元頭部の作成を容易にする。
  論文  参考訳（メタデータ） (2023-12-05T19:05:58Z)
• Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors [104.79392615848109]
  Magic123は、高品質でテクスチャ化された3Dメッシュのための、2段階の粗大なアプローチである。 最初の段階では、粗い幾何学を生成するために、神経放射場を最適化する。 第2段階では、視覚的に魅力的なテクスチャを持つ高分解能メッシュを生成するために、メモリ効率のよい微分可能なメッシュ表現を採用する。
  論文  参考訳（メタデータ） (2023-06-30T17:59:08Z)
• RAFaRe: Learning Robust and Accurate Non-parametric 3D Face Reconstruction from Pseudo 2D&3D Pairs [13.11105614044699]
  単視3次元顔再構成(SVFR)のための頑健で正確な非パラメトリック手法を提案する。 大規模な擬似2D&3Dデータセットは、まず詳細な3D顔をレンダリングし、野生の画像の顔と描画された顔とを交換することによって作成される。 本モデルは,FaceScape-wild/labおよびMICCベンチマークにおいて,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-10T19:40:26Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。