論文の概要: Geometry-Aware Video Inpainting for Joint Headset Occlusion Removal and Face Reconstruction in Social XR

• arxiv url: http://arxiv.org/abs/2508.12336v1
• Date: Sun, 17 Aug 2025 11:45:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.689871
• Title: Geometry-Aware Video Inpainting for Joint Headset Occlusion Removal and Face Reconstruction in Social XR
• Title（参考訳）: ソーシャルXRにおける頭部咬合除去と顔再構成のための幾何学的ビデオ塗装
• Authors: Fatemeh Ghorbani Lohesara, Karen Eguiazarian, Sebastian Knorr,
• Abstract要約: ヘッドマウントディスプレイ(HMD)は、拡張現実(XR)環境を体験し、仮想コンテンツを観察するために不可欠である。 HMDはユーザの顔の上部を曖昧にし、外部のビデオ録画を複雑にし、遠隔会議のようなソーシャルXRアプリケーションに影響を与える。 本研究は,HMDの閉塞を共同で除去し,単一の視点から捉えたRGBフレームから完全な3次元顔形状を再構築する,幾何学的学習に基づくフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.24578723416255746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Head-mounted displays (HMDs) are essential for experiencing extended reality (XR) environments and observing virtual content. However, they obscure the upper part of the user's face, complicating external video recording and significantly impacting social XR applications such as teleconferencing, where facial expressions and eye gaze details are crucial for creating an immersive experience. This study introduces a geometry-aware learning-based framework to jointly remove HMD occlusions and reconstruct complete 3D facial geometry from RGB frames captured from a single viewpoint. The method integrates a GAN-based video inpainting network, guided by dense facial landmarks and a single occlusion-free reference frame, to restore missing facial regions while preserving identity. Subsequently, a SynergyNet-based module regresses 3D Morphable Model (3DMM) parameters from the inpainted frames, enabling accurate 3D face reconstruction. Dense landmark optimization is incorporated throughout the pipeline to improve both the inpainting quality and the fidelity of the recovered geometry. Experimental results demonstrate that the proposed framework can successfully remove HMDs from RGB facial videos while maintaining facial identity and realism, producing photorealistic 3D face geometry outputs. Ablation studies further show that the framework remains robust across different landmark densities, with only minor quality degradation under sparse landmark configurations.
• Abstract（参考訳）: ヘッドマウントディスプレイ(HMD)は、拡張現実(XR)環境を体験し、仮想コンテンツを観察するために不可欠である。 しかし、ユーザの顔の上部を曖昧にし、外部のビデオ録画を複雑にし、遠隔会議などのソーシャルXRアプリケーションに大きな影響を与え、顔の表情や視線の詳細が没入感のある体験を生み出すのに不可欠である。 本研究は,HMDの閉塞を共同で除去し,単一の視点から捉えたRGBフレームから完全な3次元顔形状を再構築する,幾何学的学習に基づくフレームワークを提案する。 この方法は、濃密な顔のランドマークと単一の閉塞のない参照フレームでガイドされるGANベースのビデオ塗装ネットワークを統合し、アイデンティティを保ちながら、欠落した顔領域を復元する。 その後、SynergyNetベースのモジュールは3D Morphable Model (3DMM)パラメータを塗布されたフレームから回帰し、正確な3D顔再構成を可能にする。 豪華なランドマーク最適化はパイプライン全体に組み込まれ、塗装品質と復元された幾何学の忠実さの両方を改善している。 実験により,RGB の顔画像から HMD を取り除き,顔のアイデンティティとリアリズムを保ち,フォトリアリスティックな3次元顔形状出力を生成できることが実証された。 アブレーション研究により、このフレームワークはさまざまなランドマーク密度にわたって堅牢であり、スパースランドマーク構成の下では、わずかに品質が劣化しているだけであることが示された。

関連論文リスト

• DiMeR: Disentangled Mesh Reconstruction Model [29.827345186012558]
  DiMeRは、疎視メッシュ再構成のための3次元監視を備えた、幾何学的・テクスチュアなアンタングルフィードフォワードモデルである。 性能/コストの低いモジュールを排除し,正規化損失を再設計し,メッシュ抽出のアルゴリズムを効率化する。 大規模な実験により、DiMeRはスパースビュー、シングルイメージ、テキストから3Dタスクにまたがって一般化し、ベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-04-24T15:39:20Z)
• Learning Topology Uniformed Face Mesh by Volume Rendering for Multi-view Reconstruction [40.45683488053611]
  一貫性のあるトポロジにおける顔メッシュは、多くの顔関連アプリケーションの基盤となる。 トポロジを保存しながらメッシュ形状を直接最適化するメッシュボリュームレンダリング手法を提案する。 主要なイノベーションは、ボリュームレンダリングに必要な放射界をシミュレートするために、スパースメッシュ機能を周辺空間に広めることである。
  論文  参考訳（メタデータ） (2024-04-08T15:25:50Z)
• Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
  シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。 本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。 我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
  論文  参考訳（メタデータ） (2022-08-04T14:13:35Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• Topologically Consistent Multi-View Face Inference Using Volumetric Sampling [25.001398662643986]
  ToFuは、幾何推論フレームワークで、アイデンティティと式をまたいだトポロジ的に一貫したメッシュを生成することができる。 新たなプログレッシブメッシュ生成ネットワークは、顔のトポロジ的構造を特徴量に埋め込む。 これらの高品質な資産は、アバターの作成、アニメーション、物理的にベースとしたスキンレンダリングのためのプロダクションスタジオで容易に利用することができる。
  論文  参考訳（メタデータ） (2021-10-06T17:55:08Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• 3D Facial Geometry Recovery from a Depth View with Attention Guided Generative Adversarial Network [27.773904952734547]
  Atention Guided Generative Adversarial Networks (AGGAN) の提案により, 単一深度から完全な3次元顔形状を復元する。 具体的には、AGGANは、ボクセル空間内の3次元顔形状を符号化し、注意誘導型GANを用いて2.5次元深度3Dマッピングをモデル化する。 定性的かつ定量的な比較は、AGGANが従来の方法よりも広い視野角を処理し、ノイズに抵抗する能力を持ち、より完全で滑らかな3D顔形状を復元することを示している。
  論文  参考訳（メタデータ） (2020-09-02T10:35:26Z)
• DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
  DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。 私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。 登録された画像に対して,60fpsで3次元フローマップを生成する。
  論文  参考訳（メタデータ） (2020-05-14T23:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。