論文の概要: MEGANE: Morphable Eyeglass and Avatar Network

• arxiv url: http://arxiv.org/abs/2302.04868v1
• Date: Thu, 9 Feb 2023 18:59:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-10 14:32:43.170614
• Title: MEGANE: Morphable Eyeglass and Avatar Network
• Title（参考訳）: megane: 変身可能な眼鏡とアバターネットワーク
• Authors: Junxuan Li, Shunsuke Saito, Tomas Simon, Stephen Lombardi, Hongdong Li, Jason Saragih
• Abstract要約: 眼鏡の3次元合成可能な形状モデルを提案する。 曲面幾何学と体積表現を組み合わせたハイブリッド表現を用いる。 我々のアプローチは、顔と眼鏡の間の影を鋳造するなど、グローバルな光輸送効果をモデル化する。
• 参考スコア（独自算出の注目度）: 83.65790119755053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Eyeglasses play an important role in the perception of identity. Authentic virtual representations of faces can benefit greatly from their inclusion. However, modeling the geometric and appearance interactions of glasses and the face of virtual representations of humans is challenging. Glasses and faces affect each other's geometry at their contact points, and also induce appearance changes due to light transport. Most existing approaches do not capture these physical interactions since they model eyeglasses and faces independently. Others attempt to resolve interactions as a 2D image synthesis problem and suffer from view and temporal inconsistencies. In this work, we propose a 3D compositional morphable model of eyeglasses that accurately incorporates high-fidelity geometric and photometric interaction effects. To support the large variation in eyeglass topology efficiently, we employ a hybrid representation that combines surface geometry and a volumetric representation. Unlike volumetric approaches, our model naturally retains correspondences across glasses, and hence explicit modification of geometry, such as lens insertion and frame deformation, is greatly simplified. In addition, our model is relightable under point lights and natural illumination, supporting high-fidelity rendering of various frame materials, including translucent plastic and metal within a single morphable model. Importantly, our approach models global light transport effects, such as casting shadows between faces and glasses. Our morphable model for eyeglasses can also be fit to novel glasses via inverse rendering. We compare our approach to state-of-the-art methods and demonstrate significant quality improvements.
• Abstract（参考訳）: 眼鏡はアイデンティティの認識において重要な役割を果たす。 真正な顔の仮想表現は、その包含から大きな利益を得られる。 しかし、メガネの幾何学的および外観的相互作用と人間の仮想表現の面のモデル化は困難である。 ガラスと顔は接触点における互いの幾何学に影響を与え、光輸送による外観の変化も引き起こす。 既存のほとんどのアプローチは、眼鏡と顔を独立にモデル化するため、これらの物理的相互作用を捉えない。 他の者は、2次元画像合成問題として相互作用を解決しようと試み、視野や時間的矛盾に悩まされる。 本研究では,高忠実度および光度相互作用効果を正確に組み込んだ3次元合成可能な眼鏡モデルを提案する。 ガラスのトポロジーの大きな変化を効率的に支援するために,表面形状と体積表現を組み合わせたハイブリッド表現を用いる。 体積的アプローチとは異なり, ガラス間の対応性は自然に保持されるため, レンズ挿入やフレーム変形などの形状の明示的な修正は大幅に単純化される。 また,我々のモデルは点灯や自然照明の下では可照性であり,透明なプラスチックや金属を含む各種フレーム材料の高忠実度レンダリングを単一モルファブルモデルでサポートする。 重要なことは、我々のアプローチは、顔と眼鏡の間の影を鋳造するなど、グローバルな光輸送効果をモデル化する。 我々の眼鏡の変形可能なモデルは、逆レンダリングによって新しいメガネにも適合する。 このアプローチを最先端の手法と比較し,大幅な品質改善を示す。

関連論文リスト

• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• Mesh deformation-based single-view 3D reconstruction of thin eyeglasses frames with differentiable rendering [6.693246356011004]
  1枚のRGB画像から高精度3次元フルフレーム眼鏡モデルを復元するためのメッシュ変形に基づく最初の再構成フレームワークを提案する。 合成データセットと実画像の両方の実験結果から,提案アルゴリズムの有効性が示された。
  論文  参考訳（メタデータ） (2024-08-10T01:40:57Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• FitMe: Deep Photorealistic 3D Morphable Model Avatars [119.03325450951074]
  顔の反射率モデルと異なるレンダリングパイプラインであるFitMeを紹介する。 FitMe は、単一の "in-the-wild" 顔画像に対して、最先端のリフレクタンス取得とアイデンティティ保護を実現する。 最近の暗黙のアバター再構成とは対照的に、FitMeはわずか1分で、リライト可能なメッシュとテクスチャベースのアバターを生成する。
  論文  参考訳（メタデータ） (2023-05-16T17:42:45Z)
• NEMTO: Neural Environment Matting for Novel View and Relighting Synthesis of Transparent Objects [28.62468618676557]
  我々は3次元透明物体をモデル化する最初のエンドツーエンドニューラルネットワークパイプラインであるNEMTOを提案する。 透明物体の2次元像を入力として, 高品質な新規ビューと光合成が可能となる。
  論文  参考訳（メタデータ） (2023-03-21T15:50:08Z)
• EyeNeRF: A Hybrid Representation for Photorealistic Synthesis, Animation and Relighting of Human Eyes [0.0]
  光とカメラのスパースセットのみを用いて、高忠実度キャプチャとアニメーション、視線合成とライティングを可能にする新しい幾何学と外観表現を提案する。 眼の高精細なクローズアップでは、目視のない照明条件下で、新しい視点から高精細なアニメーションの視線を合成できることが示される。
  論文  参考訳（メタデータ） (2022-06-16T20:05:04Z)
• I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
  モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。 従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。 本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
  論文  参考訳（メタデータ） (2021-12-14T15:30:32Z)
• Refractive Light-Field Features for Curved Transparent Objects in Structure from Motion [10.380414189465345]
  曲面透明物体から屈折する光のパターンを検出し,記述する光場のための新しい画像特徴を提案する。 屈折物体を含む難易度の高い場面において, 動作からの構造性能が向上することを示す。 本手法は,ロボットが屈折物体を操作できるようにするための重要なステップである。
  論文  参考訳（メタデータ） (2021-03-29T05:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。