論文の概要: Mesh deformation-based single-view 3D reconstruction of thin eyeglasses frames with differentiable rendering
- arxiv url: http://arxiv.org/abs/2408.05402v1
- Date: Sat, 10 Aug 2024 01:40:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 19:11:07.062064
- Title: Mesh deformation-based single-view 3D reconstruction of thin eyeglasses frames with differentiable rendering
- Title（参考訳）: メッシュ変形による薄型眼鏡フレームの1次元再構成
- Authors: Fan Zhang, Ziyue Ji, Weiguang Kang, Weiqing Li, Zhiyong Su,
- Abstract要約: 1枚のRGB画像から高精度3次元フルフレーム眼鏡モデルを復元するためのメッシュ変形に基づく最初の再構成フレームワークを提案する。
合成データセットと実画像の両方の実験結果から,提案アルゴリズムの有効性が示された。
- 参考スコア（独自算出の注目度）: 6.693246356011004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the support of Virtual Reality (VR) and Augmented Reality (AR) technologies, the 3D virtual eyeglasses try-on application is well on its way to becoming a new trending solution that offers a "try on" option to select the perfect pair of eyeglasses at the comfort of your own home. Reconstructing eyeglasses frames from a single image with traditional depth and image-based methods is extremely difficult due to their unique characteristics such as lack of sufficient texture features, thin elements, and severe self-occlusions. In this paper, we propose the first mesh deformation-based reconstruction framework for recovering high-precision 3D full-frame eyeglasses models from a single RGB image, leveraging prior and domain-specific knowledge. Specifically, based on the construction of a synthetic eyeglasses frame dataset, we first define a class-specific eyeglasses frame template with pre-defined keypoints. Then, given an input eyeglasses frame image with thin structure and few texture features, we design a keypoint detector and refiner to detect predefined keypoints in a coarse-to-fine manner to estimate the camera pose accurately. After that, using differentiable rendering, we propose a novel optimization approach for producing correct geometry by progressively performing free-form deformation (FFD) on the template mesh. We define a series of loss functions to enforce consistency between the rendered result and the corresponding RGB input, utilizing constraints from inherent structure, silhouettes, keypoints, per-pixel shading information, and so on. Experimental results on both the synthetic dataset and real images demonstrate the effectiveness of the proposed algorithm.
- Abstract（参考訳）: VR(Virtual Reality)とAR(Augmented Reality)技術のサポートにより、この3Dバーチャルグラス試用アプリケーションは、自宅の快適な場所で完璧な眼鏡を選ぶための"トライオン"オプションを提供する新しいトレンドソリューションとして、順調に進んでいる。
ガラスフレームの再構築は, テクスチャの特徴の不足, 細い要素, 厳密な自己閉塞などの特徴が欠如していることから, 従来の奥行きと画像ベースで行うことは極めて困難である。
本稿では,1枚のRGB画像から高精度3次元フルフレーム眼鏡モデルを復元し,先行知識とドメイン固有知識を活用するメッシュ変形に基づく再構成フレームワークを提案する。
具体的には、合成眼鏡フレームデータセットの構築に基づいて、予め定義されたキーポイントを持つクラス固有の眼鏡フレームテンプレートを最初に定義する。
そして, 入力された眼鏡フレーム画像が細く, テクスチャがほとんどないので, 粗い方法で予め定義されたキーポイントを検出するキーポイント検出器と精細化器を設計し, カメラのポーズを正確に推定する。
その後、微分可能レンダリングを用いて、テンプレートメッシュ上でフリーフォーム変形(FFD)を段階的に実行することにより、正確な幾何を生成する新しい最適化手法を提案する。
我々は,レンダリング結果と対応するRGB入力との整合性を強制する一連の損失関数を定義し,固有構造,シルエット,キーポイント,ピクセルごとのシェーディング情報などの制約を利用する。
合成データセットと実画像の両方の実験結果から,提案アルゴリズムの有効性が示された。
関連論文リスト
- InvertAvatar: Incremental GAN Inversion for Generalized Head Avatars [40.10906393484584]
本稿では,複数フレームからの忠実度向上を目的としたアルゴリズムを用いて,アバター復元性能を向上させる新しいフレームワークを提案する。
本アーキテクチャでは,画素対応画像-画像変換を重要視し,観測空間と標準空間の対応を学習する必要性を緩和する。
提案手法は,1ショットと数ショットのアバターアニメーションタスクにおける最先端の性能を示す。
論文 参考訳（メタデータ） (2023-12-03T18:59:15Z) - Holistic Inverse Rendering of Complex Facade via Aerial 3D Scanning [38.72679977945778]
我々は多視点空中画像を用いて、ニューラルサイン距離場(SDF)を用いたファサードの形状、照明、材料を再構成する。
本実験は, ファサード全体の逆レンダリング, 新規なビュー合成, シーン編集において, 最先端のベースラインと比較して, 手法の優れた品質を示すものである。
論文 参考訳（メタデータ） (2023-11-20T15:03:56Z) - Single-view 3D Scene Reconstruction with High-fidelity Shape and Texture [47.44029968307207]
本研究では,物体の形状とテクスチャを同時に高忠実度に再現する新しい枠組みを提案する。
提案手法は,SSR(Single-view Neural implicit Shape and Radiance Field)表現を用いて,明示的な3次元形状制御とボリュームレンダリングの両方を活用する。
我々のフレームワークの特徴は、単一のビュー3D再構成モデルにレンダリング機能をシームレスに統合しながら、きめ細かいテクスチャメッシュを生成する能力である。
論文 参考訳（メタデータ） (2023-11-01T11:46:15Z) - Differentiable Blocks World: Qualitative 3D Decomposition by Rendering
Primitives [70.32817882783608]
本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。
既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。
得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
論文 参考訳（メタデータ） (2023-07-11T17:58:31Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳（メタデータ） (2023-03-03T17:14:44Z) - Multi-View Neural Surface Reconstruction with Structured Light [7.709526244898887]
微分可能レンダリング(DR)に基づく3次元オブジェクト再構成はコンピュータビジョンにおいて活発な研究課題である。
DRに基づく多視点3Dオブジェクト再構成において,構造化光(SL)を用いたアクティブセンシングを導入し,任意のシーンやカメラポーズの未知の形状と外観を学習する。
本手法は, テクスチャレス領域における高い再現精度を実現し, カメラポーズキャリブレーションの労力を削減する。
論文 参考訳（メタデータ） (2022-11-22T03:10:46Z) - Shape, Pose, and Appearance from a Single Image via Bootstrapped
Radiance Field Inversion [54.151979979158085]
提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。
そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。
当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
論文 参考訳（メタデータ） (2022-11-21T17:42:42Z) - Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。
我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。
我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
論文 参考訳（メタデータ） (2022-04-21T03:42:31Z) - Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face
Reconstruction [76.1612334630256]
我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。
3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
論文 参考訳（メタデータ） (2021-05-16T16:35:44Z) - Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
本稿では,GAR(Generative Adversa Renderer)について紹介する。
GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。
本手法は,複数顔再構成における最先端性能を実現する。
論文 参考訳（メタデータ） (2021-05-06T04:16:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。