論文の概要: An Effective Loss Function for Generating 3D Models from Single 2D Image
without Rendering
- arxiv url: http://arxiv.org/abs/2103.03390v1
- Date: Fri, 5 Mar 2021 00:02:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-09 07:12:56.426280
- Title: An Effective Loss Function for Generating 3D Models from Single 2D Image
without Rendering
- Title(参考訳): レンダリングのない単一2次元画像から3次元モデルを生成するための有効な損失関数
- Authors: Nikola Zubi\'c, Pietro Li\`o
- Abstract要約: 微分レンダリングは、シングルビュー3Dレコンストラクションに適用できる非常に成功した技術である。
電流は、ある3d再構成対象のレンダリング画像と、与えられたマッチング視点からの接地画像との間のピクセルによる損失を利用して、3d形状のパラメータを最適化する。
再構成された3次元点群の投影が地上真理物体のシルエットをどの程度覆うかを評価する新しい効果的な損失関数を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differentiable rendering is a very successful technique that applies to a
Single-View 3D Reconstruction. Current renderers use losses based on pixels
between a rendered image of some 3D reconstructed object and ground-truth
images from given matched viewpoints to optimise parameters of the 3D shape.
These models require a rendering step, along with visibility handling and
evaluation of the shading model. The main goal of this paper is to demonstrate
that we can avoid these steps and still get reconstruction results as other
state-of-the-art models that are equal or even better than existing
category-specific reconstruction methods. First, we use the same CNN
architecture for the prediction of a point cloud shape and pose prediction like
the one used by Insafutdinov \& Dosovitskiy. Secondly, we propose the novel
effective loss function that evaluates how well the projections of
reconstructed 3D point clouds cover the ground truth object's silhouette. Then
we use Poisson Surface Reconstruction to transform the reconstructed point
cloud into a 3D mesh. Finally, we perform a GAN-based texture mapping on a
particular 3D mesh and produce a textured 3D mesh from a single 2D image. We
evaluate our method on different datasets (including ShapeNet, CUB-200-2011,
and Pascal3D+) and achieve state-of-the-art results, outperforming all the
other supervised and unsupervised methods and 3D representations, all in terms
of performance, accuracy, and training time.
- Abstract(参考訳): 微分レンダリングは、シングルビュー3Dレコンストラクションに適用できる非常に成功した技術である。
現在のレンダラーは、ある3d再構成されたオブジェクトのレンダリング画像と与えられた一致視点からの接地画像との間のピクセルによる損失を利用して、3d形状のパラメータを最適化する。
これらのモデルにはレンダリングステップと、シェーディングモデルの可視性処理と評価が必要である。
本稿の主目的は,これらのステップを回避し,既存のカテゴリ固有の再構築手法と同等あるいはそれ以上に優れた最先端モデルとして,再構築結果が得られることを示すことである。
まず、同じCNNアーキテクチャを使用して点群形状の予測を行い、Insafutdinov \& Dosovitskiyが使用するようなポーズ予測を行います。
第2に,再構成された3次元点雲の投影が地上真理物体のシルエットを如何にカバーしているかを評価する新しい有効損失関数を提案する。
次にポアソン表面再構成を用いて再構成された点雲を3次元メッシュに変換する。
最後に、特定の3Dメッシュ上でGANベースのテクスチャマッピングを行い、単一の2Dイメージからテクスチャ化された3Dメッシュを生成する。
本研究では,ShapeNet,CUB-200-2011,Pascal3D+などの異なるデータセット上で評価を行い,その性能,精度,トレーニング時間など,教師なしおよび教師なしの他の手法や3D表現よりも優れていることを示す。
関連論文リスト
- ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image
Collections [71.46546520120162]
単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。
本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。
我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
論文 参考訳(メタデータ) (2023-06-07T17:47:50Z) - 3D Surface Reconstruction in the Wild by Deforming Shape Priors from
Synthetic Data [24.97027425606138]
1枚の画像から被写体の3次元表面を再構築することは難しい問題である。
本稿では,1枚の画像から3次元合成とオブジェクトポーズ推定を行う新しい手法を提案する。
提案手法は,複数の実世界のデータセットにまたがって,最先端の再構築性能を実現する。
論文 参考訳(メタデータ) (2023-02-24T20:37:27Z) - Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。
対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。
本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
論文 参考訳(メタデータ) (2022-12-14T18:49:50Z) - Flow-based GAN for 3D Point Cloud Generation from a Single Image [16.04710129379503]
本稿では,任意の解像度の点群をサンプリングするためのフローベース明示的生成モデルを継承する,ハイブリッドな明示的生成モデルを提案する。
大規模合成データセットShapeNetについて評価し,提案手法の優れた性能を示す実験結果を得た。
論文 参考訳(メタデータ) (2022-10-08T17:58:20Z) - Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。
以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。
本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文 参考訳(メタデータ) (2022-04-09T03:46:18Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳(メタデータ) (2021-10-29T10:53:12Z) - Deep Hybrid Self-Prior for Full 3D Mesh Generation [57.78562932397173]
本稿では,深部ニューラルネットワークにおける2D-3Dのハイブリッドな自己優先性を利用して,幾何学的品質を著しく向上する手法を提案する。
特に,まず3次元自己優先型3次元畳み込みニューラルネットワークを用いて初期メッシュを生成し,次いで2次元紫外線アトラスに3次元情報と色情報をエンコードする。
本手法は,スパース入力から高品質な3次元テクスチャメッシュモデルを復元し,テクスチャ品質とテクスチャ品質の両面で最先端の手法より優れている。
論文 参考訳(メタデータ) (2021-08-18T07:44:21Z) - Shape from Blur: Recovering Textured 3D Shape and Motion of Fast Moving
Objects [115.71874459429381]
本研究では, 物体の3次元形状, テクスチャ, 動きを単一動画像から共同で再構成する新しい課題について述べる。
従来の手法では2次元画像領域でのみ遅延問題に対処するが、3次元領域における全ての物体特性の厳密なモデリングは任意の物体の動きの正確な記述を可能にする。
論文 参考訳(メタデータ) (2021-06-16T13:18:08Z) - Using Adaptive Gradient for Texture Learning in Single-View 3D
Reconstruction [0.0]
3次元モデル再構築のための学習ベースのアプローチは、現代の応用によって注目を集めている。
本稿では,サンプリング画像のばらつきに基づいて予測座標の勾配を最適化し,新しいサンプリングアルゴリズムを提案する。
また,frechetインセプション距離(fid)を用いて学習における損失関数を形成し,レンダリング画像と入力画像とのギャップを橋渡しする。
論文 参考訳(メタデータ) (2021-04-29T07:52:54Z) - Convolutional Generation of Textured 3D Meshes [34.20939983046376]
単視点自然画像からの2次元監視のみを用いて,三角形メッシュとそれに伴う高分解能テクスチャマップを生成できるフレームワークを提案する。
我々の研究の重要な貢献は、メッシュとテクスチャを2D表現として符号化することであり、意味的に整合し、2D畳み込みGANで容易にモデル化できる。
本研究では,Pascal3D+カーとCUBにおいて,モデルがクラスラベル,属性,テキストに条件付けされている場合とで,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2020-06-13T15:23:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。