論文の概要: Inferring Implicit 3D Representations from Human Figures on Pictorial Maps

• arxiv url: http://arxiv.org/abs/2209.02385v2
• Date: Sat, 25 Mar 2023 17:44:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 02:45:33.064954
• Title: Inferring Implicit 3D Representations from Human Figures on Pictorial Maps
• Title（参考訳）: 図形上の人物図からのインプシット3次元表現の推測
• Authors: Raimund Schn\"urer, A. Cengiz \"Oztireli, Magnus Heitzler, Ren\'e Sieber, Lorenz Hurni
• Abstract要約: 画像地図上で最も頻繁に現れる人物の1つである人物を3次元化するための自動ワークフローを提案する。 まず、完全に連結された層からなるネットワークに、2次元ポーズポイントの深さ座標を推定させる。 得られた3Dポーズポイントは、本体部の2Dマスクと共に深暗面ネットワークに入力され、3D署名された距離場が推測される。
• 参考スコア（独自算出の注目度）: 1.0499611180329804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we present an automated workflow to bring human figures, one of the most frequently appearing entities on pictorial maps, to the third dimension. Our workflow is based on training data and neural networks for single-view 3D reconstruction of real humans from photos. We first let a network consisting of fully connected layers estimate the depth coordinate of 2D pose points. The gained 3D pose points are inputted together with 2D masks of body parts into a deep implicit surface network to infer 3D signed distance fields (SDFs). By assembling all body parts, we derive 2D depth images and body part masks of the whole figure for different views, which are fed into a fully convolutional network to predict UV images. These UV images and the texture for the given perspective are inserted into a generative network to inpaint the textures for the other views. The textures are enhanced by a cartoonization network and facial details are resynthesized by an autoencoder. Finally, the generated textures are assigned to the inferred body parts in a ray marcher. We test our workflow with 12 pictorial human figures after having validated several network configurations. The created 3D models look generally promising, especially when considering the challenges of silhouette-based 3D recovery and real-time rendering of the implicit SDFs. Further improvement is needed to reduce gaps between the body parts and to add pictorial details to the textures. Overall, the constructed figures may be used for animation and storytelling in digital 3D maps.
• Abstract（参考訳）: 本研究では,画像地図上で最も頻繁に現れる人物である人物を3次元化するための自動ワークフローを提案する。 我々のワークフローは、写真から実際の人間の1次元再構築のためのトレーニングデータとニューラルネットワークに基づいている。 まず,完全連結層からなるネットワークに2次元ポーズ点の深さ座標を推定させる。 得られた3Dポーズポイントは、本体部の2Dマスクと共に深暗面ネットワークに入力され、3D符号距離場(SDF)を推定する。 すべての身体部位を組み立てることで、全体像の2次元深度画像と身体部分マスクを導出し、それを完全な畳み込みネットワークに入力して紫外線画像を予測する。 これらの紫外線画像と所定の視点のテクスチャを生成ネットワークに挿入し、他のビューのテクスチャをインペイントする。 テクスチャは漫画化ネットワークによって強化され、顔の詳細はオートエンコーダによって合成される。 そして、生成されたテクスチャを、レイマーチ装置内の推定体部に割り当てる。 我々は、複数のネットワーク構成を検証した後、12人の人物でワークフローをテストする。 特にsilhouetteベースの3dリカバリと暗黙のsdfsのリアルタイムレンダリングの課題を考慮すると、生成された3dモデルは一般的に有望である。 また、体部間の隙間を小さくし、テクスチャに絵の細部を加えるため、さらなる改善が必要となる。 全体として、構築された図形はデジタル3Dマップのアニメーションやストーリーテリングに使用することができる。

関連論文リスト

• FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
  テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。 このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。 本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
  論文  参考訳（メタデータ） (2024-10-13T01:25:05Z)
• O$^2$-Recon: Completing 3D Reconstruction of Occluded Objects in the Scene with a Pre-trained 2D Diffusion Model [28.372289119872764]
  咬合は、RGB-Dビデオからの3D再構成において一般的な問題であり、しばしばオブジェクトの完全な再構成をブロックする。 本研究では,物体の隠れた部分の完全な表面を再構築する2次元拡散に基づくインペインティングモデルを用いて,新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:38:31Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)
• 3DHumanGAN: 3D-Aware Human Image Generation with 3D Pose Mapping [37.14866512377012]
  3DHumanGAN(3DHumanGAN)は、全身の人間の写実的な画像を合成する3D対応の対向ネットワークである。 本稿では,3次元ポーズマッピングネットワークによって2次元畳み込みバックボーンを変調する新しいジェネレータアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-12-14T17:59:03Z)
• TSCom-Net: Coarse-to-Fine 3D Textured Shape Completion Network [14.389603490486364]
  3次元部分的テクスチャスキャンから3次元の人体形状を再構築することは、多くのコンピュータビジョンやグラフィックスアプリケーションにとって基本的な課題である。 本稿では,3次元体形状と高分解能テクスチャ補完のためのニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-08-18T11:06:10Z)
• 3D-Aware Semantic-Guided Generative Model for Human Synthesis [67.86621343494998]
  本稿では,人間の画像合成のための3D-SGAN(Semantic-Guided Generative Model)を提案する。 DeepFashionデータセットに関する我々の実験は、3D-SGANが最新のベースラインを大きく上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-02T17:10:53Z)
• Deep Hybrid Self-Prior for Full 3D Mesh Generation [57.78562932397173]
  本稿では,深部ニューラルネットワークにおける2D-3Dのハイブリッドな自己優先性を利用して,幾何学的品質を著しく向上する手法を提案する。 特に,まず3次元自己優先型3次元畳み込みニューラルネットワークを用いて初期メッシュを生成し,次いで2次元紫外線アトラスに3次元情報と色情報をエンコードする。 本手法は,スパース入力から高品質な3次元テクスチャメッシュモデルを復元し,テクスチャ品質とテクスチャ品質の両面で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2021-08-18T07:44:21Z)
• D-OccNet: Detailed 3D Reconstruction Using Cross-Domain Learning [0.0]
  我々は,画像領域とポイント領域のクロスドメイン学習を活用し,占有ネットワークに関する研究を拡大する。 我々のネットワークであるDouble Occupancy Network(D-OccNet)は、3D再構成で捉えた視覚的品質と詳細という点でOccupancy Networksを上回っている。
  論文  参考訳（メタデータ） (2021-04-28T16:00:54Z)
• NeuTex: Neural Texture Mapping for Volumetric Neural Rendering [48.83181790635772]
  本稿では,ジオメトリ-連続3次元ボリューム-出現-連続2次元テクスチャマップとして表現-を明示的に切り離す手法を提案する。 我々は,この表現を多視点画像監視のみを用いて再構成し,高品質なレンダリング結果を生成することを実証した。
  論文  参考訳（メタデータ） (2021-03-01T05:34:51Z)
• 3DBooSTeR: 3D Body Shape and Texture Recovery [76.91542440942189]
  3DBooSTeRは、部分的な3Dスキャンからテクスチャ化された3Dボディメッシュを復元する新しい方法である。 提案手法は形状とテクスチャの完成を2つの逐次的なタスクに分解する。
  論文  参考訳（メタデータ） (2020-10-23T21:07:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。