論文の概要: A Hybrid Mesh-neural Representation for 3D Transparent Object Reconstruction

• arxiv url: http://arxiv.org/abs/2203.12613v1
• Date: Wed, 23 Mar 2022 17:58:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-24 15:18:09.091217
• Title: A Hybrid Mesh-neural Representation for 3D Transparent Object Reconstruction
• Title（参考訳）: 3次元透明物体再構成のためのハイブリッドメッシュニューラル表現法
• Authors: Jiamin Xu, Zihan Zhu, Hujun Bao, Wewei Xu
• Abstract要約: 自然光条件下で手持ちの撮像画像を用いて透明物体の3次元形状を復元する新しい手法を提案する。 明示的なメッシュとハイブリッド表現であるマルチレイヤパーセプトロン(MLP)ネットワークの利点を組み合わせて、最近のコントリビューションで使用されるキャプチャを簡素化する。
• 参考スコア（独自算出の注目度）: 23.85747443245206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel method to reconstruct the 3D shapes of transparent objects using hand-held captured images under natural light conditions. It combines the advantage of explicit mesh and multi-layer perceptron (MLP) network, a hybrid representation, to simplify the capture setting used in recent contributions. After obtaining an initial shape through the multi-view silhouettes, we introduce surface-based local MLPs to encode the vertex displacement field (VDF) for the reconstruction of surface details. The design of local MLPs allows to represent the VDF in a piece-wise manner using two layer MLP networks, which is beneficial to the optimization algorithm. Defining local MLPs on the surface instead of the volume also reduces the searching space. Such a hybrid representation enables us to relax the ray-pixel correspondences that represent the light path constraint to our designed ray-cell correspondences, which significantly simplifies the implementation of single-image based environment matting algorithm. We evaluate our representation and reconstruction algorithm on several transparent objects with ground truth models. Our experiments show that our method can produce high-quality reconstruction results superior to state-of-the-art methods using a simplified data acquisition setup.
• Abstract（参考訳）: 自然光条件下で手持ちの撮像画像を用いて透明物体の3次元形状を復元する新しい手法を提案する。 明示的なメッシュとハイブリッド表現であるマルチレイヤパーセプトロン(MLP)ネットワークの利点を組み合わせて、最近のコントリビューションで使用されるキャプチャ設定を簡素化する。 マルチビューシルエットを用いて初期形状を得た後,表面の細部を再構成するための頂点変位場 (VDF) を符号化する曲面型局所MLPを導入する。 ローカルMLPの設計は、最適化アルゴリズムに有利な2層MLPネットワークを用いて、VDFを断片的に表現することができる。 体積の代わりに表面上の局所的なMLPを定義することで、探索空間も減少する。 このようなハイブリッド表現は、光路制約を表す光画素対応を我々の設計した光-セル対応に緩和することを可能にし、単一画像に基づく環境マットングアルゴリズムの実装を著しく単純化する。 地上真理モデルを用いた複数の透明物体に対する表現と再構成アルゴリズムの評価を行った。 提案手法は, 簡易なデータ取得装置を用いて, 最先端の手法よりも高品質な再構成結果が得られることを示す。

関連論文リスト

• RISE-SDF: a Relightable Information-Shared Signed Distance Field for Glossy Object Inverse Rendering [26.988572852463815]
  本稿では,新しいエンド・ツー・エンド・エンド・リライトブル・ニューラル・リバース・レンダリングシステムを提案する。 本アルゴリズムは,逆レンダリングとリライトにおける最先端性能を実現する。 実験により, 逆レンダリングおよびリライティングにおける最先端性能が得られた。
  論文  参考訳（メタデータ） (2024-09-30T09:42:10Z)
• PBIR-NIE: Glossy Object Capture under Non-Distant Lighting [30.325872237020395]
  グロッシーオブジェクトは自然光下での多視点入力画像から3次元再構成を行う上で重要な課題となる。 PBIR-NIEは, 物体の形状, 材料特性, 周囲の照明を均等に捉えるために設計された逆レンダリングフレームワークである。
  論文  参考訳（メタデータ） (2024-08-13T13:26:24Z)
• Anti-Aliased Neural Implicit Surfaces with Encoding Level of Detail [54.03399077258403]
  本稿では,高頻度幾何細部リカバリとアンチエイリアス化された新しいビューレンダリングのための効率的なニューラル表現であるLoD-NeuSを提案する。 我々の表現は、光線に沿った円錐状のフラストラム内の多面体化から空間特徴を集約する。
  論文  参考訳（メタデータ） (2023-09-19T05:44:00Z)
• Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering [84.37776381343662]
  Mip-NeRFは、スケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。 我々は,リアルタイムなアンチエイリアスレンダリングのためのマルチスケールな明示的表現であるmip voxel grids (Mip-VoG)を提案する。 私たちのアプローチは、マルチスケールのトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。
  論文  参考訳（メタデータ） (2023-04-20T04:05:22Z)
• $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D Reconstruction [97.06927852165464]
  単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。 条件付き偏光拡散プロセスによりスパース点雲を生成する単一像3次元再構成法を提案する。
  論文  参考訳（メタデータ） (2023-02-21T13:37:07Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
  マルチビューRGB画像から新しい3次元顔再構成法を提案する。 従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。 いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-12-05T07:02:53Z)
• Gradient-SDF: A Semi-Implicit Surface Representation for 3D Reconstruction [53.315347543761426]
  Gradient-SDFは、暗黙的表現と明示的表現の利点を組み合わせた3次元幾何学の新しい表現である。 すべてのボクセルに符号付き距離場とその勾配ベクトル場を格納することにより、暗黙表現の能力を高める。 本研究では,(1)グラディエント・SDFは,ハッシュマップなどの効率的な記憶方式を用いて,深度画像からの直接SDF追跡を行うことができ,(2)グラディエント・SDF表現はボクセル表現で直接光度バンドル調整を行うことができることを示す。
  論文  参考訳（メタデータ） (2021-11-26T18:33:14Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• Ladybird: Quasi-Monte Carlo Sampling for Deep Implicit Field Based 3D Reconstruction with Symmetry [12.511526058118143]
  本稿では,SGDに基づく最適化アルゴリズムの一般化と高速収束を理論的に促進するサンプリング手法を提案する。 物体の反射対称性に基づいて,自己閉塞による問題を緩和する特徴融合法を提案する。 提案システムでは,単一入力画像から高品質な3Dオブジェクト再構成を行うことができる。
  論文  参考訳（メタデータ） (2020-07-27T09:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。