# (参考訳) 深部暗黙的表面点予測ネットワーク [全文訳有]

Deep Implicit Surface Point Prediction Networks ( http://arxiv.org/abs/2106.05779v1 )

ライセンス: CC BY 4.0
Rahul Venkatesh, Tejan Karmali, Sarthak Sharma, Aurobrata Ghosh, L\'aszl\'o A. Jeni, R. Venkatesh Babu, Maneesh Singh(参考訳) 暗黙の関数としての3次元形状の深い神経表現は、メッシュと点雲を用いた明示的な表現によって直面する解像度-メモリトレードオフを超える高忠実度モデルを生成することが示されている。 しかし、そのようなアプローチのほとんどは閉じた形を表現することに焦点を当てている。 非符号距離関数(UDF)に基づくアプローチは、最近オープン形状とクローズ形状の両方を表すための有望な代替として提案されている。 しかし、UDFの勾配が表面でなくなるため、視覚やグラフィックスにおける多くの下流アプリケーションに必要な正規や接面のような局所的な(微分)幾何学的性質を推定することは困難である。 これらのプロパティを低メモリフットプリントで効率的に計算するには、さらに課題がある。 本稿では, 近接面点 (csp) 表現と呼ばれる新しい階層の暗黙表現を用いて, 曲面をモデル化する新しい手法を提案する。 CSPにより、任意の位相(開あるいは閉)の複素曲面を高い忠実度で表現できることが示される。 また、局所幾何学的性質の正確かつ効率的な計算を可能にする。 さらに、3D表面をレンダリングするスフィアトレーシングのような下流アルゴリズムを効率よく実装し、メッシュベースの明示的な表現を作成できることを示す。 shapenetデータセットの広範な実験的評価は、上記の貢献が最先端の成果を上回っていることを検証している。

Deep neural representations of 3D shapes as implicit functions have been shown to produce high fidelity models surpassing the resolution-memory trade-off faced by the explicit representations using meshes and point clouds. However, most such approaches focus on representing closed shapes. Unsigned distance function (UDF) based approaches have been proposed recently as a promising alternative to represent both open and closed shapes. However, since the gradients of UDFs vanish on the surface, it is challenging to estimate local (differential) geometric properties like the normals and tangent planes which are needed for many downstream applications in vision and graphics. There are additional challenges in computing these properties efficiently with a low-memory footprint. This paper presents a novel approach that models such surfaces using a new class of implicit representations called the closest surface-point (CSP) representation. We show that CSP allows us to represent complex surfaces of any topology (open or closed) with high fidelity. It also allows for accurate and efficient computation of local geometric properties. We further demonstrate that it leads to efficient implementation of downstream algorithms like sphere-tracing for rendering the 3D surface as well as to create explicit mesh-based representations. Extensive experimental evaluation on the ShapeNet dataset validate the above contributions with results surpassing the state-of-the-art.
公開日: Thu, 10 Jun 2021 14:31:54 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。


    Page: /      
Deep Implicit Surface Point Prediction Networks 深部暗黙的表面点予測ネットワーク 0.79
Rahul Venkatesh ラウル・ヴェンカテシュ 0.36
L´aszl´o A. Jeni L ́aszl ́o A. Jeni 0.52
Carnegie Mellon University, Pittsburgh, PA, USA カーネギーメロン大学 ピッツバーグ アメリカ 0.32
Tejan Karmali R. Venkatesh Babu Tejan Karmali R. Venkatesh Babu 0.99
Indian Institute of Science, Bangalore, India インド・バンガロールのインド科学研究所 0.66
1 2 0 2 n u J 1 2 0 2 n u J 0.85
0 1 ] V C . 0 1 ] 略称はC。 0.73
s c [ 1 v 9 7 7 5 0 sc [ 1 v 9 7 7 5 0 0.68
. 6 0 1 2 : v i X r a . 6 0 1 2 : v i X r a 0.85
Sarthak Sharma Aurobrata Ghosh Maneesh K. Singh Sarthak Sharma Aurobrata Ghosh Maneesh K. Singh 0.96
Verisk Analytics, Jersey City, NJ, USA verisk analytics, jersey city, nj, usa 0.63
Figure 1: Our novel implicit shape representation can model complex surfaces with high-fidelity. 図1:新しい暗黙的形状表現は、高忠実度で複雑な曲面をモデル化できる。 0.65
Row 1: Recovering visually pleasing surfaces in comparison to prior state-of-the-art SAL [2] and NDF [8]. Row 1 従来の最先端SAL [2] および NDF [8] と比較して視覚的に喜ぶ表面を復元する。 0.75
Row 2: Results on a representative open shape, where we correctly model the shape, as opposed to SAL [2], which closes up regions that are meant to be open. 列2: 代表的なオープンな形状の成果は、オープンを意図した領域を閉じるsal[2]とは対照的に、形を正確にモデル化します。 0.75
Abstract Deep neural representations of 3D shapes as implicit functions have been shown to produce high fidelity models surpassing the resolution-memory trade-off faced by the explicit representations using meshes and point clouds. 概要 暗黙の関数としての3次元形状の深い神経表現は、メッシュと点雲を用いた明示的な表現によって直面する解像度-メモリトレードオフを超える高忠実度モデルを生成することが示されている。 0.53
However, most such approaches focus on representing closed shapes. しかし、そのようなアプローチのほとんどは閉じた形を表現することに焦点を当てている。 0.45
Unsigned distance function (UDF) based approaches have been proposed recently as a promising alternative to represent both open and closed shapes. 非符号距離関数(UDF)に基づくアプローチは、最近オープン形状とクローズ形状の両方を表すための有望な代替として提案されている。 0.66
However, since the gradients of UDFs vanish on the surface, it is challenging to estimate local (differential) geometric properties like the normals and tangent planes which are needed for many downstream applications in vision and graphics. しかし、UDFの勾配が表面でなくなるため、視覚やグラフィックスにおける多くの下流アプリケーションに必要な正規や接面のような局所的な(微分)幾何学的性質を推定することは困難である。 0.74
There are additional challenges in computing these properties efficiently with a low-memory footprint. これらのプロパティを低メモリフットプリントで効率的に計算するには、さらに課題がある。 0.49
This paper presents a novel approach that models such surfaces using a new class of implicit representations called the closest surface-point (CSP) representation. 本稿では, 近接面点 (csp) 表現と呼ばれる新しい階層の暗黙表現を用いて, 曲面をモデル化する新しい手法を提案する。 0.73
We show that CSP allows us to represent complex surfaces of any topology (open or closed) with high fidelity. CSPにより、任意の位相(開あるいは閉)の複素曲面を高い忠実度で表現できることが示される。 0.67
It also allows for accurate and 正確で正確でもある。 0.45
efficient computation of local geometric properties. 局所幾何学特性の効率的な計算 0.74
We further demonstrate that it leads to efficient implementation of downstream algorithms like sphere-tracing for rendering the 3D surface as well as to create explicit mesh-based representations. さらに、3D表面をレンダリングするスフィアトレーシングのような下流アルゴリズムを効率よく実装し、メッシュベースの明示的な表現を作成できることを示す。 0.72
Extensive experimental evaluation on the ShapeNet dataset validate the above contributions with results surpassing the state-of- the-art. shapenetデータセットの広範な実験的評価は、上記の貢献が最先端の成果を上回ることを検証している。 0.59
1. Introduction High fidelity representation and rendering of potentially open 3D surfaces with complex topology from raw sensor data (images, point clouds) finds application in vision, graphics and animation industry [20]. 1. はじめに 原センサーデータ(画像,点雲)から複雑なトポロジを持つ潜在的にオープンな3次元表面の高忠実性表現とレンダリングは,視覚,グラフィックス,アニメーション産業 [20] の応用を見出す。 0.72
Therefore, in recent years deep learning based methods for 3D reconstruction of objects have garnered significant interest [38, 34, 31]. そのため,近年,物体の3次元再構成のための深層学習手法が注目されている[38,34,31]。 0.81
Explicit 3D shape representations such as point clouds, voxels, triangles or quad meshes pose challenges in reconstructing surfaces with arbitrary topology [33]. 点雲、ボクセル、三角形、クアッドメッシュなどの明示的な3次元形状表現は、任意のトポロジー [33] を持つ表面の再構築において困難をもたらす。 0.61
Moreover, the ability to capture details of such representations are limited by predefined structure (like number of ver- さらに、これらの表現の詳細をキャプチャする能力は、事前定義された構造(verの数など)によって制限される。 0.52
Open surfacesDeepSDFSALOu rsHigh Fidelity オープンサーフェスDeepSDFSALoursHigh Fidelity 0.85
tices for meshes) or memory and computational footprint (for voxels and point clouds). メッシュのtices)、あるいはメモリと計算フットプリント(voxelsとpoint cloud)。 0.70
Several implicit shape representations using deep neural networks have been proposed [34, 31, 14, 6, 2, 8] to alleviate these shortcomings. これらの欠点を緩和するために,深層ニューラルネットワークを用いた暗黙的な形状表現 [34,31,14,6,2,8] が提案されている。 0.70
Recent approaches use a distance function as the implicit representation. 最近のアプローチでは、暗黙の表現として距離関数を用いる。 0.61
For example, DeepSDF [34] use a Signed Distance Function (SDF) as the implicit representation where the sign represents the inside/ outside of the surface being modeled. 例えば、DeepSDF [34] は Signed Distance Function (SDF) を、その記号がモデル化されている表面の内外を表す暗黙の表現として使用します。 0.80
Not only does this limit DeepSDF to modeling closed surfaces, the ground truth needs to be watertight (closed) as well. このことは、DeepSDFが閉じた表面をモデル化するだけでなく、地上の真実も防水(クローズド)する必要がある。 0.73
Since most 3D shape datasets [5] have non-watertight (open) shapes, preprocessing is needed to artificially close such shapes and make them watertight [31] - a process which is known to result in a loss of fidelity [22]. ほとんどの3d形状データセット [5] は非水密(開放)な形状を持っているため、そのような形状を人工的に閉じて水密(31)にするには前処理が必要である。
訳抜け防止モード: ほとんどの3次元形状データセット [5 ] は非水密(オープン)形状である。 このような形状を人工的に閉じて水密にする前処理が必要です [31 ] 忠実さが失われることが知られています [22]
To overcome this problem, methods such as SAL [2] seek to learn surface representations directly from raw unoriented point clouds. この問題を解決するために、SAL [2] のような手法は、原点雲から直接表面表現を学習しようとする。 0.70
However, such methods also make an assumption that the underlying surface represented by the point cloud is closed, leading to learnt representations necessarily describing closed shapes [3]. しかし、そのような方法はまた、点雲で表される基底曲面が閉であると仮定し、必然的に閉形状を記述する学習表現 [3] をもたらす。 0.70
NDF [8] overcomes this limitation by using an unsigned distance function (UDF) based implicit representation and achieves state-of-the-art performance on 3D shape representation learnt directly from the unprocessed ShapeNet dataset. NDF[8]は、符号なし距離関数(UDF)をベースとした暗黙的表現を用いて、この制限を克服し、未処理のShapeNetデータセットから直接学習した3D形状表現における最先端のパフォーマンスを達成する。 0.63
However, UDFs have a fundamental limitation. しかし、udfには根本的な制限がある。 0.57
Since the gradient of the UDF vanishes on the surface, direct estimation of local, differential geometric properties like the tangent plane and the surface normal becomes noisy and loses fidelity. UDFの勾配が表面でなくなるため、接面や表面の正規といった局所的な微分幾何学的性質の直接推定はノイズが多く、忠実さが失われる。 0.72
This results in a loss of performance on downstream tasks like rendering and surface reconstruction [24] as well as those like registration [36] and segmentation [18] where normal estimates play a vital role. これにより、レンダリングや表面再構成[24]のような下流タスクや、通常の見積もりが重要な役割を果たす登録[36]やセグメンテーション[18]といったタスクのパフォーマンスが失われます。 0.66
An additional issue is that for the above methods, the estimation of differential geometric properties needs a backward pass leading to increased memory footprint and time complexity which becomes a challenge for applications which require fast rendering on devices with limited memory (e g tiled rendering on hand-held devices [12]), or for robotics tasks such as real-time path planning where fast normal estimates in 3D space play an essential role [15, 32]. もう1つの問題は、上記の方法では、微分幾何学的性質の推定には、メモリフットプリントと時間複雑性の増加につながる後方パスが必要であり、メモリ制限のあるデバイス(例えば、ハンドヘルドデバイス[12]でのタイルレンダリング)の高速レンダリングを必要とするアプリケーションや、3d空間における高速正規推定が必須の役割を果たすリアルタイム経路計画のようなロボット工学的なタスクにとって、課題となる。 0.78
To address these challenges, we introduce a novel implicit shape representation called the Closest Surface-Point (CSP) function, which for a given query point returns the closest point on the surface. これらの課題に対処するため,我々は,与えられた問合せ点に対して最接近点を返す最接近面点 (csp) 関数と呼ばれる新しい暗黙的形状表現を導入する。 0.67
We demonstrate that CSP can model open and closed shapes of arbitrary topology, and in contrast to NDF, allows for the easy computation of differential geometry properties like the tangent plane and the surface normal. 我々は, csp が任意の位相のオープンおよびクローズド形状をモデル化できることを示し, ndf とは対照的に, 接平面や面正規といった微分幾何学的性質を簡単に計算できることを示した。 0.72
Moreover, as opposed to existing implicit representations and demonstrated later, it can efficiently recover normal information with a forward pass. さらに、既存の暗黙の表現とは対照的に、後から示すように、フォワードパスで正常な情報を効率よく復元することができる。
訳抜け防止モード: さらに、既存の暗黙の表現とは対照的に、後述する。 フォワードパスで 正常な情報を効率よく回収できる。
A comparative summary of the properties discussed above for CSP and the most related art is presented in Table 1. 上記の csp と最も関連する技術について述べた特性の比較概要を表 1 に示す。 0.71
We also present a panel of illustrative results in Fig 1 which clearly demon- また,fig 1の図示的な結果のパネルも提示する。 0.65
Method DeepSDF [34] 方法 DeepSDF[34] 0.79
SAL [2] NDF [8] SAL[2] NDF[8] 0.83
CSP (Ours) CSP (複数形 CSPs) 0.61
Learning from Triangle Soups 学習 from ~ 三角形スープ 0.69
Representation Power Open Shapes Complex Topology 表現力 開いた形 複合トポロジー 0.66
High Fidelity (cid:88)   (cid:88) 高忠実度 (出典:88)...(出典:88) 0.54
Single pass normal estimation シングルパス 普通 推定 0.72
   (cid:88)  (cid:88) (cid:88) (cid:88) (cid:88) イ(cid:88) (cid:88) (cid:88) 0.67
  (cid:88) (cid:88) 第88回(第88回) 0.51
(cid:88) (cid:88) (cid:88) (cid:88) (cid:88) (cid:88) (cid:88) (cid:88) 0.73
Table 1: Comparison between CSP and closely related arts. 表1:CSPと密接に関連する芸術の比較。 0.81
strates the higher fidelity with which complex surfaces are represented by CSP when compared with SAL and NDF. SAL や NDF と比較すると、複素曲面が CSP で表される高い忠実度を示す。 0.66
Finally, we show that due to the above benefits, CSP is not only a potential method of choice for learning high fidelity 3D representations of complex topologies (open as well as closed) from the raw data, but also for many downstream applications. 最後に、上記の利点により、CSPは、複雑なトポロジ(オープンかつクローズド)の高忠実度3次元表現を生データから学習する潜在的な方法であるだけでなく、多くのダウンストリームアプリケーションにも有用であることを示す。 0.82
For this, we present (a) a fast and memory efficient rendering algorithm using an adaptation of sphere-tracing for CSPs that leverages the accurate surface normal estimates that CSP provides, and, (b) since it’s often required to extract an explicit surface representation [1], we present a coarse to fine meshing algorithm for CSPs, that can recover high-fidelity meshes faster than prior methods [8]. 本研究では, (a) CSPが提示する正確な表面正規推定値を利用する球面追跡の適応を用いた高速かつメモリ効率のよいレンダリングアルゴリズムを提案する。 (b) 明示的な表面表現を抽出するためにしばしば必要となるため, CSPのための粗い微細メッシュアルゴリズムを提示し, 従来の手法よりも高速に高密度メッシュを復元できる[8]。 0.81
To summarize, our contributions are: まとめると 私たちの貢献は 0.57
• CSP: A high fidelity representation capable of modelling both open and closed shapes, allowing for efficient estimation of differential geometric properties of the surface (Sec. • CSP: 開かつ閉形状の両方をモデル化できる高忠実度表現により, 表面の微分幾何学的性質を効率的に推定できる(Sec。 0.91
3.1) - an advancement over NDF. 3.1 - NDFへの進出。 0.69
• Normal estimation with a forward pass that significantly accelerates speed and memory efficiency of rendering (Sec. • フォワードパスによる正規推定は、レンダリングの速度とメモリ効率を著しく加速する(sec)。 0.75
3.2). • A novel sphere tracing (ST) algorithm using CSP to obtain more accurate renderings over vanilla ST for UDF. 3.2). • UDF用バニラSTよりも高精度なレンダリングを実現するために,CSPを用いた新しい球追跡アルゴリズム(ST)を提案する。 0.74
(Sec. 3.3.1). (sec)。 3.3.1). 0.61
• A faster multi-resolution surface extraction technique (Sec. • より高速な多分解能表面抽出法(Sec。 0.76
3.3.2) to extract meshes from CSP, achieving better speed and quality than existing techniques [8]. 3.3.2) CSPからメッシュを抽出し、既存の技術よりもスピードと品質を向上する[8]。 0.72
2. Related Work Explicit Shape Representations. 2. 関連する作業 明示的な形表現。 0.73
Explicit approaches primarily use voxels, meshes or point clouds for representing 3D shapes. 明示的なアプローチは主にボクセル、メッシュ、ポイントクラウドを使用して3d形状を表現する。 0.56
Voxels provide a direct extension of pixels to 3D, allowing easier extension of image processing methods for 3D shape analysis. voxelsはピクセルを3dに直接拡張し、3d形状解析のための画像処理方法を容易に拡張できる。 0.76
Several initial shape representation works are built upon this idea [30, 9, 40]. いくつかの初期形状表現作業がこのアイデア [30, 9, 40] に基づいて構築されている。 0.69
Drawbacks of using voxel representations are limited output resolution, and higher computational and memory requirements. ボクセル表現の欠点は、限られた出力解像度と高い計算量とメモリ要求である。 0.67
Mesh representations address some of these issues [19, 43, 17], although the details captured are still limited by the (predetermined) choice for the number of vertices. メッシュ表現はこれらの問題(19, 43, 17])のいくつかに対処するが、取得した詳細は頂点数に対する(事前に決められた)選択によってはまだ制限されている。 0.65
Point clouds provide a more compact and sparser representation of surface geometry, but do not yield high-fidelity reconstruction and cannot reliably model arbitrary topology. 点雲は表面幾何のよりコンパクトでスパーザーな表現を提供するが、高忠実な再構成は得られず、任意の位相を確実にモデル化することはできない。 0.56
Implicit Shape Representations. Modern implicit shape representation approaches use deep neural network models 入念な形状表現。 ディープニューラルネットワークモデルを用いた現代の暗黙的形状表現手法 0.69
2 2 0.85
(a) Overview of the proposed system (a)提案システムの概要 0.71
(b) Estimation of local geometric properties b)局所幾何学的性質の推定 0.82
Figure 2: Left: Network architecture of CSPNet (Sec. 図2: 左: cspnet (sec) のネットワークアーキテクチャ。 0.72
3.1.1). A point cloud X is the input to the volume encoder ψ to obtain a feature volume. 3.1.1). 点雲Xは、特徴量を得るために、ボリュームエンコーダaへの入力である。 0.68
The shape decoder φ is conditioned on it to obtain closest surface-point ˆp for each query point p ∈ R3. 形状デコーダ φ は、各問合せ点 p ∈ r3 に対して最も近い表面点 \p を得るように条件付けされている。 0.63
Next, we show how CSP enables extraction of both UDF, NVF, and tangent plane; which are further utilised for applications like rendering (via Sphere tracing in Sec. 次に,CSPがUDF,NVF,タンジェントプレーンの抽出を可能にする方法を示す。
訳抜け防止モード: 次に, cspがudf, nvf, 接面の抽出を可能にする方法を示す。 さらに、レンダリング(secのsphere tracing経由)のようなアプリケーションにも利用される。
3.3.1) and meshing (in Sec. 3.3.1) とメッシュ (Sec. 0.77
3.3.2). Right: Surface-normal estimation via the method described in Sec. 3.3.2). right: Surface-normal Estimation via the method described in Sec。 0.74
3.2.1. c1 and c2 refer to the basis of the tangent plane and ˆnJ fθ 3.2.1. c1 と c2 は接面の基底と snJ fθ を参照。 0.60
is the normal estimated. to implicitly represent a shape by either (1) classifying a (query) point as inside/outside a shape [31] (delineated by the modeled surface), or by (2) the signed (or unsigned) distance of the point to the surface [34], where the sign indicates inside or outside. 正常な推定値です 1)形状[31]の内側/外側に(クエリー)点を分類するか(モデル化された面によって示される)、(2)その点から面[34]までの符号付き(または符号なし)距離を、記号が内側または外側を示すことによって、暗黙的に形状を表現できるようにする。 0.70
Hybrid explicit/implicit representations are proposed [6, 14], where the implicit function is a union of inside/outside classifier hyper-planes. ハイブリッドな明示的/単純表現は [6, 14] 提案され、暗黙関数は内部/外部の分類器ハイパープレーンの結合である。 0.66
BSP-Net [6] uses a binary space partitioning network to model a convex decomposition of the 3D shape, the union of which defines a watertight separation of the inside/outside of the shape. BSP-Net [6]は、二元空間分割ネットワークを用いて、3次元形状の凸分解をモデル化し、その結合は、形状の内部/外側の水密分離を定義する。 0.75
CvxNet [14], also proposes a convex decomposition using hyper-planes but with a double representation of a complex primitive. cvxnet [14] はまた、超平面を用いた凸分解を提案するが、複素プリミティブの二重表現を持つ。 0.73
The methods described above [6, 14, 34, 31, 34] can only represent closed surfaces, with an additional requirement that the training data also comprises of closed watertight shapes, which often results in non-trivial loss of fine details [22]. 上述の方法[6,14,34,31,34]は閉曲面のみを表現でき、訓練データもまた閉密な水密形状で構成されており、これはしばしば細部[22]の非自明な損失をもたらす。
訳抜け防止モード: 上記の方法 [6, 14, 34, 31] 34 ] は閉じた表面のみを表現でき、さらにトレーニングデータも密閉した水密形状を含むことが要求される。 これは多くの場合、細かな詳細の非自明な損失をもたらす[22]。
SAL [2] provides a partial solution to this problem by proposing an unsigned similarity function to learn from ground truth unprocessed triangle soups, but eventually infers a shape representation which can only model closed shapes. SAL [2] はこの問題に対する部分解として、符号なし類似関数を提案して、基底真理未処理の三角形スープから学習するが、最終的には閉形状のみをモデル化できる形状表現を推論する。
訳抜け防止モード: SAL [ 2 ] はこの問題に対する部分解を提供する 未処理の三角形スープから学ぶために 符号なしの類似関数を提案する しかし最終的には 閉じた形だけをモデル化できる 形状表現を推測します
NDF [8] overcomes this limitation by using a UDF to represent both open and closed shapes, but cannot easily provide high fidelity estimates of differential geometry (surface normal, tangent plane) due to the vanishing gradient of the UDF on the surface. NDF [8] はこの制限を UDF を用いて開放形状と閉形状の両方を表現することで克服するが, 表面上のUDF の傾きの消失により, 微分幾何(表面正規, 接面)の高忠実度推定を行うことはできない。 0.86
In contrast, CSPs can model arbitrary topologies (both open and closed) while also allowing for simple, efficient and high-fidelity computation of differential surface geometry as opposed to the prior art [8, 2, 6, 31, 34, 14]. 対照的に、CSPは任意のトポロジ(開かつ閉)をモデル化できると同時に、従来の技術(8, 2, 6, 31, 34, 14)とは対照的に、微分曲面幾何学の単純で効率的かつ高忠実な計算を可能にする。 0.69
3. Approach In this section we present the proposed shape representation, and how it can be used for downstream applications. 3. アプローチ 本稿では,提案する形状表現と下流アプリケーションへの適用方法について述べる。 0.75
A schematic of the system architecture is presented in システムアーキテクチャの図式を以下に示す。 0.62
Fig. 2. We start below with first defining the proposed implicit shape representation (Sec. フィギュア。 2. まず最初に提案された暗黙の形状表現(Sec)を定義します。 0.64
3.1) and deep neural network model for the same (Sec. 3.1)およびそれに対するディープニューラルネットワークモデル(sec。 0.80
3.1.1). Then, we present approaches to estimate the local geometric properties of the surface, e g the tangent plane and the surface normal (Sec. 3.1.1). 次に,表面の局所的幾何学的性質,例えば接面と面正規度を推定する手法を提案する(Sec。 0.67
3.2) and finally propose algorithms for using CSP for downstream applications like rendering (Sec. そして最後に、レンダリング(Sec.2)のような下流アプリケーションにCSPを使用するアルゴリズムを提案する。 0.58
3.3.1) and meshing (Sec. 3.3.1)およびメッシュ(Sec。 0.69
3.3.2). 3.1. 3.3.2). 3.1. 0.65
Shape Representation Given a surface S ⊂ R3 and a (query) point p ∈ R3, we define the Closest Surface Point CSP as a function CSP(p) : R3 (cid:55)−→ S, such that 形状表現 曲面 S, R3 と (クエリ) 点 p ∈ R3 が与えられたとき、最も近い曲面点 CSP を函数 CSP(p) : R3 (cid:55)− → S と定義する。 0.79
CSP(p) = ˜p, s.t. CSP(p) = .p, s.t。 0.86
˜p = argmin ps∈S p = argmin ps rsss である。 0.48
(1) where ˜p is the closest point on the surface S to the query point p. Given the closest surface-point, UDF can be trivially calculated as: 1) Ap がクエリ点 p に対して表面 S の最も近い点である場合、UDF は次のように自明に計算できる。 0.66
(cid:107)p − ps(cid:107)2 (cid:107)p − ps(cid:107)2 0.86
UDF(p) = (cid:107)p − ˜p(cid:107)2 UDF(p) = (cid:107)p − >p(cid:107)2 0.87
(2) 3.1.1 CSPNet: A Deep Neural CSP Model (2) 3.1.1 CSPNet: ディープニューラルCSPモデル 0.83
We model CSP using a deep neural network which we demonstrate to be robust to training with noisy data generated from a noisy triangle soup. 本研究では,ニューラルネットワークを用いてcspをモデル化し,ノイズトライアングルスープから発生するノイズデータを用いたトレーニングに頑健であることを実証する。 0.65
We illustrate the complete architecture in Fig 2. 完全なアーキテクチャを図2で示します。 0.72
There are two main components of the proposed CSPNet. CSPNetには2つの主要なコンポーネントがある。 0.79
Volume Encoder. ボリュームエンコーダ。 0.65
For any input 3D shape, the volume encoder ψ produces a feature volume which is isotopic1 to the volume enclosing the input shape. 任意の入力3d形状に対して、ボリュームエンコーダψは、入力形状を囲むボリュームに対して等方1である特徴ボリュームを生成する。 0.80
Each feature voxel encodes properties of the surface from the vantage それぞれの特徴ボクセルは、バンテージから表面の特性を符号化する 0.69
1Having the same topology as the enclosing volume (not the input 3D 1 囲む体積と同じトポロジーを持つ(入力3dではない) 0.69
shape) 3 Feature VolumeTrilinear InterpolationSphere TracingMeshingForwar d-mode surface normals (NVF)UDFRobust on-surface Tangent plane estimatesFeature VolumeTrilinear Interpolation 形) 3 特徴量トリリニア補間Sphere TracingMeshingForwar d-mode Surface normals (NVF)UDFRobust on- surface Tangent plane estimatesFeature Volume Trilinear Interpolation 0.77
point of the voxel. voxel (複数形 voxels) 0.52
For the implementation in this paper, we follow the architecture of Convolutional Occupancy Networks [35] for the volume encoder ψ. 本稿では,ボリュームエンコーダ ψ に対する畳み込み占有ネットワーク [35] のアーキテクチャについて述べる。 0.61
The encoder takes as input the entire point cloud for the input shape and produces a volumetric feature encoding. エンコーダは入力形状の点雲全体を入力としてボリューム特徴符号化を生成する。 0.76
More specifically, PointNet [38] is used to encode point features. より具体的には、pointnet [38] は点の特徴をエンコードするために使われる。 0.62
To get volumetric features, a voxel grid is constructed and voxel features are computed by (average) pooling features for the points that correspond to the voxel under consideration. 体積的特徴を得るために、ボクセルグリッドを構築し、検討中のボクセルに対応する点に対する(平均)プール機能によってボクセル特徴を算出する。 0.67
This is followed by a 3D U-Net which produces the final encoding of the feature volume, resulting in a feature of dimension F for each voxel. 続いて、3D U-Netが特徴量の最終エンコーディングを生成し、その結果、各ボクセルの次元 F の特徴が生じる。 0.69
Shape Decoder. The feature corresponding to the input query point p is sampled from the 3D feature volume using trilinear interpolation, and passed into the shape decoder φ along with query point p. The shape decoder φ uses the features encoding the shape to predict the surface point closest to p. Here on, we will use fθ and gθ to denote the DNN approximations to the CSP and the UDF functions respectively, where θ denotes the union of parameters of both encoder and decoder. 形状デコーダ。 入力クエリポイント p に対応する特徴は、3次元特徴量からトリ線形補間を用いてサンプリングされ、形状デコーダ φ に渡され、形状デコーダ φ は、p に最も近い表面点を予測するために形状を符号化する特徴を用いており、ここでは、fθ と gθ を用いて、それぞれ CSP と UDF 関数への DNN 近似を示す。 0.70
Note that the output of CSPNet, fθ, directly provides an estimate for CSP while the estimate for the UDF, gθ, is obtained as (cid:107)p − fθ(p)(cid:107)2 using (2). cspnet の出力である fθ は直接 csp の見積もりを提供し、udf の推定値 gθ は (2) を用いて (cid:107)p − fθ(p)(cid:107)2 として得られる。 0.72
3.2. Differential Surface Geometry 3.2. 微分曲面幾何学 0.72
For any query point p, CSPNet directly provides us with an estimate of both the closest point on the surface fθ(p) as well as the unsigned distance to it, gθ(p). 任意の問合せ点 p に対して、CSPNet は表面 fθ(p) 上の最も近い点とそれへの符号なし距離 gθ(p) を直接推定する。 0.66
However, in addition, a variety of downstream applications in vision [24, 36], robotics [15, 32], graphics [12], and animation [42] need estimates of local differential properties of the surface like the tangent plane and normal at any surface point. しかし、視覚[24, 36]、ロボティクス[15, 32]、グラフィックス[12]、アニメーション[42]における下流の様々な応用には、接面のような表面の局所的な微分特性と任意の表面点での正規性の推定が必要である。
訳抜け防止モード: しかしながら、視覚[24, 36]における下流アプリケーションも多様である。 ロボティクス[15,32],グラフィックス[12], そしてアニメーション [42] は任意の表面点において接平面や正規面のような表面の局所的な微分特性の見積もりを必要とします。
We show below how we can easily estimate these properties. これらの特性を簡単に見積もる方法を示します。 0.63
3.2.1 Using the Jacobian Let p be any query point and ˜p ∈ S be its closest point on the surface S. Further, let J fθ ( ˜p) denote the Jacobian of fθ at ˜p. 3.2.1 ヤコビアンを用いて、p を任意の問合せ点とし、p ∈ S を表面 S の最も近い点とする。
訳抜け防止モード: 3.2.1 ヤコビアンを用いて、p を任意の問合せ点とし、p ∈ S を表面 S の最も近い点とする。 J fθ を fθ の p におけるジャコビアンとする。
Let δ be the unsigned distance from p to ˜p and d be the surface normal at ˜p. δ を p から p への符号のない距離とし、d を p における曲面正規とする。 0.69
Then, we get the following approximation using the first-order Taylor series expansion: 次に、一階テイラー級数展開を用いて次の近似を得る。 0.66
p = ˜p + δ · d p = sp + δ · d 0.81
fθ(p) = fθ( ˜p + δ · d) ˜p ≈ ˜p + δ · J fθ ( ˜p) · d fθ(p) = fθ( >p + δ · d) >p > </p + δ · J fθ( >p) · d 0.84
0 ≈ δ · J fθ ( ˜p) · d 0 ~ δ · J fθ ( ~p) · d 0.89
(3) The last equation shows that (to a first order approximation of the surface), the surface normal d lies in the null space of the Jacobian J fθ ( ˜p) while the span of the Jacobian provides the tangent space of the surface. (3) 最後の方程式は(曲面の第一次近似に対して)表面正規度 d がヤコビアン J fθ の零空間にあることを示し、一方ヤコビアンのスパンは曲面の接空間を提供する。 0.76
This is illustrated in the Fig 2b and is intuitively clear since along the direction perpendicular to the surface, the CSP function does not これは図2bに示され、表面と垂直な方向に沿ってcsp関数が持たないので直感的に明確である。 0.77
4 change, giving the same closest surface point. 4 変化し、最も近い表面点を与える。 0.75
The tangent space and the normal to the surface both can be estimated using singular value decomposition (SVD). 接空間と表面への正規空間は、特異値分解(SVD)を用いて推定することができる。 0.76
However, computation of Jacobian requires a backward pass through CSPNet. しかし、ヤコビアンの計算は CSPNet の後方通過を必要とする。 0.66
Prior works which differentiate the distance function on the zero level-set (i.e the surface) [34] also need a backward pass. ゼロレベル集合上の距離関数(すなわち曲面) [34] を区別する以前の作業も後方通過を必要とする。 0.81
Even so, since the derivative of UDFs vanish at the surface, NDF estimates the normals close to the surface [8] leading to some loss in fidelity. それでも、UDFの微分が表面で消えるので、NDFは表面 [8] に近い正規度を推定し、ある程度の忠実度が失われる。 0.67
3.2.2 Forward Mode Normal Estimation 3.2.2 前向きモード正規推定 0.66
In certain applications like rendering, sphere tracing is used to obtain a point on the surface and it is needed to quickly and efficiently estimate the normal at the point of intersection [12]. レンダリングのような特定のアプリケーションでは、球面トレースは表面上の点を得るために使われ、交点の点での正規値を迅速かつ効率的に見積もる必要がある [12]。 0.71
We can use the Jacobian approach presented in the previous section but it requires a backward pass. 前節で示したジャコビアンアプローチを使うことができるが、後方通過が必要である。 0.62
An alternate approach for obtaining a fast approximation for the surface normal, using a forward pass from a query point p close to but not on the surface is by using the Normal Vector Field (NVF) defined as follows: p − ˜p UDF(p) 曲面正規の高速近似を得るための別のアプローチとして、クェリ点 p から近接しているが表面上ではない前方通過を用いて、次のように定義される正規ベクトル場 (NVF) を用いる。 0.70
NVF(p) = (4) NVF(p) = (4) 0.85
We represent the corresponding estimate for NVF by hθ as (p − fθ(p))/gθ(p). 我々は、hθ による NVF の対応する推定を (p − fθ(p))/gθ(p) と表現する。 0.69
We refer to this method of estimating normals as forward-mode normal estimation. 本稿では,本手法をフォワードモード正規推定と呼ぶ。 0.60
Since there is no backward pass involved, it is faster than the previous methods. 後方パスは不要であるため、以前の方法よりも高速である。 0.64
We demonstrate the utility of this approach in Sec. 我々はこのアプローチの有用性をsecで実証する。 0.57
4.2 and validate its performance both in terms of accuracy and speed via extensive experimental evaluation. 4.2 広範囲な実験評価により精度と速度の両面で性能を検証する。 0.87
More generally, fast estimation of the NVF at off-surface locations is vital to robotics applications such as path planning in distance fields [15, 32]. より一般に、地表外の場所でのnvfの高速推定は、遠隔地における経路計画のようなロボティクス応用に不可欠である [15, 32]。 0.75
3.3. Rendering and Meshing 3.3. レンダリングとメッシュ化 0.71
In this section, we describe techniques for rendering surfaces and extracting topologically consistent meshes from the the learnt representation. 本稿では,表面を描画し,学習表現から位相的に一貫性のあるメッシュを抽出する手法について述べる。 0.61
Note that this process is important for many downstream vision applications such as shape analysis [26] and graphics applications such as rendering novel scenes under changed illumination, texture or camera viewpoints [37]. このプロセスは、形状解析[26]のような多くの下流ビジョンアプリケーションや、照明、テクスチャ、カメラの視点を変えて新しいシーンを描画するグラフィックアプリケーションにとって重要であることに注意してください [37]。
訳抜け防止モード: このプロセスは、形状解析のような多くの下流ビジョンアプリケーションにとって重要であることに注意してください [26]。 グラフィック・アプリケーションや 照明, テクスチャ, カメラの視点の変化 [37]
3.3.1 Sphere Tracing CSP 3.3.1 球追跡CSP 0.60
Sphere tracing [21] is a standard technique to render images from a distance field that represents the shape. 球面追跡 [21] は、形状を表す距離場から画像を描画する標準的な技術である。 0.73
To create an image, rays are cast from the focal point of the camera, and their intersection with the scene is computed using sphere tracing. 画像を作成するには、カメラの焦点から光線を鋳造し、そのシーンとの交点を球面追跡を用いて計算する。 0.71
Roughly speaking, irradiance/radiance computations are performed at the point of intersection to obtain the color of the pixel for that ray. 大まかに言えば、交差点において照度/照度計算を行い、その光に対する画素の色を得る。 0.61
The sphere tracing process can be described as follows: given a ray, r, originating at point, p0, iterative marching 球面追跡過程は次のように記述できる: 与えられた光線 r, 点元 p0, 反復マーチング 0.71
Figure 3: Left: An illustration of the Sphere Tracing procedure described in Section. 図3: 左: セクションに記載された球面追跡手順のイラスト。 0.71
3.3.1. Right: Leveraging the NVF for obtaining more accurate ray-scene intersections. 3.3.1. 右:より正確なレイシーンの交差点を得るためにNVFを活用する。 0.55
along the ray is performed to obtain its intersection with the surface. 面との交点を得るために光線に沿って行われる。 0.67
In the first iteration, this translates to taking a step along the ray with a step size of UDF(p0) to obtain the next point p1 = p0 + r · gθ(p0). 最初のイテレーションでは、次の点 p1 = p0 + r · gθ(p0) を得るために、UDF(p0) のステップサイズで線に沿って歩むことになる。 0.72
Since gθ(p0) is the smallest distance to the surface, the line segment [p0, p1] of the ray is guaranteed not to intersect the surface (p1 can touch but not transcend the surface). gθ(p0) は表面への最小距離であるため、光線の線分 [p0, p1] は表面と交差しないことが保証される(p1 は接触できるが表面を横切らない)。 0.85
The above step is iterated i times till pi is  close to the surface. 上記のステップは、pi が表面近くになるまで i 回反復される。 0.63
The i-th iteration is given by pi = pi−1+gθ(pi−1) and the stopping criteria gθ(pi) ≤ . i 番目の反復は pi = pi−1+gθ(pi−1) と停止条件 gθ(pi) ≤ で与えられる。 0.74
Note that the above procedure can be used to get close to the surface but does not obtain a point on the surface. 上記の手順は、表面に近づくのに使えるが、表面上の点を得ることができないことに注意されたい。 0.80
Once we are close enough to the surface, we can use a local planarity assumption (without loss of generality) to obtain the intersection estimate. 曲面に十分近づくと、(一般性を失うことなく)局所的な平面性仮定を用いて、交叉推定値を得ることができる。 0.67
This is illustrated in Figure 3 and is obtained in the following manner: if we stop the sphere tracing of the CSP at a point pi, we evaluate the NVF at that point as ˆn = hθ(pi), and compute the cosine of the angle between the NVF and the ray direction. これは図3に示され、次の方法で得られる: ある点 pi において CSP の球追跡を停止すると、その点における NVF を >n = hθ(pi) と評価し、NVF と ray 方向の間の角度の余弦を計算する。 0.73
The estimate is then obtained as pproj = pi + r · gθ(pi) rT ˆn . この推定は pproj = pi + r · gθ(pi) rT {\displaystyle rT}n} として得られる。 0.64
3.3.2 From CSP to Meshes 3.3.2 CSPからメッシュへ 0.66
Sphere tracing CSP, described in the previous section, can only be used to render a view of the shape. 前節で説明されている球面トレースcspは、形状の表示にのみ使用できる。 0.54
Thus, the extracted surface is immutable and cannot be used for applications such as 3D shape modeling, analysis and modification [26]. したがって、抽出された表面は不変であり、3次元形状モデリング、解析、修正などの用途には使用できない[26]。 0.80
Explicit 3D mesh representations are more amenable for such applications. 明示的な3Dメッシュ表現は、そのようなアプリケーションにもっと適しています。 0.54
In this section, we propose an approach to extract a 3D mesh out of the learnt CSP. 本稿では,学習したCSPから3次元メッシュを抽出する手法を提案する。 0.71
A straightforward way to extract a mesh from an implicit representation is to create a high-resolution 3D distance grid and using the marching cubes algorithm [28] on this grid. 暗黙の表現からメッシュを抽出する簡単な方法は、高解像度の3D距離グリッドを作成し、このグリッド上のマーチングキューブアルゴリズム[28]を使用することである。 0.74
However, as discussed in [31] this process is computationally expensive at high-resolutions, as we need to densely evaluate the grid. しかし、[31]で述べたように、グリッドを密に評価する必要があるため、このプロセスは高解像度で計算的に高価である。 0.55
In [31] a method for multi-resolution surface extraction technique is proposed by hierarchically creating a binary occupancy grid by conducting inside/outside tests for a binary classifier based implicit representation. In [31] this method for multi- resolution surface extract technique by Hierarchically create a binary occupancy grid by conduct for inside/outside tests for a binary classifier based implicit representation。 0.83
However, CSPs cannot perform inside/outside tests. しかし、CSPは内部/外部テストを実行できない。 0.67
Hence we propose a novel technique to hierarchically divide the distance grid using edge lengths of the voxel grid cubes. そこで我々は,voxelグリッドキューブのエッジ長を用いて距離グリッドを階層的に分割する新しい手法を提案する。 0.69
We illustrate the procedure in Fig 4. 以下の手順を図4に示す。 0.64
Starting with a voxel grid at some initial resolution, we obtain a high resolution distance grid and perform marching cubes on the 最初の解像度でボクセルグリッドから始め、高分解能距離グリッドを取得し、マーチングキューブを実行する。 0.63
Figure 4: Multi-Resolution surface extraction for CSP (described in Section. 図4: CSPの多解表面抽出(セクションを参照) 0.78
3.3.2). At each level of hierarchy, we show the voxels selected for subdivision. 3.3.2). 各階層レベルでは、下位区分に選択されたボクセルを示す。 0.62
Note that there are a some false positive voxels selected close to the shape which get eliminated in the next hierarchical level (Step 2 to Step 3), and are pruned out by using a small positive threshold while meshing the distance-grid in the Marching cubes (MC) step. なお、次の階層レベル(ステップ2からステップ3)で排除され、マーチングキューブ(MC)ステップで距離グリッドをメッシュ化しながら小さな正のしきい値を用いて刈り取られる形状に近い偽正のボクセルがいくつか存在することに注意されたい。 0.78
grid using a small positive threshold to get the final mesh. 最終メッシュを得るために小さな正の閾値を使ってグリッド。 0.74
A voxel is chosen for subdivision if any of its eight corners have the predicted UDF value gθ(x) < hi, where hi is the edge length of the voxel grid at the i(cid:48)th level. ボクセルは、8つの角のうちどれかが予測されたudf値 gθ(x) < hi を持つ場合は部分分割として選択され、ここでhiはi(cid:48) レベルのボクセルグリッドのエッジ長である。 0.61
The voxels that are not chosen for subdivision are simply discarded in the next level. 分割のために選択されていないボクセルは、単に次のレベルで破棄される。 0.54
Using this procedure, we quickly obtain a high-resolution distance grid, which is converted to a mesh using marching cubes. この手法を用いて,マーチングキューブを用いてメッシュに変換した高分解能距離グリッドを高速に取得する。 0.71
Note that, our algorithm selects a few false positive voxels in the final resolution, but these are effectively pruned out in the final mesh by using a small positive threshold in the marching cubes [28] step. 提案アルゴリズムは最終解像度でいくつかの偽正のボクセルを選択するが, マーチングキューブ[28]ステップの小さな正のしきい値を用いて, 最終メッシュで効果的に切断される。 0.76
4. Experiments In this section, we validate the different parts of our proposed system outlined in Fig 2 against a selection of prior art. 4. 実験 本稿では,fig2で概説された提案システムの異なる部分を,先行技術の選択に対して検証する。 0.81
First we demonstrate the superiority of the proposed implicit shape representation (CSP: Sec. まず,提案する暗黙の形状表現(csp: sec)の優位性を示す。 0.74
3.1) on the task of surface reconstruction from point clouds. 3.1) 点雲からの表層復元の課題について 0.60
Next, we validate the proposed methods for extracting local surface properties such as surface normals (described in Sec. 次に,表面正規化などの局所的な表面特性を抽出する手法について検証した。 0.74
3.2). Finally, we test the novel sphere-tracing algorithm for CSPs and the coarse to fine meshing algorithm (described in Sec. 3.2). 最後に、CSPのための新しい球追跡アルゴリズムと粗いメッシュアルゴリズム(Secに記述されている)をテストする。 0.73
3.3). Baselines. 3.3). ベースライン。 0.72
Most existing methods such as Occupancy Networks [31], DeepSDF [34], Point-Set Generation Networks [16], Deep Marching Cubes [27] and IF-Net [7] only work on watertight (i.e. Occupancy Networks [31], DeepSDF [34], Point-Set Generation Networks [16], Deep Marching Cubes [27], IF-Net [7] などの既存の手法は防水性(水密性)にのみ対応している。 0.90
closed) shapes. We com- 閉鎖) 形状。 という。 0.58
5 SurfaceSurface✓χ✓✓✓✓✓✓✓✓✓✓✓✓✓ X X X X X X✓✓ X X X X X✓ X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓✓MC 5 Surface Surface × X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X 0.78
pare against these methods to verify that our method retains performance on closed shapes, in addition to being able to model open shapes. これらの手法に対してpareは, オープン形状のモデル化に加えて, 閉じた形状でも性能が保たれていることを検証した。
訳抜け防止モード: 検証の方法に 逆らって 我々の手法は オープンな形状をモデル化できるだけでなく クローズドな形状の性能を保ちます
On the other hand, for comparing performance on raw/unprocessed shapes, we choose SAL [2] and NDF [8]. 一方, 生・未処理形状の性能を比較する場合, SAL [2] と NDF [8] を選択する。 0.75
While these methods can work with nonwatertight (i.e. これらの手法は非水位(すなわち)で機能する。 0.58
unprocessed) ground truth, they still require a backward pass to estimate surface normals, which leads to an added computational and memory footprint. 未処理) 基礎的な真実は 表面の正常を推定するために 後向きのパスが必要だ 計算とメモリのフットプリントが 追加される 0.76
Additionally, while NDF can reconstruct both open as well as closed shapes, it is unable to guarantee plane reproduction and accurate normal estimates on the surface of the shape. また, ndfは, 閉じた形状だけでなく, 閉じた形状も復元できるが, 平面再生の保証や形状表面の正確な正規推定はできない。 0.75
In the following sections, we show empirically that our method addresses these challenges. 以下の節では,本手法がこれらの課題に対処できることを実証的に示す。 0.52
4.1. Shape Representation In this section, we demonstrate the representational power of our model on ShapeNet dataset [5]. 4.1. 形状表現 本稿では,shapenet データセット [5] 上でのモデルの表現力を示す。 0.72
We consider the task of surface reconstruction from point clouds, and first evaluate on closed shapes to verify that our proposed generic shape representation yields comparable performance to state-of-the art methods which are solely meant to work on watertight shapes [34, 31, 16]. 点雲から表面を復元する作業について検討し,まずクローズドな形状について検討し,提案した汎用形状表現が,水密な形状 [34, 31, 16] にのみ作用する技術手法と同等の性能を示すことを示す。 0.84
Second, we evaluate our method against NDF and SAL on raw, unprocessed shapes. 次に,NDF法とSAL法を生未処理形状で評価した。 0.65
Before describing the results, we present the evaluation metrics that we consider. 結果を説明する前に,検討した評価指標を紹介する。 0.74
4.1.1 Evaluation metrics A common practice for evaluating 3D reconstruction pipelines is the chamfer distance metric [34, 2, 8]. 4.1.1評価指標 3次元再構成パイプラインの評価には, チャンファー距離測定 [34, 2, 8] が一般的である。 0.66
However, as discussed in some prior work [44], this metric does not reflect the perceptual quality of the rendered image. しかし、先行研究[44]で論じられているように、この計量はレンダリング画像の知覚的品質を反映していない。 0.65
Moreover, for applications such as relighting [29] it is desirable to obtain surface normal maps by directly rendering the iso-surface using sphere-tracing, as opposed to extracting a mesh. さらに, [29] をリライトするアプリケーションでは, メッシュの抽出よりも, iso 面を直接球面トレーシングで描画することで, 表面正規写像を得るのが望ましい。 0.76
Clearly, there is a need to evaluate implicit shape representations on the perceptual quality of their iso-surfaces rendered via sphere-tracing. 明らかに、球面追跡によって描画されるアイソ表面の知覚的品質について、暗黙的な形状表現を評価する必要がある。
訳抜け防止モード: 明らかに、必要です。 球面から描画される表面の知覚的品質に対する暗黙的な形状表現を評価する。
Therefore, in addition to the chamfer distance we propose new metrics (outlined below) which are designed to reliably capture these properties. したがって, チャンファー距離に加えて, これらの特性を確実に捉えるように設計された新しい指標(下記のアウトライン)を提案する。 0.69
Depth Error (DE). Depth Error (DE) の略。 0.74
First we evaluate the mean absolute error (MAE) between the ground truth and the estimated depth map obtained by sphere-tracing the learnt representation. まず,学習者表現の球面追跡により得られた基底真理と推定深度マップとの間の平均絶対誤差(MAE)を評価する。 0.78
This error is evaluated only on the “valid” pixels, which we define as the pixels having non-infinite depth (foreground) in both the ground truth and estimated depth map. この誤差は、基底真理と推定深度マップの両方において、不定深度(地上)の画素として定義する「無効」画素のみに評価される。 0.76
This metric captures the accuracy of ray-surface intersection. この計量は、線面交差の精度を捉える。 0.64
Normal Cosine Similarity (NCS). 標準コサイン類似性(NCS)。 0.69
We also evaluate the cosine similarity between the sphere-traced normal map and the ground truth normal map for the valid pixels. また,球追跡正規写像と有効画素に対する基底真理正規写像のコサイン類似性も評価した。
訳抜け防止モード: また,球面-トレース正規写像間のコサイン類似性も評価した。 そして、有効画素の基底真理正規マップ。
Since this the surface normals play a vital role in rendering, metric is informative of the fidelity of the rendered surface. 以来 この表面の正常はレンダリングにおいて重要な役割を果たす メートル法はレンダリングされた表面の忠実さを知らせる 0.70
Pixel-Space IOU. Pixel-Space IOU 0.86
Finally, since both Depth Error and NCS are evaluated only on the valid pixels, they do not quantify whether the geometry of the final shape is correct. 最後に、Depth Error と NCS はどちらも有効な画素でのみ評価されるため、最終的な形状が正しいかどうかを定量化しない。 0.72
Therefore, we also evaluate Pixel-Space IOU, したがって、Pixel-Space IOUも評価する。 0.62
IOU = #Valid Pixels IOU = #Valid Pixels 0.85
#Invalid Pixels + #Valid Pixels #invalid pixels + #valid pixels 0.71
(5) Here the invalid pixels are those which have non-infinite depth (foreground) in either the ground truth depth map or the estimated depth map but not both. (5) ここで、無効画素は、基底真理深度マップまたは推定深度マップのいずれかに無限深度(地上)を持たないものであって、両方ではない。 0.80
Note that for the proposed metrics, we render the shape from 6 views (uniformly sampled on sphere) to capture all the regions of the surface. 提案した計測値に対して、6つのビュー(球面に一様にサンプリングされた)の形状を描画して、表面のすべての領域をキャプチャする。
訳抜け防止モード: 提案するメトリクスでは、6つのビュー(球面上で一様にサンプリングされた)から形状をレンダリングする。 表面の全ての領域を捉えます
4.1.2 Data creation 4.1.2データ作成 0.57
We normalize each mesh in the ShapeNet dataset to [−0.5, 0.5]. ShapeNetデータセットの各メッシュを[-0.5, 0.5]に正規化する。 0.69
For each shape, we densely sample a set of 0.25M points, denoted by the set V, to represent the set of surface points. 各形状について、集合 V で表される 0.25M 個の点の集合を密にサンプリングし、曲面点の集合を表す。 0.75
The training points P are obtained for each shape by uniformly sampling 0.025M points as well as perturbing the set V with a gaussian noise of 2.5e−4 and 2.5e−3. トレーニングポイントPは、0.025M点を均一にサンプリングするとともに、ガウス雑音2.5e−4,2.5e−3でセットVを摂動することにより各形状に対して得られる。
訳抜け防止モード: 各形状のトレーニングポイントPは、0.025M点を均一にサンプリングして得られる。 集合 V をガウス雑音 2.5e−4 と 2.5e−3 で摂動する。
Finally, the ground truth for each of these training points p ∈ P is computed by finding the nearest surface point ˜p ∈ V to construct the training pair (p, ˜p). 最後に、これらの訓練点 p ∈ p の基底真理は、最も近い表面点 ,p ∈ v を見つけ、訓練対 (p, , p) を構成することによって計算される。 0.73
4.1.3 Training 4.1.3 トレーニング 0.49
Note that, we only train fθ, and gθ and hθ can be derived from it in the same way UDF and NVF can be derived from CSP in eq. 注意すべき点は、fθ と gθ と hθ は、UDF と NVF が eq の CSP から導出されるのと同じ方法で、fθ と hθ を導出することができることである。
訳抜け防止モード: 注意すべきは、我々はfθのみを訓練する。 gθ と hθ も同様に導出できます udf と nvf は eq の csp から派生することができる。
2 and eq. 4 respectively. 2およびeq。 4であった。 0.66
Given fθ(p|X) = φ(ψ(X), p), as the training objective, we simply use the squared L2 loss between the estimated closest surface-point fθ(p|X) and the ground-truth ˜p(= CSP(p|X)) ||fθ(p|X) − ˜p||2 トレーニング目的として fθ(p|X) = φ(p(X), p が与えられたとき、推定された最も近い曲面点 fθ(p|X) と基底トラス >p(= CSP(p|X)) ||fθ(p|X) − >p||2 の間の平方 L2 の損失を単純に使う。 0.69
LCSP = (6) LCSP = (6) 0.85
2 (cid:88) 2 (cid:88) 0.82
p∈P 1 |P| 4.1.4 Evaluation on closed shapes p・P 1 |P| 4. 閉じた形状の評価 0.60
We convert all the ShapeNet 3D models to closed shapes by following the steps in [39]. すべてのShapeNet 3Dモデルを[39]のステップに従ってクローズドな形状に変換する。 0.84
Following this, we run our data creation process (outlined in Sec. これに続いて、データ生成プロセス(Sec.NETでアウトライン化)を実行します。 0.53
4.1.2). After training our proposed surface reconstruction pipeline, we compare to the selected prior art outlined earlier and report the results in Table. 4.1.2). 提案する表面再構築パイプラインを訓練した後,前回概説した先行技術と比較し,結果を表に示す。 0.70
2. Note that DeepSDF trains separate models for different classes in ShapeNet, whereas NDF, Occupancy Networks and PSGN train class-agnostic models. 2. DeepSDFはShapeNetの異なるクラスのモデルを別々に扱うが、NDF、Occupancy Networks、PSGNはクラスに依存しない。 0.78
Hence, we train a class-agnostic CSP and finetune the model on individual classes to report results in Table 2. したがって、クラスに依存しないCSPをトレーニングし、個々のクラスでモデルを微調整して結果を表2に示す。 0.63
We find that our per-class models outperform DeepSDF, and our class agnostic model performs on par with NDF. クラスごとのモデルはDeepSDFより優れており、クラスに依存しないモデルはNDFと同等に動作します。 0.67
6 6 0.85
Method Chamfer-L2 ↓ 方法 Chamfer-L2 0.63
PSGN [16] Occ. PSGN [16] Occ。 0.73
Net [31] DMC [27] IF-Net [7] NDF [8] Net[31] DMC[27]IF-Net[7] NDF[8] 0.88
CSP (Ours) CSP (複数形 CSPs) 0.61
4.0 4.0 1.0 0.2 0.05 0.1 4.0 4.0 1.0 0.2 0.05 0.1 0.43
Class Sofas Chairs Tables Planes Lamps クラス ソファチェア テーブル ランプ 0.64
Chamfer-L2 ↓ Chamfer-L2 0.49
DeepSDF [34] CSP (Ours) DeepSDF [34] CSP (Ours) 0.85
3.29 3.41 8.39 1.77 9.09 3.29 3.41 8.39 1.77 9.09 0.44
0.32 0.15 0.20 0.04 0.09 0.32 0.15 0.20 0.04 0.09 0.44
Table 2: Results on closed shapes. 表2: 閉じた形の結果。 0.80
Left: Single model Right: Comparison to for all classes of ShapeNet. 左:シングルモデル右:ShapeNetの全クラスとの比較。 0.74
DeepSDF [34] on per-class models. クラス毎のモデルにおけるDeepSDF [34]。 0.77
Note that the numbers are reported (×104). 数字は報告されている(×104)。 0.81
4.1.5 Evaluation on unprocessed shapes 4.1.5 未加工形状の評価 0.59
In addition to closed shapes, CSP can also represent shapes of arbitrary topology. 閉形状に加えて、CSPは任意の位相の形状を表現することもできる。 0.63
Therefore, we also train on unprocessed ShapeNet 3D models and evaluate performance using the metrics defined in Sec. したがって、未処理のShapeNet 3Dモデルもトレーニングし、Secで定義されたメトリクスを使用してパフォーマンスを評価する。 0.60
4.1.1. We compare against SAL and NDF, which are methods that can learn representations from raw/unprocessed ground truth. 4.1.1. 原/未処理の真理から表現を学習する手法であるSALとNDFを比較した。 0.61
1 This comparison is reported in Table 3. 1 この比較は表3で報告されている。 0.71
We find that CSP marginally outperforms NDF on chamfer, depth and IOU metrics, but yields a significant improvement on the surface normals metric owing to the useful plane reproduction property of CSP. CSPは, チャンファー, 深度, IOU測定値においてNAFをわずかに上回っているが, CSPの有効平面再生特性により, 表面の正常値に有意な改善が得られた。 0.71
Additionally, SAL clearly suffers on all metrics, given that it learns a signed distance function (closed shape) even for surfaces that are open. さらに、SALは、開面であっても符号付き距離関数(閉形)を学ぶことを考えると、すべての指標に明らかに苦しむ。 0.71
This behavior can also be confirmed in the qualitative results shown in row 2 of Fig 1. この挙動は、図1の行2に示されている定性的な結果でも確認できる。 0.70
Method SAL [2] NDF [8] SAL [2] NDF [8] 0.69
CSP (Ours) CSP (複数形 CSPs) 0.61
Chamfer-L2 ↓ Depth ↓ Normal ↑ チャンファー-L2 - 奥行き - 師範 0.35
2.25 1.73 1.28 2.25 1.73 1.28 0.47
0.025 0.018 0.014 0.025 0.018 0.014 0.47
0.84 0.86 0.92 0.84 0.86 0.92 0.47
IOU ↑ 0.96 0.97 0.98 IOU:0.96 0.97 0.98 0.52
Table 3: Results on unprocessed shapes. 表3:未処理の形状の結果。 0.79
We evaluate both on chamfer distance metric as well as the three additional metrics defined in Sec. 我々は、chamfer距離メトリックとsecで定義された3つの追加メトリクスの両方を評価する。 0.61
4.1.1. For all methods, we obtained normals by leveraging first order information. 4.1.1. 全ての方法において, 1次情報を利用して正規値を得た。 0.50
Chamfer distance is reported (×104). チャンファー距離を報告する(×104)。 0.65
4.2. Local Surface Properties 4.2. 局所表面特性 0.70
In Sec. 3.2, we described various strategies to estimate surface normals using the learnt implicit representation. Sec。 3.2 学習型暗黙表現を用いた表面正規値推定手法について述べる。 0.58
We refer to the strategy using the Jacobian as CSP (jac.) ヤコビアン戦略を CSP (jac) と呼ぶ。 0.44
and the one using the forward pass (eqn. フォワードパスを使用するもの(eqn)。 0.51
4) as CSP (fwd. 4), CSP (fwd。 0.65
). Similar to NDF, this latter approach approximates surface normals using off-surface points close to the surface (where p ≈ ˜p) by stepping back along the ray at its point of intersection with the surface. ). NDFと同様に、後者のアプローチは、表面と交差する点の光線に沿って後退することで、表面に近いオフサーフェス点(そこでは p > > p )を用いて表面正規を近似する。 0.79
More concretely, given a ray r which intersects with the surface at pint (at the より具体的には、(ピントで)表面と交差する線rが与えられる。 0.69
1Since both SAL and NDF do not provision a release of pretrained 1SAL と NDF の双方が事前訓練の解除を規定しないため 0.76
class-agnostic models, we retrain them using code provided by authors. クラスに依存しないモデルでは、著者が提供するコードを使って再トレーニングします。 0.41
7 end of sphere-tracing), the normal is computed by stepping back along the ray by some scalar value α. 7 球追跡の終端) 正規値は、あるスカラー値 α によって線に沿って後退することによって計算される。 0.73
Thus, ˆnpint = ∇pintgθ(pint − α · r). したがって、npint = spintgθ(pint − α · r) である。 0.78
Note here that α is a hyperparameter which is sensitive to the curvature of the surface, and NDF chooses a constant α = 0.005. ここでは、α は表面の曲率に敏感なハイパーパラメータであり、NDF は定数 α = 0.005 を選択する。 0.79
However, we observe that choosing a single α for all shapes is suboptimal given that surfaces can have varying curvatures. しかし、曲面が様々な曲率を持つことができるため、すべての形状に対して1つのαを選択することは最適ではない。 0.58
To investigate the sensitivity of the system to varying α, we plot normal cosine similarity vs different values of It can be clearly seen that CSP (jac.) α の変化に対するシステムの感度を調べるために、通常のコサイン類似度と異なる値のコサイン類似度をプロットし、CSP (jac) をはっきりと見ることができる。 0.74
has α in Table 4. higher quality normal estimates for points on the surface (i.e. 表 4 の α は、表面上の点(すなわち)のより高い品質の正規推定値を持つ。 0.72
α = 0), given its tangent plane reproduction property, as opposed to NDF and CSP (fwd.) α = 0) は ndf と csp (fwd.) とは対照的に、接平面の再現性が与えられる。 0.68
which do not. It is interesting to note that although SAL learns a signed distance function that is differentiable on the surface of the shape, it still performs poorly on this metric, owing to the instability of their unsigned similarity loss, and poor geometric reconstruction on open shapes. そうじゃない 興味深いことに、salは形状の表面に微分可能な符号付き距離関数を学習するが、その符号なしの類似性の損失の不安定さと開いている形状の幾何学的再構成の貧弱さから、それでもこの測定値ではうまく機能しない。 0.55
However, we find that both NDF and CSP (fwd.) しかし NDF と CSP (fwd。 0.37
yield comparable performance to CSP (jac.) csp (jac.) に匹敵するパフォーマンスを提供する。 0.60
if allowed to step back along the ray (α = 0.005). α = 0.005) 線に沿って後退することが許された場合。 0.70
However, the normal cosine similarity is lower than CSP (jac.) しかし、通常のコサイン類似性はCSP(jac)よりも低い。 0.75
at α = 0, which is a definite drawback. α = 0 であり、これは明確な欠点である。 0.77
Moreover, we find that α = 0.005, CSP (fwd.) さらに、α = 0.005, CSP (fwd) であることが分かる。 0.78
yields similar performance compared to NDF, even though it does not use a backward pass. 後方パスを使用しなくても、NDFと同じようなパフォーマンスが得られる。 0.70
We report rendering speeds and memory footprint for CSP (fwd.) CSPのレンダリング速度とメモリフットプリントについて報告する(fwd。 0.77
and NDF in Table 5, and we immediately find that CSP is superior on both fronts. そしてテーブル5のNDFでは、CSPが両方の面で優れていることがすぐに分かります。 0.70
Additionally, in Table 4 we find that although α = 0.005 yields reasonably good normals, the standard deviation is higher than those obtained by the tangent plane approximation. さらに表4では、α = 0.005 は適度に良い正規値が得られるが、標準偏差は接平面近似によって得られるものよりも高い。 0.76
This clearly shows that choosing a single threshold for all shapes [8] is sub-optimal. これはすべての形状 [8] に対する単一のしきい値の選択が最適でないことを示している。 0.65
Finally, we qualitatively compare various normal estimation strategies in Fig 6. 最後に、図6における様々な正規推定戦略を質的に比較する。 0.65
We find here too that CSP (fwd.) CSP (fwd) もここにあります。 0.68
performs reasonably well for α = 0.005, with CSP (jac.) CSP (jac) で α = 0.005 に対して合理的によく実行される 0.76
yielding the best performance at α = 0. α = 0 で最高の性能が得られる。 0.84
Both visually and quantitatively, we find that our normal estimation strategies outperform NDF. 視覚的にも定量的にも、通常の推定戦略がndfよりも優れていることが分かりました。 0.41
Additionally, forward-mode surface estimates, Ours (fwd.) さらに、フォワードモード表面推定、wes (fwd)。 0.63
are faster than that of NDF while Ours (jac.) Ours (jac.) は NDF よりも高速です。 0.72
is comparable in speed (more analysis in supplementary). 速度に匹敵する(補足でさらに分析する)。 0.69
Method SAL [2] NDF [8] CSP (fwd.) 方法 SAL [2] NDF [8] CSP (fwd)。 0.79
CSP (jac.) CSP (複数形 CSPs) 0.85
Normal Map Similarity α = 0 正規写像類似性 α = 0 0.68
0.84 ± 0.017 0.863 ± 0.01 0.620 ± 0.12 0.913 ± 0.003 0.84 ± 0.017 0.863 ± 0.01 0.620 ± 0.12 0.913 ± 0.003 0.53
α = 0.002 0.851 ± 0.014 0.882 ± 0.008 0.873 ± 0.018 0.915 ± 0.003 α = 0.002 0.851 ± 0.014 0.882 ± 0.008 0.873 ± 0.018 0.915 ± 0.003 0.55
α = 0.005 0.871 ± 0.009 0.903 ± 0.006 0.912 ± 0.006 0.920 ± 0.003 α = 0.005 0.871 ± 0.009 0.903 ± 0.006 0.912 ± 0.006 0.920 ± 0.003 0.55
α = 0.05 0.861 ± 0.01 0.891 ± 0.008 0.91 ± 0.007 0.871 ± 0.01 α = 0.05 0.861 ± 0.01 0.891 ± 0.008 0.91 ± 0.007 0.871 ± 0.01 0.55
Table 4: Normal estimation accuracy of various methods described in Sec. 表4: Secで記述された様々なメソッドの正常な推定精度。 0.76
3.2. Here α refers to the step-back distance along the ray. 3.2. ここで α は、光線に沿ったステップバック距離を指す。 0.71
Figure 5: Top: Depth error maps comparing vanilla sphere tracing strategy vs our projection based strategy Bottom: Comparison of our meshing algorithm with that of NDF. 図5: トップ: ベニラ球追跡戦略とプロジェクションベースの戦略を比較した深さ誤差マップ ボトム: NDFと比較したメッシュアルゴリズムの比較。 0.83
Note that NDF displays visible artifacts, whereas our strategy reconstructs a topologically consistent mesh. NDFは目に見えるアーティファクトを表示するが、我々の戦略はトポロジカルに一貫したメッシュを再構築する。 0.51
4.3. Rendering and Meshing 4.3. レンダリングとメッシュ化 0.71
In this section, we validate our sphere-tracing strategy and meshing algorithm (Sec. 本稿では,球面トラッキング戦略とメッシュアルゴリズム(sec)の有効性を検証する。 0.64
3.3) against various baselines. 3.3 様々なベースラインに対して。 0.57
Sphere Tracing CSP. We compare the sphere tracing strategy described in Sec. 球追跡CSP。 Secで説明した球追跡戦略を比較した。 0.59
3.3.1 to a baseline strategy when the projection step is excluded from the algorithm. 3.3.1 投影ステップがアルゴリズムから除外された場合のベースライン戦略。 0.85
Our proposed strategy yields better depth maps (MAE = 0.014) than the Vanilla Sphere tracing (MAE = 0.016) owing to more accurate ray-scene intersection. 提案手法は,より正確なX線交叉により,バニラ球追跡(MAE = 0.016)よりも深い深度マップ(MAE = 0.014)が得られる。 0.69
As expected, the qualitative results (depth error maps) shown in Fig 5 also indicate the benefit of using projection step as a part of sphere tracing CSP. 予想通り、図5に示す定性的結果(深度誤差マップ)もまた、球追跡CSPの一部として投影ステップを使用する利点を示している。 0.81
Refer supplementary material for more visualizations. 詳細は補足資料を参照のこと。 0.48
Speed & memory footprint of rendering. レンダリングのスピードとメモリフットプリント。 0.76
In Table 5, we report the average time taken to render a 512×512 image using a memory budget of 8GiB. 表5では,メモリ予算8GiBを用いて512×512画像のレンダリングに要する平均時間について報告する。 0.71
Since we do not rely on backward passes through the network (see definition of NVF in Sec. ネットワークの後方通過に依存しないので(Sec.NETのNVFの定義を参照)。 0.70
3.2.2) higher batch sizes can be used on a fixed GPU budget, which leads to 20× faster rendering. 3.2.2) より高いバッチサイズを固定されたGPU予算で使用できるため、レンダリングが20倍高速になる。 0.69
In this manner, CSP provides a viable solution for applications which require real time, fast estimation of surface normals on small GPUs with limited memory [15, 15, 12]. このようにして、CSPは、限られたメモリ [15, 15, 12] を持つ小さなGPU上で、リアルタイム、高速な表面正規分布推定を必要とするアプリケーションに対して実行可能なソリューションを提供する。 0.63
Refer to supplementary material for more details on the specifics of the experimental setup. 実験装置の仕様の詳細は補足資料を参照のこと。 0.52
Meshing CSP. Our novel course-to-fine meshing algorithm allows for fast conversion of CSP to mesh, providing a viable and fast alternative to that proposed in NDF [8]. メッシュCSP。 提案手法では, ndf [8] で提案されている手法に代えて, csp から mesh への高速変換を実現する。 0.63
For the representative example shown in Fig 5 NDF’s method 図5 NDF の方法に示す代表例について 0.75
8 Figure 6: Comparison of normal estimation strategies outlined in Sec. 8 図6: Secで概説された通常の見積もり戦略の比較。 0.79
3.2. Note that CSP (jac.) 3.2. csp (jac.) に注意。 0.70
at α = 0 is the best performing model (0.93), with CSP (fwd.) α = 0 は CSP (fwd) の最高の性能モデル (0.93) である。 0.87
at α = 0.005 following next (0.92). α = 0.005 次(0.92)。 0.87
Method NDF CSP (fwd.) 方法 NDF CSP (fwd)。 0.81
Rendering time 0.063s 0.003s レンダリング time 0.063s 0.003s 0.56
#decoder params 1.97M 1.91M #decoder params 1.97M 1.91M 0.59
Memory Budget 8GiB メモリ予算 8GiB 0.75
Table 5: Rendering times for a 512×512 image and memory footprint of the proposed method (CSP) against NDF. 表5: NDFに対する提案手法(CSP)の512×512画像とメモリフットプリントのレンダリング時間。 0.76
takes 4.48s to generate the dense point cloud and an additional 104s for meshing using BPA [4]2. 高密度の点雲を生成するには4.48秒、BPA[4]2を使ってメッシュするには104秒かかる。 0.52
On the other hand, our method takes a total of 2.50s for generating the final mesh. 一方,本手法では,最終メッシュを生成するのに合計2.50秒を要する。 0.72
It is also important to note that although we use only 636k function evaluations, a higher quality mesh is recovered in comparison to NDF which uses 12M function evaluations. また,我々は636k関数評価のみを使用してはいるが,12m関数評価を用いたntfと比較して,高品質なメッシュが回収される点にも注意が必要である。 0.66
In Fig 5 we show qualitative comparisons to NDF’s meshing algorithm for UDFs. 図5では、UDFに対するNAFのメッシュアルゴリズムと質的な比較を示す。 0.71
Note also that NDF’s meshes display visible artifacts, given that it recovers the mesh after performing BPA on a dense point cloud (1M pts.) ndfのメッシュは、濃密な点雲 (1m pts) でbpaを実行した後、メッシュを回復するので、目に見えるアーティファクトを表示する。
訳抜け防止モード: NDFのメッシュは、目に見えるアーティファクトを表示する。 密度の高い点雲(1M pts)でBPAを実行した後、メッシュを回復する。
generated from the learnt representation. 学習した表現から生まれます 0.48
In contrast, our coarse-tofine meshing strategy enables the application of Marching Cubes, and reconstructs a topologically consistent and visually pleasing mesh. 対照的に、粗いメッシュ戦略はマーチングキューブの適用を可能にし、トポロジ的に一貫した視覚的快楽メッシュを再構築する。 0.57
Refer supplementary for details on the hyperparameters used. 使用するハイパーパラメータの詳細は補足項を参照。 0.75
5. Conclusion In this work, we proposed a new class of implicit representations called CSP that can model complex 3D objects (both open and closed surfaces), with a fidelity surpassing the state-of-the-art. 5. 結論 本研究では,複雑な3次元物体(開面と閉面の両方)をモデル化できるCSPと呼ばれる新しい暗黙表現のクラスを提案する。 0.74
We demonstrated that CSP also facilitates accurate and efficient computation of local geometric 我々はCSPが局所幾何学の正確かつ効率的な計算を容易にすることを示した。 0.53
2BPA is known to be slow [4] 2BPAは遅いことが知られている[4] 0.79
Vanilla Sphere Tracing“Ours”OursDepth Error MapGT Depth MapGenerated MeshGT MeshOursNDFNCS = 0.87NCS = 0.89NCS = 0.84NCS = 0.92NCS = 0.92NCS = 0.93 Vanilla Sphere Tracing “Ours”OursDepth Error MapGT Depth MapGenerated MeshGT MeshOursNDFNCS = 0.87NCS = 0.89NCS = 0.89NCS = 0.92NCS = 0.92NCS = 0.93 0.71
properties of the surface like the tangent plane and the surface normal which enables efficient algorithms for downstream applications like surface rendering and meshing - we presented novel algorithms for both. 表面レンダリングやメッシュ化といった下流アプリケーションに効率的なアルゴリズムを可能にする,タンジェントプレーンやサーフェスノーマルのような表面の特性 – では,どちらも新しいアルゴリズムを紹介した。
訳抜け防止モード: 接面のような表面の性質と正常な表面 表面レンダリングやメッシュ処理などの下流アプリケーションのための効率的なアルゴリズム -両者に新しいアルゴリズムを提示した。
We further showed that CSP yields state-of-the-art performance on the unprocessed ShapeNet dataset, surpassing prior art such as SAL [2] and NDF [8]. さらに、CSPは未処理のShapeNetデータセット上で、SAL[2]やNAF[8]といった先行技術を上回る、最先端のパフォーマンスが得られることを示した。 0.56
In summary, this work provides a strong alternative to existing methods for 3D modeling and representation by addressing fundamental problems in representing complex shapes. 要約すると、この研究は複雑な形状を表す基本的な問題に対処することで、既存の3次元モデリングと表現の方法に代わる強力な代替手段を提供する。 0.59
In the future, we expect to extend this work to infer surface representations - both geometric and photometric - from single and multi-view 2D images. 将来的には、この研究を、幾何学的および測光的両方の表面表現を、シングルビューとマルチビューの2D画像から推測するために拡張する予定である。
訳抜け防止モード: 今後は、この仕事の延長を期待する。 表面表現(幾何学的および測光的の両方)を1次元および複数次元の2次元画像から推測する。
6. Acknowledgements This research was supported in part by NSF award No. 6. 覚書 この研究は、NSF Award No. によって支持された。 0.65
IIS-1925281. IIS-1925281。 0.67
References [1] Samir Akkouche and Eric Galin. 参照: Samir Akkouche and Eric Galin 0.49
Adaptive implicit surface polygonization using marching triangles. マーチング三角形を用いたアダプティブサーフェスポリゴン化 0.67
In Computer Graphics Forum, volume 20, pages 67–80. コンピュータグラフィックスフォーラム』第20巻67-80頁。 0.63
Wiley Online Library, 2001. Wiley Online Library、2001年。 0.89
2 [2] Matan Atzmon and Yaron Lipman. 2 [2]マタン・アツモンとヤロン・リップマン。 0.73
SAL: Sign agnostic learning of shapes from raw data. SAL: 生データから形を知ること。 0.56
In IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2020. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)、2020年6月。 0.89
1, 2, 3, 6, 7, 9 [3] Matan Atzmon and Yaron Lipman. 1, 2, 3, 6, 7, 9[3] Matan Atzmon氏とYaron Lipman氏。 0.87
{SALD}: Sign agnostic In International Conference on SALD:国際会議における署名非依存 0.58
learning with derivatives. 誘導体で学ぶことです 0.54
Learning Representations, 2021. 2 2021年、卒業。 2 0.68
[4] Fausto Bernardini, Joshua Mittleman, Holly Rushmeier, Claudio Silva, and Gabriel Taubin. Fausto Bernardini氏、Joshua Mittleman氏、Holly Rushmeier氏、Claudio Silva氏、Gabriel Taubin氏。 0.71
The ball-pivoting algoIEEE transactions on virithm for surface reconstruction. ボールピボットのアルゴIEEEは表面再構成のためのヴィリズム上のトランザクションである。 0.37
sualization and computer graphics, 5(4):349–359, 1999. sualization and computer graphics, 5(4):349–359, 1999。 0.93
8, 13 [5] Angel X Chang, Thomas Funkhouser, Leonidas Guibas, Pat Hanrahan, Qixing Huang, Zimo Li, Silvio Savarese, Manolis Savva, Shuran Song, Hao Su, et al ShapeNet: An information-rich 3d model repository. 8, 13 [5] Angel X Chang, Thomas Funkhouser, Leonidas Guibas, Pat Hanrahan, Qixing Huang, Zimo Li, Silvio Savarese, Manolis Savva, Shuran Song, Hao Su, et al ShapeNet: 情報豊富な3dモデルリポジトリ。 0.85
arXiv preprint arXiv:1512.03012, 2015. arXiv preprint arXiv:1512.03012, 2015 0.80
2, 6 [6] Zhiqin Chen, Andrea Tagliasacchi, and Hao Zhang. 2, 6 [6]Zhiqin Chen、Andrea Tagliasacchi、Hao Zhang。 0.78
BSPNet: Generating compact meshes via binary space partitioning. BSPNet:バイナリ空間分割によるコンパクトメッシュの生成。 0.81
In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 45–54, 2020. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, page 45–54, 2020。 0.92
2, 3 [7] Julian Chibane, Thiemo Alldieck, and Gerard Pons-Moll. 2, 3 7]julian chibane, thiemo alldieck, gerard pons-moll。 0.69
Implicit functions in feature space for 3d shape reconstruction and completion. 3次元形状復元と完成のための特徴空間におけるインプシット関数 0.72
In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 6970–6981, 2020. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, page 6970–6981, 2020。 0.92
5, 7 [8] Julian Chibane, Mohamad Aymen mir, and Gerard PonsMoll. 5, 7 [8]ジュリアン・千葉根、モハマド・アイメン・ミル、ジェラルド・ポンズモール。 0.68
Neural unsigned distance fields for implicit function learning. 暗黙的機能学習のための神経信号なし距離場 0.62
In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, volume 33, pages 21638–21652. H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, H. Lin, editors, Advances in Neural Information Processing Systems, volume 33, pages 21638–21652。 0.98
Curran Associates, Inc., 2020. Curran Associates, Inc., 2020 0.71
1, 2, 3, 4, 6, 7, 8, 9, 11 1, 2, 3, 4, 6, 7, 8, 9, 11 0.85
[9] Christopher B Choy, Danfei Xu, JunYoung Gwak, Kevin Chen, and Silvio Savarese. 9]Christopher B Choy、Danfei Xu、JunYoung Gwak、Kevin Chen、Silvio Savarese。 0.66
3d-r2n2: A unified approach for single and multi-view 3D object reconstruction. 3d-r2n2: 単一および多視点の3Dオブジェクト再構成のための統一的なアプローチ。 0.54
In Proceedings of the European Conference on Computer Vision (ECCV), 2016. 2016年、欧州コンピュータビジョン会議(ECCV)に参加。 0.63
2 [10] Paolo Cignoni, Marco Callieri, Massimiliano Corsini, Matteo Dellepiane, Fabio Ganovelli, and Guido Ranzuglia. 2 Paolo Cignoni氏、Marco Callieri氏、Massimiliano Corsini氏、Matteo Dellepiane氏、Fabio Ganovelli氏、Guido Ranzuglia氏。 0.76
In EuroMeshlab: an open-source mesh processing tool. EuroMeshlab: オープンソースのメッシュ処理ツール。 0.67
graphics Italian chapter conference, volume 2008, pages 129–136. graphics italian chapter conference, volume 2008 129-136頁。 0.83
Salerno, Italy, 2008. サレルノ、イタリア、2008年。 0.60
13 [11] Blender Online Community. 13 [11] blender online community 0.72
Blender - a 3D modelling and rendering package. Blender - 3Dモデリングとレンダリングのパッケージ。 0.83
Blender Foundation, Stichting Blender Foundation, Amsterdam, 2018. Blender Foundation, Stichting Blender Foundation, Amsterdam, 2018 0.76
22 [12] Wagner T Corrˆea, James T Klosowski, and Cl´audio T Silva. 22 12]ワグナー・T・コリェア、ジェームズ・T・クロソフスキー、Cl ́audio T Silva。 0.76
Out-of-core sort-first parallel rendering for cluster-based tiled displays. クラスタベースのタイルディスプレイのためのアウトオブコアソートファースト並列レンダリング。 0.67
Parallel Computing, 29(3):325–338, 2003. 並列計算, 29(3):325–338, 2003 0.81
2, 4, 8 [13] Dawson-Haggerty et al trimesh. 2, 4, 8 13]dawson-haggerty et al trimesh。 0.77
14 [14] Boyang Deng, Kyle Genova, Soroosh Yazdani, Sofien Bouaziz, Geoffrey E. Hinton, and Andrea Tagliasacchi. 14[14]Booang Deng, Kyle Genova, Soroosh Yazdani, Sofien Bouaziz, Geoffrey E. Hinton, Andrea Tagliasacchi。 0.79
In 2020 CvxNet: Learnable convex decomposition. 2020年、cvxnet: learnable convex decomposition。 0.83
IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2020, Seattle, WA, USA, June 13-19, 2020, pages 31–41. IEEE/CVF Conference on Computer Vision and Pattern Recognition, CVPR 2020, Seattle, WA, USA, June 13-19, 2020, page 31–41。 0.94
IEEE, 2020. IEEE、2020年。 0.90
2, 3 [15] Thibaud Duhautbout, Julien Moras, and Julien Marzat. 2, 3 Thibaud Duhautbout氏、Julien Moras氏、Julien Marzat氏。 0.71
Distributed 3d tsdf manifold mapping for multi-robot systems. マルチロボットシステムのための分散3次元tsdf多様体マッピング 0.68
In 2019 European Conference on Mobile Robots (ECMR), pages 1–8. 2019年欧州移動ロボット会議(ECMR)、1-8頁。 0.68
IEEE, 2019. 2019年、IEEE。 0.67
2, 4, 8 [16] Haoqiang Fan, Hao Su, and Leonidas J Guibas. 2, 4, 8 16] Haoqiang Fan, Hao Su, and Leonidas J Guibas。 0.79
A point set generation network for 3d object reconstruction from a single image. 単一画像からの3次元オブジェクト再構成のためのポイントセット生成ネットワーク。 0.87
In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 605–613, 2017. Proceedings of the IEEE conference on computer vision and pattern recognition, page 605-613, 2017 0.78
5, 6, 7, 14 5, 6, 7, 14 0.85
[17] Georgia Gkioxari, Jitendra Malik, and Justin Johnson. 17]ジョージア・グキオクサーリ、ジテンドラ・マリク、ジャスティン・ジョンソン 0.42
Mesh In Proceedings of the IEEE/CVF International IEEE/CVF国際会議におけるメッシュ 0.82
R-CNN. Conference on Computer Vision (ICCV), October 2019. R-CNN コンピュータビジョン会議(ICCV)、2019年10月。 0.79
2 [18] Eleonora Grilli, Fabio Menna, and Fabio Remondino. 2 Eleonora Grilli氏、Fabio Menna氏、Fabio Remondino氏。 0.69
A review of point clouds segmentation and classification algorithms. 点雲のセグメンテーションと分類アルゴリズムのレビュー 0.63
The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 42:339, 2017. The International Archives of Photogrammetry, Remote Sensing and Space Information Sciences, 42:339, 2017 0.83
2 [19] Thibault Groueix, Matthew Fisher, Vladimir G. Kim, Bryan Russell, and Mathieu Aubry. 2 Thibault Groueix氏、Matthew Fisher氏、Vladimir G. Kim氏、Bryan Russell氏、Mathieu Aubry氏。 0.78
AtlasNet: A Papier-Mˆach´e Approach to Learning 3D Surface Generation. AtlasNet: 3D表面生成を学習するためのパピエ・マッハのアプローチ。 0.59
In Proceedings IEEE Conf. In Proceedings IEEE Conf 0.63
on Computer Vision and Pattern Recognition (CVPR), 2018. コンピュータビジョンとパターン認識(CVPR)、2018年。 0.69
2 [20] Xianfeng Han, Hamid Laga, and Mohammed Bennamoun. 2 [20]Xianfeng Han, Hamid Laga, Mohammed Bennamoun. 0.79
Image-based 3D object reconstruction: State-of-the-art and trends in the deep learning era. 画像に基づく3次元オブジェクト再構成:ディープラーニング時代の最先端とトレンド 0.68
IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 2019. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) 2019。 0.76
1 [21] John C Hart. 1 ジョン・ハート(John C Hart)。 0.75
Sphere tracing: A geometric method for the antialiased ray tracing of implicit surfaces. 球面追跡:暗黙表面のアンチエイリアス線追跡のための幾何学的手法。 0.72
The Visual Computer, 12(10):527–545, 1996. The Visual Computer, 12(10):527-545, 1996年。 0.80
4 [22] Jingwei Huang, Hao Su, and Leonidas Guibas. 4 Jingwei Huang, Hao Su, and Leonidas Guibas. [22]Jingwei Huang, Hao Su, and Leonidas Guibas. 0.74
Robust watertight manifold surface generation method for ShapeNet models. 形状ネットモデルのロバスト水密多様体表面生成法 0.73
arXiv preprint arXiv:1802.01698, 2018. arXiv preprint arXiv:1802.01698, 2018 0.80
2, 3 9 2, 3 9 0.85
2020, pages 523–540, Cham, 2020. 2020年523-540頁、チャム、2020年。 0.77
Springer International Publishing. Springer International Publishing(英語) 0.71
4, 11 [36] Franc¸ois Pomerleau, Francis Colas, and Roland Siegwart. 4, 11 36]フラン・ショワ・ポメルロー、フランシス・コラス、ローランド・ジーグワート。 0.70
A review of point cloud registration algorithms for mobile robotics. 移動ロボットのためのポイントクラウド登録アルゴリズムのレビュー 0.69
Foundations and Trends in Robotics, 4(1):1–104, 2015. Foundations and Trends in Robotics, 4(1):1–104, 2015 0.93
2, 4 [37] Timothy J Purcell, Ian Buck, William R Mark, and Pat Hanrahan. 2, 4 [37]Timothy J Purcell、Ian Buck、William R Mark、Pat Hanrahan。 0.75
Ray tracing on programmable graphics hardware. プログラマブルグラフィックスハードウェア上でのレイトレーシング。 0.62
In ACM SIGGRAPH 2005 Courses, pages 268–es. ACM SIGGRAPH 2005 Courses, page 268–es. 0.89
2005. 4 [38] Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. 2005. 4 [38]Charles R Qi、Hao Su、Kachun Mo、Leonidas J Guibas。 0.78
Pointnet: Deep learning on point sets for 3d classification In Proceedings of the IEEE conference and segmentation. Pointnet: 3d分類のためのポイントセットに関する深い学習 IEEEカンファレンスとセグメンテーションの成果。 0.85
on computer vision and pattern recognition, pages 652–660, 2017. コンピュータビジョンとパターン認識では、652-660, 2017。 0.77
1, 4 [39] David Stutz and Andreas Geiger. 1, 4 David Stutz氏とAndreas Geiger氏。 0.72
Learning 3D shape completion from laser scan data with weak supervision. 弱監督によるレーザースキャンデータからの3次元形状完了の学習 0.80
In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1955–1964, 2018. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1955–1964, 2018。 0.91
6, 13 [40] Xingyuan Sun, Jiajun Wu, Xiuming Zhang, Zhoutong Zhang, Chengkai Zhang, Tianfan Xue, Joshua B Tenenbaum, and William T Freeman. 6, 13 [40]Xingyuan Sun、Jiajun Wu、Xiuming Zhang、Zhoutong Zhang、Chengkai Zhang、Tianfan Xue、Joshua B Tenenbaum、William T Freeman。 0.78
Pix3D: Dataset and methods for In IEEE Conference on single-image 3D shape modeling. Pix3D:シングルイメージの3D形状モデリングに関するIEEE Conferenceのデータセットとメソッド。 0.74
Computer Vision and Pattern Recognition (CVPR), 2018. コンピュータビジョンとパターン認識(CVPR)、2018年。 0.78
2 [41] Jarke J Van Wijk and Arjeh M Cohen. 2[41]Jarke J Van WijkとArjeh M Cohen。 0.70
Visualization of seifert surfaces. セイファート表面の可視化 0.58
IEEE Transactions on Visualization and Computer Graphics, 12(4):485–496, 2006. IEEE Transactions on Visualization and Computer Graphics, 12(4):485–496, 2006 0.93
11 [42] Pascal Volino and Nadia Magnenat-Thalmann. 11 42]pascal volinoとnadia magnenat-thalmann。 0.75
Fast geometrical wrinkles on animated surfaces. アニメーション表面の速い幾何学的なしわ。 0.57
In Seventh International Conference in Central Europe on Computer Graphics and Visualization (Winter School on Computer Graphics), 1999. 1999年、中央ヨーロッパ第7回コンピュータグラフィックス・可視化国際会議(Winter School on Computer Graphics)に参加。 0.82
4 [43] Nanyang Wang, Yinda Zhang, Zhuwen Li, Yanwei Fu, Wei Liu, and Yu-Gang Jiang. 4 [43]南陽、Yinda Zhang、Zhuwen Li、Yangwei Fu、Wei Liu、Yu-Gang Jiang。 0.75
Pixel2Mesh: Generating 3D mesh models from single RGB images. Pixel2Mesh: 単一のRGBイメージから3Dメッシュモデルを生成する。 0.71
In ECCV, 2018. 2018年、ECCV。 0.68
2 [44] Chulin Xie, Chuxin Wang, Bo Zhang, Hao Yang, Dong Chen, and Fang Wen. 2 [44]中林清、中越王、坊張、羽陽、ドンチェン、ファンウェン。 0.69
Style-based point generator with arXiv adversarial rendering for point cloud completion. ポイントクラウド補完のためのarXiv逆レンダリングを備えたスタイルベースのポイントジェネレータ。 0.51
preprint arXiv:2103.02535, 2021. arXiv:2103.02535 2021 0.85
6 [23] Jeff Johnson, Matthijs Douze, and Herv´e J´egou. 6 Jeff Johnson氏、Matthijs Douze氏、Herv ́e J ́egou氏。 0.76
BillionarXiv preprint BillionarXiv プレプリント 0.78
scale similarity search with gpus. gpusで類似検索をスケールします 0.78
arXiv:1702.08734, 2017. arXiv:1702.08734, 2017。 0.62
14 [24] Michael Kazhdan, Matthew Bolitho, and Hugues Hoppe. 14 Michael Kazhdan氏、Matthew Bolitho氏、Hugues Hoppe氏。 0.72
the Poisson surface reconstruction. ポアソン表面の復元。 0.53
fourth Eurographics symposium on Geometry processing, volume 7, 2006. 第4回幾何学処理シンポジウム2006年7月7日 0.58
2, 4 In Proceedings of 2, 4 in Proceedings of ~ 0.82
[25] Diederik P Kingma and Jimmy Ba. [25]Diederik P KingmaとJimmy Ba。 0.79
Adam: A method for arXiv preprint arXiv:1412.6980, Adam: arXiv preprint arXiv:1412.6980, 0.89
stochastic optimization. 2014. 確率最適化。 2014. 0.74
11 [26] Hamid Laga, Yulan Guo, Hedi Tabia, Robert B Fisher, and Mohammed Bennamoun. 11 a b [26] Hamid Laga, Yulan Guo, Hedi Tabia, Robert B Fisher, Mohammed Bennamoun. 0.83
3D Shape analysis: fundamentals, theory, and applications. 3次元形状解析:基礎、理論、応用。 0.63
John Wiley & Sons, 2018. ジョン・ワイリー&サンズ、2018年。 0.55
4, 5 [27] Tzu-Mao Li, Miika Aittala, Fr´edo Durand, and Jaakko Lehtinen. 4, 5 [27]ツマオ・リー、ミカ・アタラ、Fr ́edo Durand、Jaakko Lehtinen。 0.73
Differentiable monte carlo ray tracing through edge sampling. エッジサンプリングによるモンテカルロ線トレーシングの微分可能化 0.63
ACM Trans. Graph. ACMトランス。 Graph。 0.77
(Proc. SIGGRAPH Asia), 37(6):222:1–222:11, 2018. (プロ) SIGGRAPH Asia, 37(6):222:1-222:11, 2018。 0.68
5, 7 [28] William E. Lorensen and Harvey E. Cline. 5, 7 28] ウィリアム・e・ローレンセンとハーヴェイ・e・クライン 0.73
Marching cubes: A high resolution 3D surface construction algorithm. マーチングキューブ:高解像度3次元表面構築アルゴリズム。 0.75
In Maureen C. Stone, editor, SIGGRAPH, pages 163–169. Maureen C. Stone, editor, SIGGRAPH, page 163–169。 0.92
ACM, 1987. 1987年、ACM。 0.87
5 [29] Robert Maier, Kihwan Kim, Daniel Cremers, Jan Kautz, and Matthias Nießner. 5 Robert Maier氏、Khwan Kim氏、Daniel Cremers氏、Jan Kautz氏、Matthias Nießner氏。 0.74
Intrinsic3d: High-quality 3d reconstruction by joint appearance and geometry optimization with spatially-varying lighting. 内在3d:空間変動照明による立体形状最適化による高品質3次元再構成 0.69
In Proceedings of the IEEE international conference on computer vision, pages 3114–3122, 2017. IEEEのコンピュータビジョンに関する国際会議Proceedings of the IEEE International Conference on computer vision, page 3114–3122, 2017。 0.68
6 [30] Daniel Maturana and Sebastian Scherer. 6 Daniel Maturana氏とSebastian Scherer氏。 0.72
VoxNet: A 3D convolutional neural network for real-time object recognition. VoxNet: リアルタイムオブジェクト認識のための3D畳み込みニューラルネットワーク。 0.82
In 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 922–928, 2015. 2015年、IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)、922-928頁。 0.86
2 [31] Lars Mescheder, Michael Oechsle, Michael Niemeyer, Sebastian Nowozin, and Andreas Geiger. 2 Lars Mescheder氏、Michael Oechsle氏、Michael Niemeyer氏、Sebastian Nowozin氏、Andreas Geiger氏。 0.78
Occupancy networks: Learning 3D reconstruction in function space. 作業ネットワーク:機能空間における3D再構成の学習。 0.74
In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 4460–4470, 2019. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, page 4460–4470, 2019。 0.90
1, 2, 3, 5, 6, 7 1, 2, 3, 5, 6, 7 0.85
[32] Helen Oleynikova, Alexander Millane, Zachary Taylor, Enric Galceran, Juan Nieto, and Roland Siegwart. Helen Oleynikova氏、Alexander Millane氏、Zachary Taylor氏、Enric Galceran氏、Juan Nieto氏、Roland Siegwart氏。 0.69
Signed distance fields: A natural representation for both mapping In RSS 2016 Workshop: Geometry and and planning. 署名された距離フィールド: 両方のマッピングの自然な表現 RSS 2016 Workshop: Geometry and Planning。 0.83
Beyond-Representatio ns, Physics, and Scene Understanding for Robotics. ロボット工学の超越表現、物理、そしてシーン理解。 0.73
University of Michigan, 2016. 2016年、ミシガン大学教授。 0.56
2, 4 [33] Junyi Pan, Xiaoguang Han, Weikai Chen, Jiapeng Tang, and Kui Jia. 2, 4 [33]十二文、Xiaoguang Han、Weikai Chen、Jeapeng Tang、Kui Jia。 0.75
Deep mesh reconstruction from single RGB images via topology modification networks. トポロジー修正ネットワークによる単一のRGB画像からのディープメッシュ再構成 0.79
In Proceedings of the IEEE International Conference on Computer Vision, pages 9964–9973, 2019. In Proceedings of the IEEE International Conference on Computer Vision, page 9964–9973, 2019。 0.91
1 [34] Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, and Steven Lovegrove. 1 Jeong Joon Park、Peter Florence、Julian Straub、Richard Newcombe、Steven Lovegrove。 0.72
Deepsdf: Learning continuous signed distance functions for shape representation. Deepsdf: 形状表現のための連続符号付き距離関数の学習。 0.76
In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 165–174, 2019. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, page 165–174, 2019。 0.89
1, 2, 3, 4, 5, 6, 7 1, 2, 3, 4, 5, 6, 7 0.85
[35] Songyou Peng, Michael Niemeyer, Lars Mescheder, Marc Pollefeys, and Andreas Geiger. [35]Songyou Peng、Michael Niemeyer、Lars Mescheder、Marc Pollefeys、Andreas Geiger。 0.67
Convolutional occupancy networks. 畳み込み型占有ネットワーク。 0.64
In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, Computer Vision – ECCV Andrea Vedaldi, Horst Bischof, Thomas Brox, Jan-Michael Frahm, editors, Computer Vision – ECCV 0.83
10 10 0.85
• Details for the Jacobian computed in Section 4.2 of the main paper and its computational performance are presented in • 主論文第4.2節で計算されたヤコビアンの詳細とその計算性能について述べる。 0.76
• The experimental setup used for rendering and meshing (Section 4.3 of the main paper) is described next in (Sec. • 次に,レンダリングとメッシュ化(メインペーパーのSection 4.3)に使用する実験装置について述べる。 0.82
D). • Sec. E presents additional qualitative results for rendering via sphere tracing, supplementing those presented in Sec- D)。 • 秒。 E は Sec で提示された処理を補うスフィアトレースによるレンダリングのための付加的な定性的結果を示す 0.57
paper are presented in Sec. 紙はSecで示される。 0.67
B. Sec. C. B。 Sec。 C。 0.77
tion 4.3 of the main paper. メインペーパーの tion 4.3。 0.70
Supplementary Material In the paper, we presented results from the shape-agnostic CSP network (a single function for all shapes) which for a given encoded shape provided at the input, produced the closest surface point for the queried input point. 補足材料 本稿では,入力時に与えられた所定の符号化形状に対して,入力点の最も近い面点を生成する形状に依存しないCSPネットワーク(全形状の単一関数)の結果について述べる。 0.77
Here, we first supplement those results with a single-shape CSP network. ここでは、まずこれらの結果を単一形CSPネットワークで補う。 0.73
This is presented in (Sec. これは (Sec) で示される。 0.74
A) below. Subsequent sections present additional details for the experimental evaluation in the main paper as follows: A)以下。 次の節では、実験評価のさらなる詳細を本論文で示している。 0.71
• The network architecture and training details pertaining to the shape representation trained in Section 4.1 in the main (4)メインの4.1で訓練された形状表現に係るネットワークアーキテクチャとトレーニング詳細 0.78
• Sec. F share the details of the various off-the-shelf tools used in our implementations and experimental evaluation. • 秒。 Fは、我々の実装で使われている様々な既製のツールの詳細と実験的な評価を共有します。 0.50
A. Single-shape CSP While the primary focus of this work was to build a single, shape-agnostic CSP model, we present here a model for a single-shape CSP implemented as follows: For any input point (or query point) in the 3D space, p, a 10-layer MLP estimates the closest point on the surface, ˆp. A. 単形CSP この研究の主な焦点は、単一の形状に依存しないCSPモデルを構築することであるが、ここでは、以下のように実装された単一形状のCSPのモデルを示す: 3次元空間の任意の入力点(またはクエリ点)に対して、10層MLPは、表面上の最も近い点を推定する。 0.80
Let fci denote a fully-connected layer with i output dimensions. fci を i の出力次元を持つ完全連結層を表す。 0.61
Then the MLP is given by すると MLP が与えられます 0.83
fc120, fc512, fc1024, fc2048, fc2048, fc120,fc512,fc1024,f c2048,fc2048 0.82
fc1024, fc512, fc256, fc128, fc3 fc1024, fc512, fc256, fc128, fc3 0.78
where the input dimension of fci is determined by the output dimension of the layer prior to it and every fc layer is followed by ReLU non-linearity, except the final layer. ここで、fciの入力次元は、その前の層の出力次元によって決定され、各fc層は最終層を除いてReLU非直線性で続く。 0.65
The architecture of the single-shape CSP is presented in Fig 7. 単一形状の csp のアーキテクチャは fig 7 で示される。 0.69
Figure 7: Single shape CSP 図7:単一形状csp 0.74
We present qualitative results for single shape reconstruction for a few complex shapes in Figures 8 and 9, illustrating the ability of CSP to model complex shapes with high fidelity having either an open or a closed topology. 図8,9のいくつかの複素形状に対する単一形状再構成の定性的な結果として,開あるいは閉のトポロジーを持つ高忠実度複素形状をモデル化する CSP の能力について述べる。 0.84
It can be clearly seen that CSP is able to preserve surface details and accurately represent the surface orientations. CSPは表面の詳細を保存でき、表面の向きを正確に表現できる。
訳抜け防止モード: それははっきりと見ることができる。 CSPは表面の詳細を保存でき、表面の向きを正確に表現できる。
In Figures 8 and 9, we present results on complex shapes like (a) a dried rose, and, (b) a lion statute having an intricate design and regions of varying curvature (c) a bathtub, that has high levels of detail and complex sub-structures, (d) the seifert surface [41], that has complex topology (multiple holes and knots), . 図8と9では、(a)乾燥バラのような複雑な形状の結果を示し、(b)複雑なデザインと様々な曲率(c)の領域を有するライオン規程、(d)複雑なトポロジー(複数の穴と結び目)を持つセイフェルト面[41]の細部と複雑な部分構造を有する浴槽について述べる。 0.77
B. Training and architecture details B。 トレーニングとアーキテクチャの詳細 0.81
This section shares the network architecture modeling the shape representation in Section 4.1 of the main paper and details 本節では本文4.1節の形状表現をモデル化したネットワークアーキテクチャと詳細について述べる。 0.72
for training it. We use the 3D volumetric encoder architecture proposed in [35] with a feature volume of resolution 64. 訓練のために 我々は[35]で提案した3次元ボリュームエンコーダアーキテクチャを用いて,解像度64の特徴量を用いる。 0.71
Since our point estimation task is arguably more complex than binary occupancy prediction, we use a larger decoder, with 512 hidden units (with the same architecture as in [35]). 私たちのポイント推定タスクは、バイナリ占有率予測よりもおそらくより複雑であるため、512の隠れたユニット([35]と同じアーキテクチャ)を持つより大きなデコーダを使用します。 0.79
We train with a batch size of 32 on different shapes, with an input point cloud of size 3000 (we follow the setup in NDF [8]). 私たちは、異なる形状で32のバッチサイズでトレーニングし、3000の入力ポイントの雲をトレーニングします(NDF [8] のセットアップに従っています)。 0.77
For each shape in the batch, we use 10K points sampled from the training points, P (See Sec. バッチの各形状について、トレーニングポイントP(See Sec)からサンプリングした10Kポイントを使用します。 0.79
4.1.2 of the main paper). 本文の4.1.2)。 0.56
We train on an NVIDIA GeForce RTX 2080Ti GPU using an ADAM [25] optimizer and a learning rate of 1e−4. 我々はADAM[25]オプティマイザと1e−4の学習レートを用いてNVIDIA GeForce RTX 2080Ti GPUをトレーニングする。 0.78
It takes ≈ 5 days to train on the full ShapeNet dataset. 完全なShapeNetデータセットのトレーニングには5日かかります。 0.65
C. Jacobian Computation: Implementation Details C. Jacobian 計算:実装の詳細 0.82
We now share the implementation details for the Jacobian computation as described in Sec. 現在、Sec.NETで記述したJacobian計算の実装詳細を共有しています。 0.54
3.2.1 of the main paper and discuss implications on its computational performance. 本文3.2.1及び 計算性能への影響について論じる。 0.68
The Jacobian is computed using 1 forward pass and 3 backward passes (one for each row of the Jacobian) through the same network. ヤコビアンは同じネットワークを通る1つの前方パスと3つの後方パス(ヤコビアンの各行ごとに1つ)を用いて計算される。 0.65
For this, we use the autograd package in PyTorch and set retain_graph=True when computing the first row of the Jacobian. このために、PyTorchのautogradパッケージを使用し、Jacobianの最初の行を計算する際にtain_graph=Trueを設定します。 0.65
This caches the activations in the graph and makes them readily available for computing the subsequent rows, speeding up the computation of the Jacobian. これによってグラフのアクティベーションがキャッシュされ、その後の行の計算が容易になり、jacobianの計算が高速化される。 0.63
11 11 0.85
Figure 8: Single Shape reconstructions: Renderings from single shape architecture described in Sec. 図8: 単一形状の再構築: Secで説明した単一形状のアーキテクチャからのレンダリング。 0.76
A. Here, we evaluate CSP independently on two shapes with complex structures. A。 ここでは,複素構造を持つ2つの形状のCSPを独立に評価する。 0.71
We show lighted normals (row 1 of each shape) as well as the raw normal map (row 2 of each shape) using both normal estimation methods (see Sec. 各形状の1行目)と生の正規マップ(各形状の2行目)を両方の正規推定法を用いて示す(sec参照)。 0.58
3.2 in main paper) and compare against the ground truth for the same. 3.2 主論文) とそれに対する基礎的真理の比較。 0.71
The CSP (jac.) CSP (jac)。 0.68
results in higher quality normals compared to CSP (fwd. その結果, CSP (fwd。 0.29
), which are reasonably comparable, but provide us with faster estimates (Highlighted in Red). これは適度に比較できるが、より高速な見積もり(赤で照らされた)を提供する。 0.65
More examples on next page. 次のページで例を挙げる。 0.77
We logged the time taken to estimate the Jacobian matrix for the experiments described in Sec. Secで説明した実験のヤコビ行列を推定するのに要する時間をログした。 0.69
4.3 of the main paper for CSP (jac.) CSP(jac.)のメインペーパーの4.3 0.79
and find that it takes on an average 0.08s for a 512×512 image. 平均0.08秒で 512×512の画像が撮れます 0.63
In comparison, NDF is faster and takes 0.063s. 対照的に、NDFは高速で0.063sである。 0.57
This is to be expected as NDF just needs 1 forward and 1 backward pass. NDFは1前方と1後方のパスを必要としているため、これは予想される。 0.70
However, given that the computational graph needs to be obtained only once, we only incur an additional 25% overhead (0.017s). しかし、計算グラフは1回だけ取得する必要があるため、25%以上のオーバーヘッド(0.017秒)しか発生しない。 0.72
Therefore, this is a reasonable trade-off for extracting high-fidelity surface normals. したがって、これは高忠実な表面正規を抽出するための合理的なトレードオフである。 0.48
mode taking only 0.003s for a 512×512 image and is of a quality surpassing that of NDF (See Table 4 of main paper). モードは512×512の画像で0.003秒しか撮れず、NDF(メインペーパーの表4参照)よりも画質が高い。 0.74
On the other hand, we also proposed an extremely fast method, CSP (fwd. 一方,超高速手法であるcsp (fwd) も提案している。 0.63
), which computes surface normals in a forward- 前部における表面正規値を計算する。 0.61
D. Meshing and Rendering: Experimental setup D.メッシュとレンダリング:実験装置 0.81
Results for setup used for rendering and meshing are presented in Section 4.3 of the main paper. 本文の4.3節でレンダリングおよびメッシュ化に使用される設定結果を示す。 0.64
Here we provide details ここで詳細を述べます 0.70
of the experimental setup. 実験的なセットアップです 0.68
12 Lion 12 ライオン 0.79
Figure 9: Single Shape reconstructions: Here, we show some results on a bathtub which has a high level of detail, with complex sub-structures, and a seifert surface which has complex topology (knots and holes). 図9:単一形状再構成:ここでは、複雑な部分構造を持つ高いディテールを持つ浴槽と、複雑なトポロジー(ノットと穴)を持つセイファート表面についていくつかの結果を示す。 0.83
Rendering. For a given input point cloud, we first compute the 3D feature volume from the encoder. レンダリング。 与えられた入力点クラウドに対して、まずエンコーダから3次元特徴量を計算する。 0.66
We then render the learnt CSP representation (modeled using the decoder) from 3 different views. 次に、3つの異なるビューから学習したCSP表現(デコーダを使ってモデル化)を描画する。 0.67
For doing so, we create a batch of rays from each viewpoint (3 views give us a total of 512×512×3=0.79M rays), and begin the sphere-tracing process (batched/parallel) for these set of rays. そのため、各視点から1組の光線を生成する(3ビューで合計512×512×3=0.79M)。
訳抜け防止モード: そのため、各視点から一組の光線を生成します。 3ビューで512×512×3=0.79M)。 そして、これらの一連の光線に対して、スフィア-トレースプロセス(バッチ/並列)を開始する。
At the termination of sphere-tracing, we compute the surface normals for each ray (using gradients in case of NDF, and NVF in case of CSP). 球追跡の終了時に各線の表面正規値を計算する(NDFの場合は勾配、CSPの場合はNVF)。 0.56
Since NVF does not require a backward pass, it can accommodate a batch of 0.5M rays on a 8GiB GPU. NVFは後方パスを必要としないため、8GiB GPU上で0.5Mの光をバッチで処理することができる。 0.74
The corresponding batch size for NDF is much lower at 0.15M since it requires the computation of gradients. ndf のバッチサイズは勾配の計算を必要とするため 0.15m でかなり低い。 0.64
As reported in Table 5 of the main paper, the increased batch size leads to a significant improvement in the rendering speed (i.e. メインペーパーの表5で報告されているように、バッチサイズの増加はレンダリング速度(すなわち、レンダリング速度)を大幅に向上させる。 0.62
time taken to compute the surface normals). 表面正規値を計算するのに要する時間)。 0.64
Meshing. We present here additional details for meshing CSPs using the novel coarse-to-fine meshing strategy outlined in Sec. メッシュ。 我々は、secで概説された新しい粗粒間メッシュ戦略を用いて、メッシュ化cspのさらなる詳細を示す。 0.49
3.3.2 of the main paper. メインペーパーの3.3.2。 0.48
We compute a 3D distance grid (of resolution = 256) using the proposed hierarchical space subdivision strategy, and perform meshing using Marching Cubes (using libmcubes [39]) with a small positive threshold of 0.006. 提案した階層空間分割戦略を用いて3次元距離格子(解像度=256)を計算し、マーチングキューブ(libmcubes[39])を用いて0.006の小さな正の閾値でメッシュ化を行う。 0.83
For NDF, we use the code provided by authors to generate a dense point cloud (of 1M points) and mesh it using the ball-pivoting [4] tool in meshlab [10], using a ball-radius of 0.01. NDFでは,著者が提供したコードを用いて高密度点雲(100万点)を生成し,メッシュラブ[10]のボールピボット[4]ツールを用いて0.01のボールラディウスを用いてメッシュ化する。 0.78
In our experiments, we have found the ball-pivoting process to be very sensitive to this threshold, and in many cases it had to be tuned per-shape. 私たちの実験では、ボール運動のプロセスはこのしきい値に非常に敏感で、多くの場合、形状ごとに調整されなければなりませんでした。 0.63
On the other hand, our method uses a single threshold for all shapes, and generates high-fidelity meshes. 一方,本手法はすべての形状に対して1つの閾値を使い,高忠実度メッシュを生成する。 0.65
Moreover, as reported in Sec. さらに、secで報告されたように。 0.49
4.3 of the main paper, our coarse-to-fine meshing strategy is significantly faster than that of NDF. 本論文の4.3では, NDFに比べて粗大なメッシュ化戦略が著しく高速である。 0.72
13 Lion 13 ライオン 0.79
E. Additional qualitative results To supplement the qualitative results on the various sphere-tracing strategies (Fig. E.追加の質的結果 各種球追跡戦略の定性的な結果を補う(図)。 0.68
5 of main paper), in Fig 10, 11, we show additional results which compare depth maps generated using our novel sphere-tracing algorithm for CSP, against a vanilla sphere-tracing technique for unsigned distance functions. 5) では, 新たに開発したcsp用球面トレーシングアルゴリズムを用いて生成された深度マップと, 非符号距離関数のためのバニラ球トレーシング手法を比較した追加結果を示す。 0.74
Further, in Fig 12, 13, 14, 15, 16 we show additional examples of shape reconstruction which bolster the results shown in Fig 1 of the main paper, and demonstrate the capability of our class-agnostic model to reconstruct shapes from any class of ShapeNet. さらに,図12,13,14,15,16では,本論文の図1に示す結果を裏付ける形状再構成の新たな例を示し,形状ネットの任意のクラスから形状を再構成するクラス非依存モデルの有効性を示す。 0.82
All results are shown on a test-set of shapes (ShapeNet test-set used in [16]) not seen in training. すべての結果は、トレーニングで見えない形([16]で使用されるShapeNetテストセット)のテストセットで示されます。 0.75
Additionally, to reiterate the utility of meshes generated by our novel meshing algorithm for CSPs (Sec. さらに、CSPのための新しいメッシュアルゴリズムによって生成されたメッシュの有用性を再評価する(Sec。 0.64
3.3.2 of main paper), we also show some representative meshes (compared against GT meshes) generated in Fig 17. また、本紙の3.3.2)では、図17で生成された代表メッシュ(GTメッシュと比較)についても示す。 0.54
F. Off The Shelf Tools and Packages Used F. 使用済みのシェルフツールとパッケージ 0.80
In this work, we make use of a variety of off-the-shelf packages to run our experiments. この作業では、実験を実行するためにさまざまな市販パッケージを使用します。 0.69
For generating data, we use faiss [23], which is a library for performing fast nearest neighbour search on GPU. データを生成するには、gpu上で最寄りの高速検索を行うライブラリであるfaiss[23]を使用します。 0.74
We compute GT normal and depth maps using the trimesh [13] with pyembree bindings viz. 我々は,pyembree バインディング viz を持つ trimesh [13] を用いて gt normal と depth map を計算する。 0.72
trimesh.ray.ray_pyem bree.RayMeshIntersec tor. trimesh.ray.ray_pyem bree.RayMeshIntersec tor 0.34
torch-scatter3 is used for trilinear interpolation of the 3D Feature Volume (See Fig 2 of the main paper). torch-scatter3は、3D特徴量(メインペーパーの図2参照)のトリリニア補間に用いられる。 0.78
For spheretracing CSP, we provision a custom implementation in PyTorch, which renders multiple images efficiently by batching rays across different views. spheretracing cspでは、異なるビューにまたがる線をバッチすることで、複数の画像を効率的にレンダリングするpytorchのカスタム実装を提供する。 0.60
3https://github.com/ rusty1s/pytorch scatter 3https://github.com/ rusty1s/pytorch scatter 0.37
14 14 0.85
Figure 10: Comparison of depth maps generated by Vanilla Sphere Tracing (ST) and our novel projection-based algorithm outlined in Sec. 図10:Vanilla Sphere Tracing(ST)が生成する深度マップと、Secで概説した新しいプロジェクションベースアルゴリズムの比較。 0.76
3.3.1 of the main paper. We find that our method generates much lesser error when compared to the conventional sphere-tracing strategy. 本文3.3.1。 その結果,従来の球面追跡法に比べて誤差がはるかに少ないことがわかった。 0.56
15 15 0.85
Figure 11: Additional results showing depth error maps. 図11: 深度誤差マップを示す追加の結果。 0.87
16 16 0.85
Figure 12: Surface reconstruction results on exemplar shapes from ShapeNet test set. 図12:ShapeNetテストセットからの模範形状の表面再構成結果。 0.84
Here, we show both CSP (jac.) ここでは、両方のCSP(jac)を示す。 0.76
and CSP (fwd.) CSP (fwd.)。 0.69
(α = 0.005) side-by-side, with the first row of each shape depicting a rendering of the sphere-traced surface normal map (shown in the second row) with directional light. (α = 0.005) 横に並べ、各形状の最初の行は球形追跡面正規写像(第2行に表される)を方向光で描画する。 0.72
We find that both methods (see Sec. どちらの方法もそうである(sec参照)。 0.64
3.2 for a description of these methods, and Sec. 3.2 これらのメソッドの記述とSec。 0.70
4.2 for some initial results reported in main paper) yield high-quality surface normals (with CSP (fwd.)) 4.2 主な論文で報告されたいくつかの初期結果について)高品質の表面正常値(csp(fwd.))を得る。 0.59
providing efficient forward-mode normal estimates. 効率的なフォワードモード正規推定を提供する。 0.50
Note also that CSP (jac.) CSP (jac) も参照。 0.63
is marginally better in some regions (Highlighted in red. 一部の地域では極端に良い(赤く照らされている)。 0.61
). 17 ). 17 0.85
Figure 13: Additional surface reconstruction results from ShapeNet test set. 図13:shapenetテストセットによる追加表面再構成結果。 0.86
18 18 0.85
Figure 14: Additional surface reconstruction results from ShapeNet test set. 図14:shapenetテストセットによる追加表面再構成結果。 0.86
19 19 0.85
Figure 15: Additional surface reconstruction results from ShapeNet test set. 図15: ShapeNetテストセットのサーフェス再構築結果の追加。 0.87
20 20 0.85
Figure 16: Additional surface reconstruction results from ShapeNet test set. 図16:shapenetテストセットによる追加表面再構成結果。 0.86
21 21 0.85
Figure 17: Meshes generated by our novel coarse-to-fine meshing algorithm for CSPs (see Sec. 図17: 新たなCSPのための粗粒度メッシュアルゴリズムによって生成されたメッシュ(Sec参照)。 0.64
3.3.2 of main paper). We also show the Ground Truth mesh on the right of each subfigure. 3.3.2本)。 また、各サブフィギュアの右側に基底真理メッシュを示します。 0.60
Note that our algorithm generates structurally consistent meshes, which render visually pleasing images in Blender [11]. 我々のアルゴリズムは構造的に一貫したメッシュを生成し、Blender[11]で画像を視覚的に楽しませます。 0.62
22 22 0.85

翻訳にはFugu-Machine Translatorを利用しています。