論文の概要: SketchSplat: 3D Edge Reconstruction via Differentiable Multi-view Sketch Splatting
- arxiv url: http://arxiv.org/abs/2503.14786v1
- Date: Tue, 18 Mar 2025 23:30:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-20 15:23:54.265649
- Title: SketchSplat: 3D Edge Reconstruction via Differentiable Multi-view Sketch Splatting
- Title（参考訳）: SketchSplat:差別化可能なマルチビュースケッチスプレイティングによる3次元エッジ再構成
- Authors: Haiyang Ying, Matthias Zwicker,
- Abstract要約: エッジは3Dで構造情報を記述するための最も基本的なパラメトリックプリミティブの1つである。
従来の方法は、通常、多視点2Dエッジイメージから設定された3Dエッジポイントを再構成し、それから3Dエッジをポイントセットに適合させる。
そこで我々はSketchSplatを提案する。SketchSplatは,多視点スケッチスプラッティングにより,高精度で完全かつコンパクトな3次元エッジを再構築する手法である。
- 参考スコア（独自算出の注目度）: 20.434979868697518
- License:
- Abstract: Edges are one of the most basic parametric primitives to describe structural information in 3D. In this paper, we study parametric 3D edge reconstruction from calibrated multi-view images. Previous methods usually reconstruct a 3D edge point set from multi-view 2D edge images, and then fit 3D edges to the point set. However, noise in the point set may cause gaps among fitted edges, and the recovered edges may not align with input multi-view images since the edge fitting depends only on the reconstructed 3D point set. To mitigate these problems, we propose SketchSplat, a method to reconstruct accurate, complete, and compact 3D edges via differentiable multi-view sketch splatting. We represent 3D edges as sketches, which are parametric lines and curves defined by attributes including control points, scales, and opacity. During edge reconstruction, we iteratively sample Gaussian points from a set of sketches and rasterize the Gaussians onto 2D edge images. Then the gradient of the image error with respect to the input 2D edge images can be back-propagated to optimize the sketch attributes. Our method bridges 2D edge images and 3D edges in a differentiable manner, which ensures that 3D edges align well with 2D images and leads to accurate and complete results. We also propose a series of adaptive topological operations and apply them along with the sketch optimization. The topological operations help reduce the number of sketches required while ensuring high accuracy, yielding a more compact reconstruction. Finally, we contribute an accurate 2D edge detector that improves the performance of both ours and existing methods. Experiments show that our method achieves state-of-the-art accuracy, completeness, and compactness on a benchmark CAD dataset.
- Abstract（参考訳）: エッジは3Dで構造情報を記述するための最も基本的なパラメトリックプリミティブの1つである。
本稿では,キャリブレーションによるマルチビュー画像からのパラメトリック3次元エッジ再構成について検討する。
従来の方法は、通常、マルチビュー2Dエッジイメージから設定された3Dエッジポイントを再構築し、それから3Dエッジをポイントセットに適合させる。
しかし、点集合内のノイズは、嵌合エッジ間のギャップを引き起こす可能性があり、復元されたエッジは、再構成された3D点集合にのみ依存するため、入力された多視点画像と一致しない場合がある。
これらの問題を緩和するために,SketchSplatを提案する。SketchSplatは,多視点スケッチスプラッティングにより,高精度で完全かつコンパクトな3次元エッジを再構築する手法である。
我々は3次元エッジをスケッチとして表現し、これは制御点、スケール、不透明度を含む属性によって定義されるパラメトリック線と曲線である。
エッジ再構成では,スケッチの集合からガウス点を反復的にサンプリングし,ガウス点を2次元のエッジ画像にラスタライズする。
そして、入力された2Dエッジ画像に対する画像誤差の勾配をバックプロパゲートしてスケッチ属性を最適化する。
提案手法は,2次元のエッジと3次元のエッジを異なる方法でブリッジすることで,3次元のエッジと2次元の画像との整合性を確保し,正確かつ完全な結果をもたらす。
また,一連の適応的トポロジカル演算を提案し,スケッチ最適化とともに適用する。
トポロジカルな操作は、高い精度を確保しながら必要なスケッチの数を減らすのに役立ち、よりコンパクトな再構築をもたらす。
最後に,本手法と既存手法の両方の性能向上を図るために,高精度な2次元エッジ検出器を提案する。
実験により,本手法がベンチマークCADデータセット上で,最先端の精度,完全性,コンパクト性を実現することを示す。
関連論文リスト
- LineGS : 3D Line Segment Representation on 3D Gaussian Splatting [0.0]
LineGSは幾何学誘導型3次元ライン再構成と3次元ガウススプラッティングモデルを組み合わせた新しい手法である。
その結果, ベースライン法と比較して, 幾何精度とモデルコンパクト性に有意な改善が認められた。
論文 参考訳（メタデータ） (2024-11-30T13:29:36Z) - EdgeGaussians -- 3D Edge Mapping via Gaussian Splatting [33.43750488033706]
最先端の画像ベースの手法は、3Dエッジポイントクラウドを学習し、3Dエッジを適合させる。
提案手法は,3次元エッジ点とそのエッジ方向を明示的に学習することにより,点サンプリングの必要性を回避できる。
以上の結果から,提案手法は最先端技術と同程度の精度と完成度を実現し,精度は桁違いに向上した。
論文 参考訳（メタデータ） (2024-09-19T16:28:45Z) - 3D Neural Edge Reconstruction [61.10201396044153]
本研究では,線と曲線に焦点をあてて3次元エッジ表現を学習する新しい手法であるEMAPを紹介する。
多視点エッジマップから無符号距離関数(UDF)の3次元エッジ距離と方向を暗黙的に符号化する。
この神経表現の上に、推定されたエッジ点とその方向から3次元エッジを頑健に抽象化するエッジ抽出アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-29T17:23:51Z) - Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。
3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
論文 参考訳（メタデータ） (2024-04-02T11:03:24Z) - SepicNet: Sharp Edges Recovery by Parametric Inference of Curves in 3D
Shapes [16.355677959323426]
本稿では,3次元形状の鋭いエッジを原始曲線として検出・パラメータ化するための新しいディープネットワークであるSepicNetを紹介する。
我々は,一様サンプリングよりも鋭い特徴を捕集する適応点雲サンプリング手法を開発した。
論文 参考訳（メタデータ） (2023-04-13T13:37:21Z) - SketchSampler: Sketch-based 3D Reconstruction via View-dependent Depth
Sampling [75.957103837167]
1枚のスケッチ画像に基づいて3次元形状を再構成することは、スパースで不規則なスケッチと正規の高密度な3次元形状との間に大きな領域ギャップがあるため困難である。
既存の作品では、3D座標を直接予測するためにスケッチから抽出されたグローバルな特徴を活用しようとするが、通常は入力スケッチに忠実でない細部を失う。
論文 参考訳（メタデータ） (2022-08-14T16:37:51Z) - Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。
以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。
本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文 参考訳（メタデータ） (2022-04-09T03:46:18Z) - Joint Deep Multi-Graph Matching and 3D Geometry Learning from
Inhomogeneous 2D Image Collections [57.60094385551773]
非均質な画像コレクションから変形可能な3Dジオメトリモデルを学ぶためのトレーニング可能なフレームワークを提案する。
さらに,2次元画像で表現された物体の3次元形状も取得する。
論文 参考訳（メタデータ） (2021-03-31T17:25:36Z) - Geometric Correspondence Fields: Learned Differentiable Rendering for 3D
Pose Refinement in the Wild [96.09941542587865]
野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。
このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。
我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
論文 参考訳（メタデータ） (2020-07-17T12:34:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。