論文の概要: CADSplat: Sparse-View 3D Gaussian Splatting Aided by CAD Models for Robust, Photorealistic Digital-Twin Reconstruction

• arxiv url: http://arxiv.org/abs/2609.18473v1
• Date: Wed, 16 Sep 2026 11:07:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.766953
• Title: CADSplat: Sparse-View 3D Gaussian Splatting Aided by CAD Models for Robust, Photorealistic Digital-Twin Reconstruction
• Title（参考訳）: CADSplat:ロバストでフォトリアリスティックなデジタルツイン再構成のためのCADモデルによるスパースビュー3Dガウススプラッティング
• Abstract要約: 本稿では、幾何学的に正確なディジタル双生児をスパースビューから再構築するフレームワークであるCADSplatを提案する。 現実の2つのデータセットの中で、CADSplatは制約なし、数ショット、メッシュテクスチャベースラインを上回り、3つのビューまで優雅に分解する。 これにより、マーカーレス拡張現実登録、画像ごとのオブジェクトポーズ推定、物理シミュレーション、デザインから再構成へのパーツラベルの転送など、新規なビュー合成以上の応用が可能になる。
• 参考スコア（独自算出の注目度）: 0.8092772265574579
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present CADSplat, a framework that reconstructs photorealistic, geometrically accurate digital twins from sparse ($<15$ views), wide-baseline posed images of an object by regularizing 3D Gaussian Splatting (3DGS) with an explicit CAD shape prior. Using such a prior requires finding a CAD model whose shape resembles the object depicted in the images and determining the pose of each camera relative to the object. We obtain both by matching segmented object silhouettes against silhouettes rendered from a CAD library and keeping the camera-to-object poses of the best-matching model. We then anchor 3D Gaussian primitives to the surface of the retrieved model and jointly optimize the 3DGS parameters, the camera-to-object registration, and a non-rigid deformation field to account for shape differences between the physical object and the CAD model. Across two real-world datasets, CADSplat outperforms unconstrained, few-shot, and mesh-texturing baselines and degrades gracefully to as few as 3 views. Our experiments show that most of the gain in rendering quality comes from how the splats are constrained---a fixed set of splats tied to a surface and moved by a single smooth deformation field---rather than from the CAD shape itself. The CAD model adds shape knowledge where views are scarcest, in the sparsest captures and on strongly self-occluded objects, and it places every camera in the object's own frame. This enables applications beyond novel-view synthesis, such as markerless augmented reality registration, per-image object pose estimation, physical simulations, and the transfer of part labels from the design to the reconstruction.
• Abstract（参考訳）: 本稿では,3次元ガウススプラッティング(3DGS)を前向きなCAD形状で正規化することにより,光写実的で幾何的精度の高いデジタル双対をスパース($<15$ビュー)から再構築するフレームワークであるCADSplatについて述べる。 このような先行モデルを用いることで、画像に描かれたオブジェクトに形状が似ているCADモデルを見つけ、オブジェクトに対して各カメラのポーズを決定する必要がある。 CADライブラリからレンダリングされたシルエットとセグメント化されたオブジェクトシルエットをマッチングし、ベストマッチングモデルのカメラ対オブジェクトのポーズを保持することにより、両者を一致させる。 得られたモデルの表面に3Dガウス原始体を固定し、3DGSパラメータ、カメラ対オブジェクト登録、および非剛体変形場を共同で最適化し、物理オブジェクトとCADモデルの形状差を考慮に入れた。 現実の2つのデータセットの中で、CADSplatは制約なし、数ショット、メッシュテクスチャベースラインを上回り、3つのビューまで優雅に分解する。 実験の結果, レンダリング品質の向上は, CAD形状ではなく, 表面に固定された平板の集合体を1つの滑らかな変形場で移動させることで得られることがわかった。 CADモデルは、ビューが欠如している、疎遠なキャプチャや、強い自己排他的オブジェクトに対する形状知識を追加し、すべてのカメラをオブジェクト自身のフレームに配置する。 これにより、マーカーレス拡張現実登録、画像ごとのオブジェクトポーズ推定、物理シミュレーション、デザインから再構成へのパーツラベルの転送など、新規なビュー合成以上の応用が可能になる。

関連論文リスト

• FLARE: Feed-forward Geometry, Appearance and Camera Estimation from Uncalibrated Sparse Views [100.45129752375658]
  FLAREは、高品質カメラのポーズと3次元幾何を、補正されていないスパースビュー画像から推定するために設計されたフィードフォワードモデルである。 本ソリューションでは,3次元構造を2次元画像平面にマッピングする上で,カメラポーズが重要なブリッジとして機能するケースケード学習パラダイムを特徴とする。
  論文  参考訳（メタデータ） (2025-02-17T18:54:05Z)
• Img2CAD: Conditioned 3D CAD Model Generation from Single Image with Structured Visual Geometry [12.265852643914439]
  編集可能なパラメータを生成するために2次元画像入力を用いた最初の知識であるImg2CADを提案する。 Img2CADはAI 3D再構成とCAD表現のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2024-10-04T13:27:52Z)
• Sparse Multi-Object Render-and-Compare [33.97243145891282]
  一つの画像から静的な物体の3次元形状とポーズを再構築することは、様々な産業にとって重要な課題である。 直接3D形状を予測することで、非現実的で、過度に滑らかになったり、刻まれた形になる。 CADモデルを取得することで、現実的な形状が保証されるが、堅牢で正確なアライメントが必要である。
  論文  参考訳（メタデータ） (2023-10-17T12:01:32Z)
• SPARC: Sparse Render-and-Compare for CAD model alignment in a single RGB image [21.77811443143683]
  1つの画像から3D形状と静止物体のポーズを推定することは、ロボット工学、拡張現実、デジタルコンテンツ作成に重要な応用となる。 我々は、正規化されたオブジェクト座標に依存するよりも、スパースで反復的で、レンダリング・アンド・コンパレントなアプローチの方が正確で堅牢であることを示した。 我々のアライメント手順は、わずか3回のイテレーションで収束し、挑戦的な実世界のデータセットであるScanNetの最先端のパフォーマンスを改善します。
  論文  参考訳（メタデータ） (2022-10-03T16:02:10Z)
• Patch2CAD: Patchwise Embedding Learning for In-the-Wild Shape Retrieval from a Single Image [58.953160501596805]
  本稿では,2次元画像と3次元CADモデルの結合埋め込み空間をパッチワイズで構築する手法を提案する。 我々のアプローチは、CADが正確に一致しない実世界のシナリオにおける最先端技術よりも堅牢である。
  論文  参考訳（メタデータ） (2021-08-20T20:58:52Z)
• Mask2CAD: 3D Shape Prediction by Learning to Segment and Retrieve [54.054575408582565]
  本稿では,既存の3次元モデルの大規模データセットを活用し,画像中の物体の3次元構造を理解することを提案する。 本稿では,実世界の画像と検出対象を共同で検出するMask2CADについて,最も類似したCADモデルとそのポーズを最適化する。 これにより、画像内のオブジェクトのクリーンで軽量な表現が生成される。
  論文  参考訳（メタデータ） (2020-07-26T00:08:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。