論文の概要: FastCAD: Real-Time CAD Retrieval and Alignment from Scans and Videos

• arxiv url: http://arxiv.org/abs/2403.15161v1
• Date: Fri, 22 Mar 2024 12:20:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 17:38:51.110974
• Title: FastCAD: Real-Time CAD Retrieval and Alignment from Scans and Videos
• Title（参考訳）: FastCAD: スキャンとビデオからのリアルタイムCAD検索とアライメント
• Authors: Florian Langer, Jihong Ju, Georgi Dikov, Gerhard Reitmayr, Mohsen Ghafoorian,
• Abstract要約: FastCADは、シーン内のすべてのオブジェクトに対してCADモデルを同時に取得およびアライメントするリアルタイムメソッドである。 単段法は,RGB-Dスキャンで動作している他の手法と比較して,推論時間を50倍に高速化する。 これにより、10FPSでビデオからCADモデルに基づく正確な再構成をリアルタイムに生成できる。
• 参考スコア（独自算出の注目度）: 4.36478623815937
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Digitising the 3D world into a clean, CAD model-based representation has important applications for augmented reality and robotics. Current state-of-the-art methods are computationally intensive as they individually encode each detected object and optimise CAD alignments in a second stage. In this work, we propose FastCAD, a real-time method that simultaneously retrieves and aligns CAD models for all objects in a given scene. In contrast to previous works, we directly predict alignment parameters and shape embeddings. We achieve high-quality shape retrievals by learning CAD embeddings in a contrastive learning framework and distilling those into FastCAD. Our single-stage method accelerates the inference time by a factor of 50 compared to other methods operating on RGB-D scans while outperforming them on the challenging Scan2CAD alignment benchmark. Further, our approach collaborates seamlessly with online 3D reconstruction techniques. This enables the real-time generation of precise CAD model-based reconstructions from videos at 10 FPS. Doing so, we significantly improve the Scan2CAD alignment accuracy in the video setting from 43.0% to 48.2% and the reconstruction accuracy from 22.9% to 29.6%.
• Abstract（参考訳）: 3D世界をクリーンなCADモデルベースの表現にジジタイズすることは、拡張現実とロボット工学にとって重要な応用である。 現在最先端の手法は,検出対象を個別に符号化し,CADアライメントを第2段階で最適化することにより,計算集約化されている。 本研究では,FastCADを提案する。FastCADは,シーン内のすべてのオブジェクトに対して,CADモデルを同時検索・アライメントするリアルタイム手法である。 従来の研究とは対照的に、アライメントパラメータと形状埋め込みを直接予測する。 我々は、対比学習フレームワークにおけるCAD埋め込みを学習し、それらをFastCADに蒸留することにより、高品質な形状検索を実現する。 Scan2CADアライメントベンチマークでは,RGB-Dスキャンで動作している他の手法と比較して,単段法では推論時間を50倍に高速化する。 さらに,本手法はオンライン3D再構成技術とシームレスに連携する。 これにより、10FPSでビデオからCADモデルに基づく正確な再構成をリアルタイムに生成できる。 これにより、ビデオ設定におけるScan2CADアライメント精度を43.0%から48.2%に、再構成精度を22.9%から29.6%に改善する。

関連論文リスト

• Img2CAD: Conditioned 3D CAD Model Generation from Single Image with Structured Visual Geometry [12.265852643914439]
  編集可能なパラメータを生成するために2次元画像入力を用いた最初の知識であるImg2CADを提案する。 Img2CADはAI 3D再構成とCAD表現のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2024-10-04T13:27:52Z)
• PS-CAD: Local Geometry Guidance via Prompting and Selection for CAD Reconstruction [86.726941702182]
  再構成ネットワークPS-CADに幾何学的ガイダンスを導入する。 我々は、現在の再構成が点雲としての完備モデルと異なる曲面の幾何学を提供する。 第二に、幾何学的解析を用いて、候補面に対応する平面的プロンプトの集合を抽出する。
  論文  参考訳（メタデータ） (2024-05-24T03:43:55Z)
• GigaPose: Fast and Robust Novel Object Pose Estimation via One Correspondence [64.77224422330737]
  GigaPoseは、RGB画像におけるCADベースの新しいオブジェクトポーズ推定のための高速で堅牢で正確な方法である。 提案手法では,通常の3次元ではなく,2自由度空間でテンプレートをサンプリングする。 最先端の精度を実現し、既存の精錬手法とシームレスに統合することができる。
  論文  参考訳（メタデータ） (2023-11-23T18:55:03Z)
• Sparse Multi-Object Render-and-Compare [33.97243145891282]
  一つの画像から静的な物体の3次元形状とポーズを再構築することは、様々な産業にとって重要な課題である。 直接3D形状を予測することで、非現実的で、過度に滑らかになったり、刻まれた形になる。 CADモデルを取得することで、現実的な形状が保証されるが、堅牢で正確なアライメントが必要である。
  論文  参考訳（メタデータ） (2023-10-17T12:01:32Z)
• SECAD-Net: Self-Supervised CAD Reconstruction by Learning Sketch-Extrude Operations [21.000539206470897]
  SECAD-Netは、コンパクトで使いやすいCADモデルの再構築を目的とした、エンドツーエンドのニューラルネットワークである。 本研究は,CAD再構築の手法など,最先端の代替手段よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-19T09:26:03Z)
• AutoCAD: Automatically Generating Counterfactuals for Mitigating Shortcut Learning [70.70393006697383]
  完全自動かつタスクに依存しないCAD生成フレームワークであるAutoCADについて述べる。 本稿では,完全に自動化されたタスクに依存しないCAD生成フレームワークであるAutoCADを提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:39:53Z)
• ROCA: Robust CAD Model Retrieval and Alignment from a Single Image [22.03752392397363]
  本稿では,形状データベースから1つの入力画像へ3次元CADモデルを検索・アライメントする,新しいエンドツーエンドアプローチであるROCAを提案する。 ScanNetによる挑戦的で現実的な画像の実験では、ROCAは検索対応CADアライメントの精度が9.5%から17.6%に向上した。
  論文  参考訳（メタデータ） (2021-12-03T16:02:32Z)
• Patch2CAD: Patchwise Embedding Learning for In-the-Wild Shape Retrieval from a Single Image [58.953160501596805]
  本稿では,2次元画像と3次元CADモデルの結合埋め込み空間をパッチワイズで構築する手法を提案する。 我々のアプローチは、CADが正確に一致しない実世界のシナリオにおける最先端技術よりも堅牢である。
  論文  参考訳（メタデータ） (2021-08-20T20:58:52Z)
• Vid2CAD: CAD Model Alignment using Multi-View Constraints from Videos [48.69114433364771]
  複数のオブジェクトを含む複雑なシーンの映像シーケンスにCADモデルを整列させる作業に対処する。 提案手法では,任意のビデオの処理が可能で,各オブジェクトに対する9つのDoFポーズを自動的に復元し,共通3次元座標フレームに整列させる。
  論文  参考訳（メタデータ） (2020-12-08T18:57:45Z)
• Mask2CAD: 3D Shape Prediction by Learning to Segment and Retrieve [54.054575408582565]
  本稿では,既存の3次元モデルの大規模データセットを活用し,画像中の物体の3次元構造を理解することを提案する。 本稿では,実世界の画像と検出対象を共同で検出するMask2CADについて,最も類似したCADモデルとそのポーズを最適化する。 これにより、画像内のオブジェクトのクリーンで軽量な表現が生成される。
  論文  参考訳（メタデータ） (2020-07-26T00:08:37Z)
• CAD-Deform: Deformable Fitting of CAD Models to 3D Scans [30.451330075135076]
  本稿では,検索したCADモデルを用いて,より高精度なCAD-to-Scanマッチングを実現するCAD-Deformを提案する。 一連の実験により,本手法はより厳密なスキャン・トゥ・CAD適合性を実現し,スキャンした実環境のより正確なデジタル複製を可能にした。
  論文  参考訳（メタデータ） (2020-07-23T12:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。