論文の概要: Weakly-Supervised End-to-End CAD Retrieval to Scan Objects

• arxiv url: http://arxiv.org/abs/2203.12873v1
• Date: Thu, 24 Mar 2022 06:30:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 14:37:08.612800
• Title: Weakly-Supervised End-to-End CAD Retrieval to Scan Objects
• Title（参考訳）: スキャン対象物に対する極端CAD検索の微弱化
• Authors: Tim Beyer, Angela Dai
• Abstract要約: 本稿では,意味的および構造的に類似したCADモデルをクエリ3Dスキャンシーンに検索する手法を提案する。 提案手法では,トップモデルとスキャンクエリとの幾何的および知覚的類似性により,エンド・ツー・エンドのトレーニングを可能にする。
• 参考スコア（独自算出の注目度）: 25.41908065938424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: CAD model retrieval to real-world scene observations has shown strong promise as a basis for 3D perception of objects and a clean, lightweight mesh-based scene representation; however, current approaches to retrieve CAD models to a query scan rely on expensive manual annotations of 1:1 associations of CAD-scan objects, which typically contain strong lower-level geometric differences. We thus propose a new weakly-supervised approach to retrieve semantically and structurally similar CAD models to a query 3D scanned scene without requiring any CAD-scan associations, and only object detection information as oriented bounding boxes. Our approach leverages a fully-differentiable top-$k$ retrieval layer, enabling end-to-end training guided by geometric and perceptual similarity of the top retrieved CAD models to the scan queries. We demonstrate that our weakly-supervised approach can outperform fully-supervised retrieval methods on challenging real-world ScanNet scans, and maintain robustness for unseen class categories, achieving significantly improved performance over fully-supervised state of the art in zero-shot CAD retrieval.
• Abstract（参考訳）: CADモデル検索は,オブジェクトの3次元認識の基礎として,クリーンで軽量なメッシュベースのシーン表現として強く期待されているが,クエリスキャンにCADモデルを検索するための現在のアプローチは,CAD-Scanオブジェクトの1:1の高価な手作業アノテーションに依存している。 そこで本研究では,CAD-Scanアソシエーションを必要とせずに,意味的および構造的に類似したCADモデルをクエリ3Dスキャンシーンに検索する,弱い教師付きアプローチを提案する。 本手法は,完全微分可能な上位$k$検索層を活用し,検索された上位cadモデルの幾何学的および知覚的類似性に導かれるエンドツーエンドのトレーニングを実現する。 提案手法は,実世界のscannetスキャンにおいて,完全教師付き検索手法を上回ることができ,かつ無意味なクラスカテゴリの頑健性を維持し,ゼロショットcad検索において,全教師付き検索性能を大幅に向上できることを実証する。

関連論文リスト

• LASA: Instance Reconstruction from Real Scans using A Large-scale Aligned Shape Annotation Dataset [17.530432165466507]
  本稿では,新しいクロスモーダル形状再構成法とOccGOD法を提案する。 本手法は,インスタンスレベルのシーン再構成と3次元オブジェクト検出の両タスクにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T18:50:10Z)
• DiffCAD: Weakly-Supervised Probabilistic CAD Model Retrieval and Alignment from an RGB Image [34.47379913018661]
  本稿では,RGB画像からのCAD検索とアライメントに対する,最初の弱教師付き確率的アプローチであるDiffCADを提案する。 我々はこれを条件付き生成タスクとして定式化し、拡散を利用して画像中のCADオブジェクトの形状、ポーズ、スケールをキャプチャする暗黙の確率モデルを学ぶ。 提案手法は, 合成データのみを用いて学習し, 単眼深度とマスク推定を利用して, 種々の実対象領域へのロバストなゼロショット適応を実現する。
  論文  参考訳（メタデータ） (2023-11-30T15:10:21Z)
• Sparse Multi-Object Render-and-Compare [33.97243145891282]
  一つの画像から静的な物体の3次元形状とポーズを再構築することは、様々な産業にとって重要な課題である。 直接3D形状を予測することで、非現実的で、過度に滑らかになったり、刻まれた形になる。 CADモデルを取得することで、現実的な形状が保証されるが、堅牢で正確なアライメントが必要である。
  論文  参考訳（メタデータ） (2023-10-17T12:01:32Z)
• NeurOCS: Neural NOCS Supervision for Monocular 3D Object Localization [80.3424839706698]
  入力として3Dボックスをインスタンスマスクとして使用するNeurOCSを提案する。 われわれのアプローチは、実際の運転シーンから直接カテゴリレベルの形状を学習する際の洞察に依存している。 我々は、オブジェクト中心の視点からオブジェクト座標をより効果的に学習するための重要な設計選択を行う。
  論文  参考訳（メタデータ） (2023-05-28T16:18:41Z)
• Multiview Compressive Coding for 3D Reconstruction [77.95706553743626]
  単一オブジェクトの3Dポイントやシーン全体で動作するシンプルなフレームワークを紹介します。 我々のモデルであるMultiview Compressive Codingは、入力の外観と形状を圧縮して3次元構造を予測する。
  論文  参考訳（メタデータ） (2023-01-19T18:59:52Z)
• Stereo Neural Vernier Caliper [57.187088191829886]
  学習に基づくステレオ3Dオブジェクト検出のための新しいオブジェクト中心フレームワークを提案する。 初期3次元立方体推定値から改良された更新を予測する方法の問題に対処する。 提案手法は,KITTIベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-21T14:36:07Z)
• Patch2CAD: Patchwise Embedding Learning for In-the-Wild Shape Retrieval from a Single Image [58.953160501596805]
  本稿では,2次元画像と3次元CADモデルの結合埋め込み空間をパッチワイズで構築する手法を提案する。 我々のアプローチは、CADが正確に一致しない実世界のシナリオにおける最先端技術よりも堅牢である。
  論文  参考訳（メタデータ） (2021-08-20T20:58:52Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• Mask2CAD: 3D Shape Prediction by Learning to Segment and Retrieve [54.054575408582565]
  本稿では,既存の3次元モデルの大規模データセットを活用し,画像中の物体の3次元構造を理解することを提案する。 本稿では,実世界の画像と検出対象を共同で検出するMask2CADについて,最も類似したCADモデルとそのポーズを最適化する。 これにより、画像内のオブジェクトのクリーンで軽量な表現が生成される。
  論文  参考訳（メタデータ） (2020-07-26T00:08:37Z)
• CAD-Deform: Deformable Fitting of CAD Models to 3D Scans [30.451330075135076]
  本稿では,検索したCADモデルを用いて,より高精度なCAD-to-Scanマッチングを実現するCAD-Deformを提案する。 一連の実験により,本手法はより厳密なスキャン・トゥ・CAD適合性を実現し,スキャンした実環境のより正確なデジタル複製を可能にした。
  論文  参考訳（メタデータ） (2020-07-23T12:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。