論文の概要: DiffCAD: Weakly-Supervised Probabilistic CAD Model Retrieval and Alignment from an RGB Image

• arxiv url: http://arxiv.org/abs/2311.18610v2
• Date: Thu, 6 Jun 2024 14:37:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-08 00:20:02.586347
• Title: DiffCAD: Weakly-Supervised Probabilistic CAD Model Retrieval and Alignment from an RGB Image
• Title（参考訳）: DiffCAD:RGB画像からの確率的CADモデル検索とアライメント
• Authors: Daoyi Gao, Dávid Rozenberszki, Stefan Leutenegger, Angela Dai,
• Abstract要約: 本稿では,RGB画像からのCAD検索とアライメントに対する,最初の弱教師付き確率的アプローチであるDiffCADを提案する。 我々はこれを条件付き生成タスクとして定式化し、拡散を利用して画像中のCADオブジェクトの形状、ポーズ、スケールをキャプチャする暗黙の確率モデルを学ぶ。 提案手法は, 合成データのみを用いて学習し, 単眼深度とマスク推定を利用して, 種々の実対象領域へのロバストなゼロショット適応を実現する。
• 参考スコア（独自算出の注目度）: 34.47379913018661
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Perceiving 3D structures from RGB images based on CAD model primitives can enable an effective, efficient 3D object-based representation of scenes. However, current approaches rely on supervision from expensive annotations of CAD models associated with real images, and encounter challenges due to the inherent ambiguities in the task -- both in depth-scale ambiguity in monocular perception, as well as inexact matches of CAD database models to real observations. We thus propose DiffCAD, the first weakly-supervised probabilistic approach to CAD retrieval and alignment from an RGB image. We formulate this as a conditional generative task, leveraging diffusion to learn implicit probabilistic models capturing the shape, pose, and scale of CAD objects in an image. This enables multi-hypothesis generation of different plausible CAD reconstructions, requiring only a few hypotheses to characterize ambiguities in depth/scale and inexact shape matches. Our approach is trained only on synthetic data, leveraging monocular depth and mask estimates to enable robust zero-shot adaptation to various real target domains. Despite being trained solely on synthetic data, our multi-hypothesis approach can even surpass the supervised state-of-the-art on the Scan2CAD dataset by 5.9% with 8 hypotheses.
• Abstract（参考訳）: CADモデルプリミティブに基づくRGB画像から3D構造を認識することにより,シーンの効果的で効率的な3Dオブジェクトベース表現が可能になる。 しかし、現在のアプローチは、実際の画像に関連付けられたCADモデルの高価なアノテーションからの監督と、タスク固有の曖昧さ(単眼知覚における深度スケールの曖昧さ、および実際の観察に対するCADデータベースモデルの不正確な一致)による課題への対処に依存している。 そこで我々は,RGB画像からのCAD検索とアライメントに対する,最初の弱教師付き確率的アプローチであるDiffCADを提案する。 我々はこれを条件付き生成タスクとして定式化し、拡散を利用して画像中のCADオブジェクトの形状、ポーズ、スケールをキャプチャする暗黙の確率モデルを学ぶ。 これにより、異なる可塑性CAD再構成の多仮説生成が可能となり、深さ/スケールのあいまいさと不正確な形状の一致を特徴づける仮説はわずかである。 提案手法は, 合成データのみを用いて学習し, 単眼深度とマスク推定を利用して, 種々の実対象領域へのロバストなゼロショット適応を実現する。 Scan2CADデータセットの教師付き状態を8つの仮説で5.9%超えることができるのです。

関連論文リスト

• Towards Human-Level 3D Relative Pose Estimation: Generalizable, Training-Free, with Single Reference [62.99706119370521]
  人間は、単一のクエリ参照イメージペアのみを与えられたラベル/トレーニングなしで、目に見えないオブジェクトの相対的なポーズを容易に推論することができる。 そこで,本研究では,RGB-D参照から2.5D形状のRGB-D参照,オフザシェルフ微分可能なRGB-D参照,DINOv2のような事前学習モデルからのセマンティックキューを用いた3D一般化可能な相対ポーズ推定手法を提案する。
  論文  参考訳（メタデータ） (2024-06-26T16:01:10Z)
• Sparse Multi-Object Render-and-Compare [33.97243145891282]
  一つの画像から静的な物体の3次元形状とポーズを再構築することは、様々な産業にとって重要な課題である。 直接3D形状を予測することで、非現実的で、過度に滑らかになったり、刻まれた形になる。 CADモデルを取得することで、現実的な形状が保証されるが、堅牢で正確なアライメントが必要である。
  論文  参考訳（メタデータ） (2023-10-17T12:01:32Z)
• Model2Scene: Learning 3D Scene Representation via Contrastive Language-CAD Models Pre-training [105.3421541518582]
  現在成功している3次元シーン認識法は、大規模アノテートされた点雲に依存している。 CAD(Computer-Aided Design)モデルと言語から自由な3Dシーン表現を学習する新しいパラダイムであるModel2Sceneを提案する。 Model2Sceneは、平均mAPが46.08%、ScanNetとS3DISのデータセットが55.49%という、ラベルなしの優れた3Dオブジェクトのサリエント検出をもたらす。
  論文  参考訳（メタデータ） (2023-09-29T03:51:26Z)
• MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare [84.80956484848505]
  MegaPoseは、トレーニング中に見えない新しいオブジェクトの6Dポーズを推定する方法である。 本稿では,新しいオブジェクトに適用可能なR&Compare戦略に基づく6次元ポーズリファインダを提案する。 第2に,合成レンダリングと同一物体の観察画像間のポーズ誤差をリファインダで補正できるか否かを分類するために訓練されたネットワークを利用する,粗いポーズ推定のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-13T19:30:03Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• SPARC: Sparse Render-and-Compare for CAD model alignment in a single RGB image [21.77811443143683]
  1つの画像から3D形状と静止物体のポーズを推定することは、ロボット工学、拡張現実、デジタルコンテンツ作成に重要な応用となる。 我々は、正規化されたオブジェクト座標に依存するよりも、スパースで反復的で、レンダリング・アンド・コンパレントなアプローチの方が正確で堅牢であることを示した。 我々のアライメント手順は、わずか3回のイテレーションで収束し、挑戦的な実世界のデータセットであるScanNetの最先端のパフォーマンスを改善します。
  論文  参考訳（メタデータ） (2022-10-03T16:02:10Z)
• ROCA: Robust CAD Model Retrieval and Alignment from a Single Image [22.03752392397363]
  本稿では,形状データベースから1つの入力画像へ3次元CADモデルを検索・アライメントする,新しいエンドツーエンドアプローチであるROCAを提案する。 ScanNetによる挑戦的で現実的な画像の実験では、ROCAは検索対応CADアライメントの精度が9.5%から17.6%に向上した。
  論文  参考訳（メタデータ） (2021-12-03T16:02:32Z)
• Patch2CAD: Patchwise Embedding Learning for In-the-Wild Shape Retrieval from a Single Image [58.953160501596805]
  本稿では,2次元画像と3次元CADモデルの結合埋め込み空間をパッチワイズで構築する手法を提案する。 我々のアプローチは、CADが正確に一致しない実世界のシナリオにおける最先端技術よりも堅牢である。
  論文  参考訳（メタデータ） (2021-08-20T20:58:52Z)
• Mask2CAD: 3D Shape Prediction by Learning to Segment and Retrieve [54.054575408582565]
  本稿では,既存の3次元モデルの大規模データセットを活用し,画像中の物体の3次元構造を理解することを提案する。 本稿では,実世界の画像と検出対象を共同で検出するMask2CADについて,最も類似したCADモデルとそのポーズを最適化する。 これにより、画像内のオブジェクトのクリーンで軽量な表現が生成される。
  論文  参考訳（メタデータ） (2020-07-26T00:08:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。