論文の概要: Leveraging Geometry for Shape Estimation from a Single RGB Image

• arxiv url: http://arxiv.org/abs/2111.05615v1
• Date: Wed, 10 Nov 2021 10:17:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-11 19:12:08.907326
• Title: Leveraging Geometry for Shape Estimation from a Single RGB Image
• Title（参考訳）: 単一RGB画像からの形状推定のためのレバレッジ幾何学
• Authors: Florian Langer, Ignas Budvytis, Roberto Cipolla
• Abstract要約: RGB画像からレンダリングCADモデルへのキーポイントのマッチングにより,より正確なオブジェクトポーズ予測が可能となることを示す。 また、キーポイントマッチングは、オブジェクトのポーズを推定するだけでなく、オブジェクト自体の形状を変更するためにも使用できることを示す。 提案された幾何学的形状予測により、最先端のAPメッシュは、見えない物体では33.2から37.8、見えない物体では8.2から17.1に改善される。
• 参考スコア（独自算出の注目度）: 25.003116148843525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting 3D shapes and poses of static objects from a single RGB image is an important research area in modern computer vision. Its applications range from augmented reality to robotics and digital content creation. Typically this task is performed through direct object shape and pose predictions which is inaccurate. A promising research direction ensures meaningful shape predictions by retrieving CAD models from large scale databases and aligning them to the objects observed in the image. However, existing work does not take the object geometry into account, leading to inaccurate object pose predictions, especially for unseen objects. In this work we demonstrate how cross-domain keypoint matches from an RGB image to a rendered CAD model allow for more precise object pose predictions compared to ones obtained through direct predictions. We further show that keypoint matches can not only be used to estimate the pose of an object, but also to modify the shape of the object itself. This is important as the accuracy that can be achieved with object retrieval alone is inherently limited to the available CAD models. Allowing shape adaptation bridges the gap between the retrieved CAD model and the observed shape. We demonstrate our approach on the challenging Pix3D dataset. The proposed geometric shape prediction improves the AP mesh over the state-of-the-art from 33.2 to 37.8 on seen objects and from 8.2 to 17.1 on unseen objects. Furthermore, we demonstrate more accurate shape predictions without closely matching CAD models when following the proposed shape adaptation. Code is publicly available at https://github.com/florianlanger/leveraging_geometry_for_shape_estimation .
• Abstract（参考訳）: 単一のRGB画像から静的物体の3次元形状とポーズを予測することは、現代のコンピュータビジョンにおいて重要な研究領域である。 応用範囲は拡張現実からロボティクス、デジタルコンテンツ制作まで多岐にわたる。 通常、このタスクは直接オブジェクトの形状と不正確な予測によって実行される。 有望な研究方向は、大規模データベースからCADモデルを抽出し、画像に観察されたオブジェクトにアライメントすることで、意味のある形状予測を保証する。 しかし、既存の研究はオブジェクトの幾何学を考慮に入れておらず、特に目に見えないオブジェクトに対する不正確なオブジェクトポーズの予測に繋がる。 本稿では、rgb画像からレンダリングされたcadモデルへのクロスドメインキーポイントのマッチングが、直接予測によって得られたものと比較して、より正確なオブジェクトポーズ予測を可能にすることを示す。 さらに、キーポイントマッチングは、オブジェクトのポーズを推定するだけでなく、オブジェクト自体の形状を変更するためにも使用できることを示した。 オブジェクト検索だけで達成できる精度は、基本的に利用可能なCADモデルに限られているため、これは重要である。 形状適応は, 得られたCADモデルと観察された形状とのギャップを橋渡しする。 Pix3Dデータセットに挑戦するアプローチを示します。 提案する幾何形状予測は,実物では33.2から37.8に,見えない物では8.2から17.1に改善する。 さらに,提案する形状適応の際,cadモデルと密接に一致することなく,より正確な形状予測を行う。 コードはhttps://github.com/florianlanger/leveraging_geometry_for_shape_estimationで公開されている。

関連論文リスト

• Sparse Multi-Object Render-and-Compare [33.97243145891282]
  一つの画像から静的な物体の3次元形状とポーズを再構築することは、様々な産業にとって重要な課題である。 直接3D形状を予測することで、非現実的で、過度に滑らかになったり、刻まれた形になる。 CADモデルを取得することで、現実的な形状が保証されるが、堅牢で正確なアライメントが必要である。
  論文  参考訳（メタデータ） (2023-10-17T12:01:32Z)
• ShapeShift: Superquadric-based Object Pose Estimation for Robotic Grasping [85.38689479346276]
  現在の技術は参照3Dオブジェクトに大きく依存しており、その一般化性を制限し、新しいオブジェクトカテゴリに拡張するのにコストがかかる。 本稿では,オブジェクトに適合するプリミティブな形状に対してオブジェクトのポーズを予測する,オブジェクトのポーズ推定のためのスーパークワッドリックベースのフレームワークであるShapeShiftを提案する。
  論文  参考訳（メタデータ） (2023-04-10T20:55:41Z)
• OnePose++: Keypoint-Free One-Shot Object Pose Estimation without CAD Models [51.68715543630427]
  OnePoseは繰り返し可能なイメージキーポイントの検出に依存しているので、低テクスチャオブジェクトで失敗する傾向がある。 繰り返し可能なキーポイント検出の必要性を取り除くために,キーポイントフリーポーズ推定パイプラインを提案する。 2D-3Dマッチングネットワークは、クエリ画像と再構成されたポイントクラウドモデルとの間の2D-3D対応を直接確立する。
  論文  参考訳（メタデータ） (2023-01-18T17:47:13Z)
• Generative Category-Level Shape and Pose Estimation with Semantic Primitives [27.692997522812615]
  本稿では,1枚のRGB-D画像からカテゴリレベルのオブジェクト形状とポーズ推定を行う新しいフレームワークを提案する。 カテゴリ内変動に対処するために、様々な形状を統一された潜在空間にエンコードするセマンティックプリミティブ表現を採用する。 提案手法は,実世界のデータセットにおいて,SOTAのポーズ推定性能とより優れた一般化を実現する。
  論文  参考訳（メタデータ） (2022-10-03T17:51:54Z)
• SPARC: Sparse Render-and-Compare for CAD model alignment in a single RGB image [21.77811443143683]
  1つの画像から3D形状と静止物体のポーズを推定することは、ロボット工学、拡張現実、デジタルコンテンツ作成に重要な応用となる。 我々は、正規化されたオブジェクト座標に依存するよりも、スパースで反復的で、レンダリング・アンド・コンパレントなアプローチの方が正確で堅牢であることを示した。 我々のアライメント手順は、わずか3回のイテレーションで収束し、挑戦的な実世界のデータセットであるScanNetの最先端のパフォーマンスを改善します。
  論文  参考訳（メタデータ） (2022-10-03T16:02:10Z)
• Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
  カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。 我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。 我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:42:31Z)
• Patch2CAD: Patchwise Embedding Learning for In-the-Wild Shape Retrieval from a Single Image [58.953160501596805]
  本稿では,2次元画像と3次元CADモデルの結合埋め込み空間をパッチワイズで構築する手法を提案する。 我々のアプローチは、CADが正確に一致しない実世界のシナリオにおける最先端技術よりも堅牢である。
  論文  参考訳（メタデータ） (2021-08-20T20:58:52Z)
• From Points to Multi-Object 3D Reconstruction [71.17445805257196]
  単一のRGB画像から複数の3Dオブジェクトを検出し再構成する方法を提案する。 キーポイント検出器は、オブジェクトを中心点としてローカライズし、9-DoF境界ボックスや3D形状を含む全てのオブジェクト特性を直接予測する。 提示されたアプローチは、軽量な再構築を単一ステージで実行し、リアルタイム能力を持ち、完全に微分可能で、エンドツーエンドのトレーナーブルである。
  論文  参考訳（メタデータ） (2020-12-21T18:52:21Z)
• 3D Object Detection and Pose Estimation of Unseen Objects in Color Images with Local Surface Embeddings [35.769234123059086]
  本研究では, 画像中のオブジェクトの3次元ポーズを, テクスチャのないCADモデルでのみ検出し, 推定する手法を提案する。 我々のアプローチはディープラーニングと3D幾何を組み合わせており、CADモデルと入力画像とを一致させるために、局所的な3D幾何の埋め込みに依存している。 我々は,Mask-RCNNをクラスに依存しない方法で,再学習せずに新しい物体を検出できることを示す。
  論文  参考訳（メタデータ） (2020-10-08T15:57:06Z)
• Shape Prior Deformation for Categorical 6D Object Pose and Size Estimation [62.618227434286]
  RGB-D画像から見えないオブジェクトの6Dポーズとサイズを復元する新しい学習手法を提案する。 本研究では,事前学習したカテゴリ形状からの変形を明示的にモデル化することにより,3次元オブジェクトモデルを再構築するディープネットワークを提案する。
  論文  参考訳（メタデータ） (2020-07-16T16:45:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。