論文の概要: KP-RED: Exploiting Semantic Keypoints for Joint 3D Shape Retrieval and Deformation

• arxiv url: http://arxiv.org/abs/2403.10099v2
• Date: Wed, 20 Mar 2024 07:12:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 13:39:48.427895
• Title: KP-RED: Exploiting Semantic Keypoints for Joint 3D Shape Retrieval and Deformation
• Title（参考訳）: KP-RED:ジョイント3次元形状検索と変形のためのセマンティックキーポイントの爆発
• Authors: Ruida Zhang, Chenyangguang Zhang, Yan Di, Fabian Manhardt, Xingyu Liu, Federico Tombari, Xiangyang Ji,
• Abstract要約: KP-RED は KeyPoint 主導の Retrieval and deformation フレームワークである。 オブジェクトスキャンを入力として、最も幾何学的に類似したCADモデルを共同で検索し、変形させる。
• 参考スコア（独自算出の注目度）: 87.23575166061413
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we present KP-RED, a unified KeyPoint-driven REtrieval and Deformation framework that takes object scans as input and jointly retrieves and deforms the most geometrically similar CAD models from a pre-processed database to tightly match the target. Unlike existing dense matching based methods that typically struggle with noisy partial scans, we propose to leverage category-consistent sparse keypoints to naturally handle both full and partial object scans. Specifically, we first employ a lightweight retrieval module to establish a keypoint-based embedding space, measuring the similarity among objects by dynamically aggregating deformation-aware local-global features around extracted keypoints. Objects that are close in the embedding space are considered similar in geometry. Then we introduce the neural cage-based deformation module that estimates the influence vector of each keypoint upon cage vertices inside its local support region to control the deformation of the retrieved shape. Extensive experiments on the synthetic dataset PartNet and the real-world dataset Scan2CAD demonstrate that KP-RED surpasses existing state-of-the-art approaches by a large margin. Codes and trained models will be released in https://github.com/lolrudy/KP-RED.
• Abstract（参考訳）: 本稿では,KP-REDについて述べる。KP-REDは,オブジェクトスキャンを入力として取り込んで,その対象と密に一致させるために,事前処理されたデータベースから最も幾何学的に類似したCADモデルを抽出・変形する,統合されたキーポイント駆動型レトリーバル・変形フレームワークである。 通常、ノイズのある部分的スキャンに苦しむ既存の密マッチング法とは異なり、本研究では、全対象スキャンと部分的スキャンの両方を自然に扱うために、カテゴリ一貫性のスパースキーポイントを活用することを提案する。 具体的には、まず、軽量な検索モジュールを用いてキーポイントベースの埋め込み空間を構築し、抽出されたキーポイントの周辺に変形認識された局所的特徴を動的に集約することにより、オブジェクト間の類似性を計測する。 埋め込み空間に近接する対象は幾何学において類似していると考えられる。 次に, 局所支持領域内のケージ頂点に対する各キーポイントの影響ベクトルを推定し, 取得した形状の変形を制御するニューラルケージに基づく変形モジュールを提案する。 合成データセットPartNetと実世界のデータセットScan2CADに関する大規模な実験は、KP-REDが既存の最先端アプローチをはるかに上回っていることを示している。 コードとトレーニングされたモデルはhttps://github.com/lolrudy/KP-REDでリリースされる。

関連論文リスト

• ShapeMatcher: Self-Supervised Joint Shape Canonicalization, Segmentation, Retrieval and Deformation [47.94499636697971]
  本稿では,関節形状の正準化,分節化,検索,変形を行うための自己教師型学習フレームワークであるShapeMatcherを提案する。 ShapeMakerの重要な洞察は、標準化、セグメンテーション、検索、変形という4つの高関連プロセスの同時トレーニングである。
  論文  参考訳（メタデータ） (2023-11-18T15:44:57Z)
• U-RED: Unsupervised 3D Shape Retrieval and Deformation for Partial Point Clouds [84.32525852378525]
  教師なし形状検索および変形パイプラインであるU-REDを提案する。 任意のオブジェクトの観察を入力として受け取り、通常RGBの画像やスキャンによってキャプチャされ、幾何学的に類似したCADモデルを共同で検索して変形する。 我々は,U-REDが既存の最先端アプローチを47.3%,16.7%,31.6%で上回っていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T20:56:05Z)
• Enhancing Deformable Local Features by Jointly Learning to Detect and Describe Keypoints [8.390939268280235]
  局所特徴抽出は、画像マッチングや検索といった重要なタスクに対処するためのコンピュータビジョンにおける標準的なアプローチである。 鍵点を共同で検出・記述する新しい変形認識ネットワークであるDALFを提案する。 提案手法は、変形可能なオブジェクト検索と、非剛性な3次元表面登録という、2つの実世界のアプリケーションの性能を向上させる。
  論文  参考訳（メタデータ） (2023-04-02T18:01:51Z)
• Robust Change Detection Based on Neural Descriptor Fields [53.111397800478294]
  我々は、部分的に重なり合う観測結果とノイズのある局所化結果に頑健なオブジェクトレベルのオンライン変化検出手法を開発した。 形状符号の類似性を利用して物体を連想させ, 局所的な物体近傍の空間配置を比較することにより, 観測重複や局所雑音に対する頑健性を示す。
  論文  参考訳（メタデータ） (2022-08-01T17:45:36Z)
• UKPGAN: A General Self-Supervised Keypoint Detector [43.35270822722044]
  UKPGANは一般的な3Dキーポイント検出器である。 私たちのキーポイントは、注釈付きキーポイントラベルとよく一致します。 我々のモデルは、剛性と非剛性変換の両方の下で安定である。
  論文  参考訳（メタデータ） (2020-11-24T09:08:21Z)
• Monocular 3D Detection with Geometric Constraints Embedding and Semi-supervised Training [3.8073142980733]
  我々は,KM3D-Netと呼ばれる,RGB画像のみを用いたモノクル3Dオブジェクト検出のための新しいフレームワークを提案する。 我々は、対象のキーポイント、次元、方向を予測するための完全な畳み込みモデルを設計し、これらの推定を視点幾何学的制約と組み合わせて位置属性を計算する。
  論文  参考訳（メタデータ） (2020-09-02T00:51:51Z)
• Shape Prior Deformation for Categorical 6D Object Pose and Size Estimation [62.618227434286]
  RGB-D画像から見えないオブジェクトの6Dポーズとサイズを復元する新しい学習手法を提案する。 本研究では,事前学習したカテゴリ形状からの変形を明示的にモデル化することにより,3次元オブジェクトモデルを再構築するディープネットワークを提案する。
  論文  参考訳（メタデータ） (2020-07-16T16:45:05Z)
• Cylindrical Convolutional Networks for Joint Object Detection and Viewpoint Estimation [76.21696417873311]
  3次元空間で定義された畳み込みカーネルの円筒形表現を利用する学習可能なモジュールである円筒型畳み込みネットワーク(CCN)を導入する。 CCNはビュー固有の畳み込みカーネルを通してビュー固有の特徴を抽出し、各視点におけるオブジェクトカテゴリスコアを予測する。 本実験は,円柱状畳み込みネットワークが関節物体の検出と視点推定に与える影響を実証する。
  論文  参考訳（メタデータ） (2020-03-25T10:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。