論文の概要: Back to 3D: Few-Shot 3D Keypoint Detection with Back-Projected 2D Features

• arxiv url: http://arxiv.org/abs/2311.18113v2
• Date: Wed, 27 Mar 2024 10:46:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 22:33:12.714328
• Title: Back to 3D: Few-Shot 3D Keypoint Detection with Back-Projected 2D Features
• Title（参考訳）: Back to 3D: バックプロジェクションされた2D機能付きFew-Shot 3Dキーポイント検出
• Authors: Thomas Wimmer, Peter Wonka, Maks Ovsjanikov,
• Abstract要約: 3次元形状のキーポイント検出には意味的および幾何学的認識が必要である。 我々はキーポイント候補最適化モジュールを用いて,その形状上のキーポイントの平均分布を一致させる。 結果として得られたアプローチは、KeyPointNetデータセットで数ショットのキーポイント検出のための新しい状態を実現する。
• 参考スコア（独自算出の注目度）: 64.39691149255717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the immense growth of dataset sizes and computing resources in recent years, so-called foundation models have become popular in NLP and vision tasks. In this work, we propose to explore foundation models for the task of keypoint detection on 3D shapes. A unique characteristic of keypoint detection is that it requires semantic and geometric awareness while demanding high localization accuracy. To address this problem, we propose, first, to back-project features from large pre-trained 2D vision models onto 3D shapes and employ them for this task. We show that we obtain robust 3D features that contain rich semantic information and analyze multiple candidate features stemming from different 2D foundation models. Second, we employ a keypoint candidate optimization module which aims to match the average observed distribution of keypoints on the shape and is guided by the back-projected features. The resulting approach achieves a new state of the art for few-shot keypoint detection on the KeyPointNet dataset, almost doubling the performance of the previous best methods.
• Abstract（参考訳）: 近年,データセットのサイズや計算資源の大幅な増加に伴い,NLPやビジョンタスクにおいて,いわゆるファンデーションモデルが人気を集めている。 本研究では,3次元形状のキーポイント検出のための基礎モデルを提案する。 キーポイント検出のユニークな特徴は、高い位置化精度を要求しながら意味的および幾何学的認識を必要とすることである。 この問題に対処するために,我々はまず,大規模な事前学習型2次元視覚モデルから3次元形状へのバックプロジェクト機能を提案する。 本研究では,リッチな意味情報を含むロバストな3次元特徴を抽出し,異なる2次元基礎モデルから得られた複数の候補特徴を解析する。 第二に、キーポイント候補最適化モジュールを用いて、キーポイントの形状に対する平均的な分布を一致させることを目的として、バックプロジェクションされた特徴によって導かれる。 その結果得られたアプローチは、KeyPointNetデータセット上の数ショットのキーポイント検出のための新しい最先端のキーポイント検出を実現し、以前のベストメソッドのパフォーマンスをほぼ2倍にします。

関連論文リスト

• 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
  3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。 拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。 さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-07T23:46:41Z)
• Leveraging Large-Scale Pretrained Vision Foundation Models for Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
  本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。 我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。 本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:41:15Z)
• PillarNeXt: Rethinking Network Designs for 3D Object Detection in LiDAR Point Clouds [29.15589024703907]
  本稿では,計算資源の割り当ての観点から,局所的な点集合体を再考する。 最も単純な柱ベースのモデルは、精度とレイテンシの両方を考慮して驚くほどよく機能することがわかった。 本研究は,3次元物体検出の高性能化のために,詳細な幾何学的モデリングが不可欠である,という一般的な直観に挑戦する。
  論文  参考訳（メタデータ） (2023-05-08T17:59:14Z)
• SNAKE: Shape-aware Neural 3D Keypoint Field [62.91169625183118]
  形状復元には点雲から3Dキーポイントを検出することが重要である。 形状再構成は3次元キーポイント検出に有効か? 本稿では,形状認識型ニューラル3Dキーポイントフィールドに短いSNAKEという,教師なしの新たなパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-06-03T17:58:43Z)
• CVFNet: Real-time 3D Object Detection by Learning Cross View Features [11.402076835949824]
  CVFNetと呼ばれるリアルタイムビューベースの1段3Dオブジェクト検出器を提案する。 本稿ではまず,複数の段階において,ポイント・アンド・レンジ・ビュー機能を深く統合した新しいポイント・ラウンジ機能融合モジュールを提案する。 次に, 得られた深度視点特徴を鳥の目視に変換する際に, 3次元形状を良好に維持する特別のスライスピラーを設計する。
  論文  参考訳（メタデータ） (2022-03-13T06:23:18Z)
• Learning Geometry-Guided Depth via Projective Modeling for Monocular 3D Object Detection [70.71934539556916]
  射影モデルを用いて幾何学誘導深度推定を学習し, モノクル3次元物体検出を推し進める。 具体的には,モノクロ3次元物体検出ネットワークにおける2次元および3次元深度予測の投影モデルを用いた原理的幾何式を考案した。 本手法は, 適度なテスト設定において, 余分なデータを2.80%も加えることなく, 最先端単分子法の検出性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-07-29T12:30:39Z)
• Implicit Functions in Feature Space for 3D Shape Reconstruction and Completion [53.885984328273686]
  Implicit Feature Networks (IF-Nets) は連続的な出力を提供し、複数のトポロジを扱える。 IF-NetsはShapeNetにおける3次元オブジェクト再構成における先行作業よりも明らかに優れており、より正確な3次元人間の再構成が得られる。
  論文  参考訳（メタデータ） (2020-03-03T11:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。