論文の概要: DenseMatcher: Learning 3D Semantic Correspondence for Category-Level Manipulation from a Single Demo

• arxiv url: http://arxiv.org/abs/2412.05268v1
• Date: Fri, 06 Dec 2024 18:55:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:55:21.952620
• Title: DenseMatcher: Learning 3D Semantic Correspondence for Category-Level Manipulation from a Single Demo
• Title（参考訳）: DenseMatcher: 単一デモからカテゴリレベルマニピュレーションのための3Dセマンティック対応学習
• Authors: Junzhe Zhu, Yuanchen Ju, Junyi Zhang, Muhan Wang, Zhecheng Yuan, Kaizhe Hu, Huazhe Xu,
• Abstract要約: DenseMatcher(DenseMatcher)は、類似した構造を持つ線内オブジェクト間の3次元対応を計算できる手法である。 DenseMatcherは、以前の3Dマッチングベースラインを43.5%上回っている。
• 参考スコア（独自算出の注目度）: 22.659984212937907
• License:
• Abstract: Dense 3D correspondence can enhance robotic manipulation by enabling the generalization of spatial, functional, and dynamic information from one object to an unseen counterpart. Compared to shape correspondence, semantic correspondence is more effective in generalizing across different object categories. To this end, we present DenseMatcher, a method capable of computing 3D correspondences between in-the-wild objects that share similar structures. DenseMatcher first computes vertex features by projecting multiview 2D features onto meshes and refining them with a 3D network, and subsequently finds dense correspondences with the obtained features using functional map. In addition, we craft the first 3D matching dataset that contains colored object meshes across diverse categories. In our experiments, we show that DenseMatcher significantly outperforms prior 3D matching baselines by 43.5%. We demonstrate the downstream effectiveness of DenseMatcher in (i) robotic manipulation, where it achieves cross-instance and cross-category generalization on long-horizon complex manipulation tasks from observing only one demo; (ii) zero-shot color mapping between digital assets, where appearance can be transferred between different objects with relatable geometry.
• Abstract（参考訳）: デンス3D対応は、ある物体から見えない物体への空間的、機能的、動的情報の一般化を可能にすることにより、ロボット操作を強化することができる。 形状対応と比較して、意味対応は異なる対象カテゴリをまたいだ一般化においてより効果的である。 そこで我々はDenseMatcherを提案する。DenseMatcherは、類似した構造を持つ線内オブジェクト間の3D対応を計算できる手法である。 DenseMatcherはまず,マルチビュー2D機能をメッシュ上に投影し,それを3Dネットワークで精製することで頂点特徴を計算し,次に関数マップを用いて得られた特徴と密接な対応を求める。 さらに、さまざまなカテゴリにまたがる色付きのオブジェクトメッシュを含む、最初の3Dマッチングデータセットを作成します。 実験の結果,DenseMatcherは従来の3Dマッチングベースラインよりも43.5%優れていた。 我々はDenseMatcherの下流効果を実証する。 一 ロボット操作であって、一のデモのみを観察することから、長距離複合操作タスクにおけるクロスインスタンス及びクロスカテゴリの一般化を実現すること。 (II) デジタルアセット間のゼロショットカラーマッピング。

関連論文リスト

• View-Consistent Hierarchical 3D Segmentation Using Ultrametric Feature Fields [52.08335264414515]
  我々は3次元シーンを表すニューラル・レージアンス・フィールド(NeRF)内の新しい特徴場を学習する。 本手法は、ビュー一貫性の多粒性2Dセグメンテーションを入力とし、3D一貫性のセグメンテーションの階層構造を出力として生成する。 提案手法と,多視点画像と多粒性セグメンテーションを用いた合成データセットのベースラインの評価を行い,精度と視点整合性を向上したことを示す。
  論文  参考訳（メタデータ） (2024-05-30T04:14:58Z)
• SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
  新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。 我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。 ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2023-12-17T09:05:47Z)
• Neural Semantic Surface Maps [52.61017226479506]
  本稿では,2つの属とゼロの形状の地図を自動計算する手法を提案する。 提案手法は,手動のアノテーションや3Dトレーニングデータ要求を排除し,意味的表面-表面マップを生成する。
  論文  参考訳（メタデータ） (2023-09-09T16:21:56Z)
• Explicit3D: Graph Network with Spatial Inference for Single Image 3D Object Detection [35.85544715234846]
  本稿では,オブジェクトの幾何学的特徴と意味論的特徴に基づいて,Explicit3Dという動的スパースグラフパイプラインを提案する。 SUN RGB-Dデータセットによる実験結果から,我々のExplicit3Dは最先端技術よりも優れた性能バランスを実現することが示された。
  論文  参考訳（メタデータ） (2023-02-13T16:19:54Z)
• Learning Implicit Functions for Dense 3D Shape Correspondence of Generic Objects [21.93671761497348]
  新規な暗黙関数は、部分埋め込み空間内の各3次元点を表す確率的埋め込みを生成する。 本研究では,部分埋め込みベクトルから対応する3次元点への逆関数マッピングにより,密度の高い対応性を実現する。 提案アルゴリズムは,対象形状の対応性を示す信頼スコアを自動的に生成する。
  論文  参考訳（メタデータ） (2022-12-29T11:57:47Z)
• Point2Seq: Detecting 3D Objects as Sequences [58.63662049729309]
  我々は、ポイントクラウドから3次元オブジェクトを検出するためのシンプルで効果的なフレームワーク、Point2Seqを提案する。 我々は,各3Dオブジェクトを単語列とみなし,その3Dオブジェクト検出タスクを,自動回帰的に3Dシーンからの単語の復号化として再構成する。
  論文  参考訳（メタデータ） (2022-03-25T00:20:31Z)
• Learning Feature Aggregation for Deep 3D Morphable Models [57.1266963015401]
  階層レベルで機能集約を向上するためのマッピング行列を学習するための注意に基づくモジュールを提案する。 実験の結果,マッピング行列のエンドツーエンドトレーニングにより,様々な3次元形状データセットの最先端結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-05-05T16:41:00Z)
• Learning Implicit Functions for Topology-Varying Dense 3D Shape Correspondence [21.93671761497348]
  本研究の目的は, トポロジ変化物体の高密度な3次元形状対応を教師なしで学習することである。 我々の新しい暗黙関数は、各3次元点に対する部分埋め込みベクトルを生成する。 我々は,部分埋め込みから対応する3次元点への逆関数マッピングにより,密度の高い対応性を実現する。
  論文  参考訳（メタデータ） (2020-10-23T11:52:06Z)
• Canonical 3D Deformer Maps: Unifying parametric and non-parametric methods for dense weakly-supervised category reconstruction [79.98689027127855]
  独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。 提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。 顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
  論文  参考訳（メタデータ） (2020-08-28T15:44:05Z)
• OS2D: One-Stage One-Shot Object Detection by Matching Anchor Features [14.115782214599015]
  ワンショットオブジェクト検出は、単一のデモによって定義されたオブジェクトを検出することで構成される。 ローカライズと認識を共同で行うワンステージシステムを構築している。 いくつかの挑戦的領域に対する実験的評価は,本手法が未知のクラスを検出できることを示唆している。
  論文  参考訳（メタデータ） (2020-03-15T11:39:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。