論文の概要: 3DLatNav: Navigating Generative Latent Spaces for Semantic-Aware 3D
Object Manipulation
- arxiv url: http://arxiv.org/abs/2211.09770v1
- Date: Thu, 17 Nov 2022 18:47:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 16:37:49.594361
- Title: 3DLatNav: Navigating Generative Latent Spaces for Semantic-Aware 3D
Object Manipulation
- Title(参考訳): 3DLatNav:セマンティックな3Dオブジェクト操作のための生成潜在空間のナビゲーション
- Authors: Amaya Dharmasiri, Dinithi Dissanayake, Mohamed Afham, Isuru
Dissanayake, Ranga Rodrigo, Kanchana Thilakarathna
- Abstract要約: 3D生成モデルは、最近、点雲という形で現実的な3Dオブジェクトを生成することに成功した。
ほとんどのモデルは、広範囲なセマンティックラベルや他の参照ポイントクラウドなしでコンポーネントオブジェクトの形状セマンティクスを操作するための制御性を提供していません。
本稿では3DLatNavを提案する。3Dオブジェクトの制御部分レベルのセマンティック操作を可能にするために,事前学習された潜在空間をナビゲートする新しいアプローチである。
- 参考スコア(独自算出の注目度): 2.8661021832561757
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D generative models have been recently successful in generating realistic 3D
objects in the form of point clouds. However, most models do not offer
controllability to manipulate the shape semantics of component object parts
without extensive semantic attribute labels or other reference point clouds.
Moreover, beyond the ability to perform simple latent vector arithmetic or
interpolations, there is a lack of understanding of how part-level semantics of
3D shapes are encoded in their corresponding generative latent spaces. In this
paper, we propose 3DLatNav; a novel approach to navigating pretrained
generative latent spaces to enable controlled part-level semantic manipulation
of 3D objects. First, we propose a part-level weakly-supervised shape semantics
identification mechanism using latent representations of 3D shapes. Then, we
transfer that knowledge to a pretrained 3D object generative latent space to
unravel disentangled embeddings to represent different shape semantics of
component parts of an object in the form of linear subspaces, despite the
unavailability of part-level labels during the training. Finally, we utilize
those identified subspaces to show that controllable 3D object part
manipulation can be achieved by applying the proposed framework to any
pretrained 3D generative model. With two novel quantitative metrics to evaluate
the consistency and localization accuracy of part-level manipulations, we show
that 3DLatNav outperforms existing unsupervised latent disentanglement methods
in identifying latent directions that encode part-level shape semantics of 3D
objects. With multiple ablation studies and testing on state-of-the-art
generative models, we show that 3DLatNav can implement controlled part-level
semantic manipulations on an input point cloud while preserving other features
and the realistic nature of the object.
- Abstract(参考訳): 3D生成モデルは、最近、点雲という形で現実的な3Dオブジェクトを生成することに成功した。
しかし、ほとんどのモデルは、広範なセマンティクス属性ラベルや他の参照ポイントクラウドなしでコンポーネントオブジェクト部分の形状セマンティクスを操作する制御性を提供していない。
さらに、単純な潜在ベクトル算術や補間を行う能力の他に、3次元形状の部分レベル意味論が対応する生成潜在空間にエンコードされる方法の理解が欠如している。
本稿では,3Dオブジェクトのパートレベルのセマンティック操作を可能にするために,事前学習された生成潜在空間をナビゲートする新しいアプローチである3DLatNavを提案する。
まず,3次元形状の潜在表現を用いた部分レベル弱教師付き形状意味認識機構を提案する。
そして,その知識を事前学習された3次元オブジェクト生成潜時空間に変換し,学習中に部分レベルラベルが利用できないにもかかわらず,対象の構成要素の異なる形状意味を線形部分空間として表現する。
最後に,これら同定された部分空間を用いて,事前学習した3次元生成モデルに適用することにより,制御可能な3次元オブジェクト部分操作を実現する。
3dlatnavは,3dオブジェクトの部分レベルの形状セマンティクスをエンコードする潜在方向を特定する際に,既存の非教師付き潜在性不等角化手法よりも優れていることを示す。
複数のアブレーション研究と最先端生成モデルのテストにより、3DLatNavは入力点クラウド上で制御された部分レベルのセマンティック操作を実装でき、他の特徴やオブジェクトの現実的な性質を保存できることを示した。
関連論文リスト
- PatchContrast: Self-Supervised Pre-training for 3D Object Detection [14.603858163158625]
PatchContrastは、3Dオブジェクト検出のための新しい自己教師付きポイントクラウド事前学習フレームワークである。
提案手法は,3つの一般的な3次元検出データセットにおいて,既存の最先端モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-14T07:45:54Z) - 3D Semantic Subspace Traverser: Empowering 3D Generative Model with
Shape Editing Capability [13.041974495083197]
従来の3次元形状生成の研究は、意味情報の重要性を考慮せずに、形状の質と構造に焦点を合わせてきた。
本稿では,3Dセマンティックサブスペーストラバーサという新しい意味生成モデルを提案する。
本手法は,複雑な構造を持つ可塑性形状を生成でき,意味的属性の編集を可能にする。
論文 参考訳(メタデータ) (2023-07-26T09:04:27Z) - NeurOCS: Neural NOCS Supervision for Monocular 3D Object Localization [80.3424839706698]
入力として3Dボックスをインスタンスマスクとして使用するNeurOCSを提案する。
われわれのアプローチは、実際の運転シーンから直接カテゴリレベルの形状を学習する際の洞察に依存している。
我々は、オブジェクト中心の視点からオブジェクト座標をより効果的に学習するための重要な設計選択を行う。
論文 参考訳(メタデータ) (2023-05-28T16:18:41Z) - Object-level 3D Semantic Mapping using a Network of Smart Edge Sensors [25.393382192511716]
我々は,分散エッジセンサのネットワークとオブジェクトレベルの情報からなる多視点3次元意味マッピングシステムを拡張した。
提案手法は,数cm以内でのポーズ推定と,実験室環境におけるセンサネットワークを用いた実環境実験により,Behaveデータセットを用いて評価した。
論文 参考訳(メタデータ) (2022-11-21T11:13:08Z) - ConDor: Self-Supervised Canonicalization of 3D Pose for Partial Shapes [55.689763519293464]
ConDorは、完全および部分的な3次元点雲の3次元配向と位置を正準化することを学ぶ自己教師型手法である。
推測中,本手法は任意のポーズで完全あるいは部分的な3次元点の雲を抽出し,同変正則のポーズを出力する。
論文 参考訳(メタデータ) (2022-01-19T18:57:21Z) - Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based
Perception [122.53774221136193]
運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。
自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。
本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-12T06:25:11Z) - Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。
我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。
深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
論文 参考訳(メタデータ) (2021-08-10T12:19:34Z) - 3D Guided Weakly Supervised Semantic Segmentation [27.269847900950943]
本稿では,スパース境界ボックスラベルを利用可能な3次元情報に組み込むことにより,弱教師付き2次元セマンティックセマンティックセマンティックセマンティクスモデルを提案する。
手動で2D-3Dセマンティックス(2D-3D-S)データセットのサブセットにバウンディングボックスをラベル付けし、2D-3D推論モジュールを導入し、正確なピクセルワイドセグメント提案マスクを生成する。
論文 参考訳(メタデータ) (2020-12-01T03:34:15Z) - Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic
Segmentation [87.54570024320354]
大規模運転シーンのLiDARセマンティックセマンティックセグメンテーションのための最先端の手法は、しばしば2D空間の点雲を投影して処理する。
3D-to-2Dプロジェクションの問題に取り組むための簡単な解決策は、3D表現を保ち、3D空間の点を処理することである。
我々は3次元シリンダー分割と3次元シリンダー畳み込みに基づくフレームワークをCylinder3Dとして開発し,3次元トポロジの関係と運転シーンの点雲の構造を利用する。
論文 参考訳(メタデータ) (2020-08-04T13:56:19Z) - SESS: Self-Ensembling Semi-Supervised 3D Object Detection [138.80825169240302]
具体的には、ラベルのない新しい未知のデータに基づくネットワークの一般化を促進するための、徹底的な摂動スキームを設計する。
我々のSESSは、50%のラベル付きデータを用いて、最先端の完全教師付き手法と比較して、競争性能を達成している。
論文 参考訳(メタデータ) (2019-12-26T08:48:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。