論文の概要: Object-Compositional Neural Implicit Surfaces
- arxiv url: http://arxiv.org/abs/2207.09686v1
- Date: Wed, 20 Jul 2022 06:38:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-21 13:38:10.505411
- Title: Object-Compositional Neural Implicit Surfaces
- Title(参考訳): 物体合成型ニューラルインプシット表面
- Authors: Qianyi Wu, Xian Liu, Yuedong Chen, Kejie Li, Chuanxia Zheng, Jianfei
Cai, Jianmin Zheng
- Abstract要約: ニューラル暗示表現は、新しいビュー合成と多視点画像からの高品質な3D再構成においてその効果を示した。
本稿では,3次元再構成とオブジェクト表現に高い忠実性を有するオブジェクト合成型ニューラル暗黙表現を構築するための新しいフレームワークであるObjectSDFを提案する。
- 参考スコア(独自算出の注目度): 45.274466719163925
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The neural implicit representation has shown its effectiveness in novel view
synthesis and high-quality 3D reconstruction from multi-view images. However,
most approaches focus on holistic scene representation yet ignore individual
objects inside it, thus limiting potential downstream applications. In order to
learn object-compositional representation, a few works incorporate the 2D
semantic map as a cue in training to grasp the difference between objects. But
they neglect the strong connections between object geometry and instance
semantic information, which leads to inaccurate modeling of individual
instance. This paper proposes a novel framework, ObjectSDF, to build an
object-compositional neural implicit representation with high fidelity in 3D
reconstruction and object representation. Observing the ambiguity of
conventional volume rendering pipelines, we model the scene by combining the
Signed Distance Functions (SDF) of individual object to exert explicit surface
constraint. The key in distinguishing different instances is to revisit the
strong association between an individual object's SDF and semantic label.
Particularly, we convert the semantic information to a function of object SDF
and develop a unified and compact representation for scene and objects.
Experimental results show the superiority of ObjectSDF framework in
representing both the holistic object-compositional scene and the individual
instances. Code can be found at https://qianyiwu.github.io/objectsdf/
- Abstract(参考訳): ニューラル暗示表現は、新しいビュー合成と多視点画像からの高品質な3D再構成においてその効果を示した。
しかし、ほとんどのアプローチは全体的なシーン表現に焦点を合わせながら、内部にある個々のオブジェクトを無視しているため、下流アプリケーションの可能性を制限する。
オブジェクト-構成表現を学習するために、2Dセマンティックマップをトレーニングのキューとして組み込んで、オブジェクト間の差異を理解する。
しかし、オブジェクトの幾何とインスタンスの意味情報の間の強い関係を無視し、個々のインスタンスの不正確なモデリングに繋がる。
本稿では,3次元再構成とオブジェクト表現に高い忠実性を有するオブジェクト合成型ニューラル暗黙表現を構築するための新しいフレームワークであるObjectSDFを提案する。
従来のボリュームレンダリングパイプラインの曖昧さを観察し、個々のオブジェクトの符号付き距離関数(sdf)を組み合わせて、明示的な表面制約を行うことでシーンをモデル化する。
異なるインスタンスを区別する鍵は、個々のオブジェクトのSDFとセマンティックラベルの強い関連を再考することである。
特に,意味情報をオブジェクトSDFの関数に変換し,シーンやオブジェクトの統一的かつコンパクトな表現を開発する。
実験結果から,ObjectSDFフレームワークが総合的なオブジェクト構成シーンと個々のインスタンスの両方を表現できることが示唆された。
コードはhttps://qianyiwu.github.io/objectsdf/にある。
関連論文リスト
- Variational Inference for Scalable 3D Object-centric Learning [19.445804699433353]
我々は3Dシーンにおける拡張性のないオブジェクト中心表現学習の課題に取り組む。
オブジェクト中心表現学習への既存のアプローチは、より大きなシーンに一般化する際の限界を示している。
局所オブジェクト座標系におけるビュー不変3次元オブジェクト表現の学習を提案する。
論文 参考訳(メタデータ) (2023-09-25T10:23:40Z) - Iterative Superquadric Recomposition of 3D Objects from Multiple Views [77.53142165205283]
2次元ビューから直接3次元スーパークワッドリックを意味部品として用いたオブジェクトを再構成するフレームワークISCOを提案する。
我々のフレームワークは、再構成エラーが高い場合に、反復的に新しいスーパークワッドリックを追加します。
これは、野生の画像からでも、より正確な3D再構成を提供する。
論文 参考訳(メタデータ) (2023-09-05T10:21:37Z) - ROAM: Robust and Object-Aware Motion Generation Using Neural Pose
Descriptors [73.26004792375556]
本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。
我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。
本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
論文 参考訳(メタデータ) (2023-08-24T17:59:51Z) - ObjectSDF++: Improved Object-Compositional Neural Implicit Surfaces [40.489487738598825]
近年,多視点3次元再構成のパラダイムとして神経暗黙的表面再構成が注目されている。
以前の作業では、ObjectSDFは、オブジェクト合成ニューラルな暗黙の面の優れたフレームワークを導入しました。
我々はObjectSDF++と呼ばれる新しいフレームワークを提案し、ObjectSDFの限界を克服する。
論文 参考訳(メタデータ) (2023-08-15T16:35:40Z) - 3DRP-Net: 3D Relative Position-aware Network for 3D Visual Grounding [58.924180772480504]
3Dビジュアルグラウンドは、自由形式の言語記述によって、ターゲットオブジェクトを3Dポイントクラウドにローカライズすることを目的としている。
3次元相対位置認識ネットワーク(3-Net)という,関係性を考慮した一段階フレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-25T09:33:25Z) - Hyperbolic Contrastive Learning for Visual Representations beyond
Objects [30.618032825306187]
我々は,それらの間の構造を保ったオブジェクトやシーンの表現を学習することに集中する。
視覚的に類似した物体が表現空間に近接しているという観察に触発された私たちは、シーンとオブジェクトは代わりに階層構造に従うべきだと論じる。
論文 参考訳(メタデータ) (2022-12-01T16:58:57Z) - Neural Descriptor Fields: SE(3)-Equivariant Object Representations for
Manipulation [75.83319382105894]
対象と対象の相対的なポーズを符号化するオブジェクト表現であるニューラル・ディスクリプタ・フィールド(NDF)を提案する。
NDFは、専門家ラベル付きキーポイントに依存しない3D自動エンコーディングタスクを通じて、自己教師型で訓練される。
我々のパフォーマンスは、オブジェクトインスタンスと6-DoFオブジェクトの両方のポーズを一般化し、2Dディスクリプタに依存する最近のベースラインを著しく上回ります。
論文 参考訳(メタデータ) (2021-12-09T18:57:15Z) - TSDF++: A Multi-Object Formulation for Dynamic Object Tracking and
Reconstruction [57.1209039399599]
我々は,シーン全体とその中のすべてのオブジェクトに対して,単一のボリュームを維持できるマップ表現を提案する。
複数の動的オブジェクト追跡および再構成シナリオにおいて,本表現は,近接して移動する他のオブジェクトによって一時的にオクルードされても,表面の正確な再構成を維持できる。
提案したTSDF++の定式化を公開合成データセット上で評価し,標準のTSDFマップ表現と比較した場合の閉塞面の復元性を示す。
論文 参考訳(メタデータ) (2021-05-16T16:15:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。