論文の概要: Object-Compositional Neural Implicit Surfaces

• arxiv url: http://arxiv.org/abs/2207.09686v1
• Date: Wed, 20 Jul 2022 06:38:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-21 13:38:10.505411
• Title: Object-Compositional Neural Implicit Surfaces
• Title（参考訳）: 物体合成型ニューラルインプシット表面
• Authors: Qianyi Wu, Xian Liu, Yuedong Chen, Kejie Li, Chuanxia Zheng, Jianfei Cai, Jianmin Zheng
• Abstract要約: ニューラル暗示表現は、新しいビュー合成と多視点画像からの高品質な3D再構成においてその効果を示した。 本稿では,3次元再構成とオブジェクト表現に高い忠実性を有するオブジェクト合成型ニューラル暗黙表現を構築するための新しいフレームワークであるObjectSDFを提案する。
• 参考スコア（独自算出の注目度）: 45.274466719163925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The neural implicit representation has shown its effectiveness in novel view synthesis and high-quality 3D reconstruction from multi-view images. However, most approaches focus on holistic scene representation yet ignore individual objects inside it, thus limiting potential downstream applications. In order to learn object-compositional representation, a few works incorporate the 2D semantic map as a cue in training to grasp the difference between objects. But they neglect the strong connections between object geometry and instance semantic information, which leads to inaccurate modeling of individual instance. This paper proposes a novel framework, ObjectSDF, to build an object-compositional neural implicit representation with high fidelity in 3D reconstruction and object representation. Observing the ambiguity of conventional volume rendering pipelines, we model the scene by combining the Signed Distance Functions (SDF) of individual object to exert explicit surface constraint. The key in distinguishing different instances is to revisit the strong association between an individual object's SDF and semantic label. Particularly, we convert the semantic information to a function of object SDF and develop a unified and compact representation for scene and objects. Experimental results show the superiority of ObjectSDF framework in representing both the holistic object-compositional scene and the individual instances. Code can be found at https://qianyiwu.github.io/objectsdf/
• Abstract（参考訳）: ニューラル暗示表現は、新しいビュー合成と多視点画像からの高品質な3D再構成においてその効果を示した。 しかし、ほとんどのアプローチは全体的なシーン表現に焦点を合わせながら、内部にある個々のオブジェクトを無視しているため、下流アプリケーションの可能性を制限する。 オブジェクト-構成表現を学習するために、2Dセマンティックマップをトレーニングのキューとして組み込んで、オブジェクト間の差異を理解する。 しかし、オブジェクトの幾何とインスタンスの意味情報の間の強い関係を無視し、個々のインスタンスの不正確なモデリングに繋がる。 本稿では,3次元再構成とオブジェクト表現に高い忠実性を有するオブジェクト合成型ニューラル暗黙表現を構築するための新しいフレームワークであるObjectSDFを提案する。 従来のボリュームレンダリングパイプラインの曖昧さを観察し、個々のオブジェクトの符号付き距離関数(sdf)を組み合わせて、明示的な表面制約を行うことでシーンをモデル化する。 異なるインスタンスを区別する鍵は、個々のオブジェクトのSDFとセマンティックラベルの強い関連を再考することである。 特に,意味情報をオブジェクトSDFの関数に変換し,シーンやオブジェクトの統一的かつコンパクトな表現を開発する。 実験結果から,ObjectSDFフレームワークが総合的なオブジェクト構成シーンと個々のインスタンスの両方を表現できることが示唆された。 コードはhttps://qianyiwu.github.io/objectsdf/にある。

関連論文リスト

• Object Pose Estimation Using Implicit Representation For Transparent Objects [0.0]
  レンダリング・アンド・コンペア法は、オブジェクトを複数のビューからレンダリングし、与えられた2D画像と比較する。 物体がニューラルラジアンス場(NeRF)の形で暗黙(ニューラル)表現として表現されている場合、実際のシーンをよりリアルに表現できることが示される。 我々は、透過的なデータセット上でのレンダリング・アンド・コンペア法のNeRF実装を評価し、現在の最先端結果を上回る結果を得た。
  論文  参考訳（メタデータ） (2024-10-17T11:51:12Z)
• Chat-Scene: Bridging 3D Scene and Large Language Models with Object Identifiers [65.51132104404051]
  オブジェクトレベルのシーンと対話するために、オブジェクト識別子とオブジェクト中心表現を導入する。 我々のモデルは、ScanRefer、Multi3DRefer、Scan2Cap、ScanQA、SQA3Dなど、既存のベンチマーク手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-12-13T14:27:45Z)
• Iterative Superquadric Recomposition of 3D Objects from Multiple Views [77.53142165205283]
  2次元ビューから直接3次元スーパークワッドリックを意味部品として用いたオブジェクトを再構成するフレームワークISCOを提案する。 我々のフレームワークは、再構成エラーが高い場合に、反復的に新しいスーパークワッドリックを追加します。 これは、野生の画像からでも、より正確な3D再構成を提供する。
  論文  参考訳（メタデータ） (2023-09-05T10:21:37Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• ObjectSDF++: Improved Object-Compositional Neural Implicit Surfaces [40.489487738598825]
  近年,多視点3次元再構成のパラダイムとして神経暗黙的表面再構成が注目されている。 以前の作業では、ObjectSDFは、オブジェクト合成ニューラルな暗黙の面の優れたフレームワークを導入しました。 我々はObjectSDF++と呼ばれる新しいフレームワークを提案し、ObjectSDFの限界を克服する。
  論文  参考訳（メタデータ） (2023-08-15T16:35:40Z)
• Hyperbolic Contrastive Learning for Visual Representations beyond Objects [30.618032825306187]
  我々は,それらの間の構造を保ったオブジェクトやシーンの表現を学習することに集中する。 視覚的に類似した物体が表現空間に近接しているという観察に触発された私たちは、シーンとオブジェクトは代わりに階層構造に従うべきだと論じる。
  論文  参考訳（メタデータ） (2022-12-01T16:58:57Z)
• Neural Descriptor Fields: SE(3)-Equivariant Object Representations for Manipulation [75.83319382105894]
  対象と対象の相対的なポーズを符号化するオブジェクト表現であるニューラル・ディスクリプタ・フィールド(NDF)を提案する。 NDFは、専門家ラベル付きキーポイントに依存しない3D自動エンコーディングタスクを通じて、自己教師型で訓練される。 我々のパフォーマンスは、オブジェクトインスタンスと6-DoFオブジェクトの両方のポーズを一般化し、2Dディスクリプタに依存する最近のベースラインを著しく上回ります。
  論文  参考訳（メタデータ） (2021-12-09T18:57:15Z)
• TSDF++: A Multi-Object Formulation for Dynamic Object Tracking and Reconstruction [57.1209039399599]
  我々は,シーン全体とその中のすべてのオブジェクトに対して,単一のボリュームを維持できるマップ表現を提案する。 複数の動的オブジェクト追跡および再構成シナリオにおいて,本表現は,近接して移動する他のオブジェクトによって一時的にオクルードされても,表面の正確な再構成を維持できる。 提案したTSDF++の定式化を公開合成データセット上で評価し,標準のTSDFマップ表現と比較した場合の閉塞面の復元性を示す。
  論文  参考訳（メタデータ） (2021-05-16T16:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。