Fugu-MT 論文翻訳(概要): DM-NeRF: 3D Scene Geometry Decomposition and Manipulation from 2D Images

論文の概要: DM-NeRF: 3D Scene Geometry Decomposition and Manipulation from 2D Images

arxiv url: http://arxiv.org/abs/2208.07227v1
Date: Mon, 15 Aug 2022 14:32:10 GMT
ステータス: 処理完了
システム内更新日: 2022-08-16 12:55:12.293289
Title: DM-NeRF: 3D Scene Geometry Decomposition and Manipulation from 2D Images
Title（参考訳）: DM-NeRF:2次元画像からの3次元シーン形状分解と操作
Authors: Bing Wang, Lu Chen, Bo Yang
Abstract要約: DM-NeRFは、1つのパイプラインで複雑な3Dシーンを同時に再構築、分解、操作、レンダリングする最初のものである。提案手法は,3次元オブジェクトを2次元ビューから正確に分解し,任意のオブジェクトを3次元空間で自由に操作することができる。
参考スコア（独自算出の注目度）: 15.712721653893636
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we study the problem of 3D scene geometry decomposition and manipulation from 2D views. By leveraging the recent implicit neural representation techniques, particularly the appealing neural radiance fields, we introduce an object field component to learn unique codes for all individual objects in 3D space only from 2D supervision. The key to this component is a series of carefully designed loss functions to enable every 3D point, especially in non-occupied space, to be effectively optimized even without 3D labels. In addition, we introduce an inverse query algorithm to freely manipulate any specified 3D object shape in the learned scene representation. Notably, our manipulation algorithm can explicitly tackle key issues such as object collisions and visual occlusions. Our method, called DM-NeRF, is among the first to simultaneously reconstruct, decompose, manipulate and render complex 3D scenes in a single pipeline. Extensive experiments on three datasets clearly show that our method can accurately decompose all 3D objects from 2D views, allowing any interested object to be freely manipulated in 3D space such as translation, rotation, size adjustment, and deformation.
Abstract（参考訳）: 本稿では,2次元ビューからの3次元シーンの幾何分解と操作の問題について検討する。近年の暗黙的ニューラル表現技術,特に魅力的なニューラル放射場を活用することで,3次元空間における各物体のユニークなコードを学ぶためのオブジェクトフィールドコンポーネントを導入する。このコンポーネントの鍵となるのは、特に占有されていない空間のすべての3Dポイントを、3Dラベルなしで効果的に最適化できるように、慎重に設計された損失関数である。さらに,学習シーン表現において,指定された3次元オブジェクト形状を自由に操作できる逆クエリアルゴリズムを導入する。特に,操作アルゴリズムは物体衝突や視覚閉塞などの重要な問題に明示的に対処できる。我々の手法はDM-NeRFと呼ばれ、1つのパイプラインで複雑な3Dシーンを同時に再構成、分解、操作、レンダリングする最初の方法である。 3つのデータセットに対する大規模な実験により,本手法は2次元ビューからすべての3次元オブジェクトを正確に分解し,翻訳,回転,サイズ調整,変形などの3次元空間で任意の対象を自由に操作できることが明らかとなった。

関連論文リスト

ConDense: Consistent 2D/3D Pre-training for Dense and Sparse Features from Multi-View Images [47.682942867405224]
ConDenseは既存の2Dネットワークと大規模マルチビューデータセットを利用した3D事前トレーニングのためのフレームワークである。組込み型2Dと3Dの特徴をエンドツーエンドのパイプラインで抽出する新しい2D-3Dジョイントトレーニング手法を提案する。
論文参考訳（メタデータ） (2024-08-30T05:57:01Z)
SpatialTracker: Tracking Any 2D Pixels in 3D Space [71.58016288648447]
本稿では,画像投影による問題点を軽減するために,3次元空間における点軌道の推定を提案する。この手法はSpatialTrackerと呼ばれ、2Dピクセルをモノクロ深度推定器を用いて3Dにリフトする。 3Dでのトラッキングにより、ピクセルを異なる剛性部分にクラスタ化する剛性埋め込みを同時に学習しながら、ARAP(as-rigid-as-possible)制約を活用することができます。
論文参考訳（メタデータ） (2024-04-05T17:59:25Z)
Neural 3D Scene Reconstruction from Multiple 2D Images without 3D Supervision [41.20504333318276]
平面制約下でのスパース深度を用いてシーンを3次元の監督なしに再構成する新しいニューラル再構成法を提案する。シーンを表すために,符号付き距離関数場,色場,確率場を導入する。我々は、これらのフィールドを最適化し、2D画像で識別可能な光線マーキングを監督することでシーンを再構築する。
論文参考訳（メタデータ） (2023-06-30T13:30:48Z)
Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
論文参考訳（メタデータ） (2022-12-14T18:49:50Z)
ONeRF: Unsupervised 3D Object Segmentation from Multiple Views [59.445957699136564]
OneRFは、追加のマニュアルアノテーションなしで、マルチビューのRGBイメージから3Dのオブジェクトインスタンスを自動的に分割し、再構成する手法である。セグメント化された3Dオブジェクトは、様々な3Dシーンの編集と新しいビューレンダリングを可能にする別個のNeRF(Neural Radiance Fields)を使用して表現される。
論文参考訳（メタデータ） (2022-11-22T06:19:37Z)
MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation [91.6658845016214]
そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
論文参考訳（メタデータ） (2022-08-18T00:48:15Z)
Accelerate 3D Object Processing via Spectral Layout [1.52292571922932]
本稿では,3次元オブジェクトに重要な情報を2次元空間に包含する手法を提案する。提案手法は3Dオブジェクトに対して高品質な2D表現を実現し,3Dオブジェクトの処理に2Dベースの手法を用いることができる。
論文参考訳（メタデータ） (2021-10-25T03:18:37Z)
AutoShape: Real-Time Shape-Aware Monocular 3D Object Detection [15.244852122106634]
形状認識型2D/3D制約を3D検出フレームワークに組み込む手法を提案する。具体的には、ディープニューラルネットワークを用いて、2次元画像領域の区別された2Dキーポイントを学習する。 2D/3Dキーポイントの基礎的真理を生成するために、自動的なモデル適合手法が提案されている。
論文参考訳（メタデータ） (2021-08-25T08:50:06Z)
Learning geometry-image representation for 3D point cloud generation [5.3485743892868545]
本稿では、3次元点雲生成問題を2次元幾何画像生成問題に変換するための新しい幾何画像ベースジェネレータ(GIG)を提案する。剛性および非剛性な3次元オブジェクトデータセットの実験により,本手法の有望な性能を実証した。
論文参考訳（メタデータ） (2020-11-29T05:21:10Z)
Cylinder3D: An Effective 3D Framework for Driving-scene LiDAR Semantic Segmentation [87.54570024320354]
大規模運転シーンのLiDARセマンティックセマンティックセグメンテーションのための最先端の手法は、しばしば2D空間の点雲を投影して処理する。 3D-to-2Dプロジェクションの問題に取り組むための簡単な解決策は、3D表現を保ち、3D空間の点を処理することである。我々は3次元シリンダー分割と3次元シリンダー畳み込みに基づくフレームワークをCylinder3Dとして開発し,3次元トポロジの関係と運転シーンの点雲の構造を利用する。
論文参考訳（メタデータ） (2020-08-04T13:56:19Z)
Implicit Functions in Feature Space for 3D Shape Reconstruction and Completion [53.885984328273686]
Implicit Feature Networks (IF-Nets) は連続的な出力を提供し、複数のトポロジを扱える。 IF-NetsはShapeNetにおける3次元オブジェクト再構成における先行作業よりも明らかに優れており、より正確な3次元人間の再構成が得られる。
論文参考訳（メタデータ） (2020-03-03T11:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。