論文の概要: CoReNet: Coherent 3D scene reconstruction from a single RGB image
- arxiv url: http://arxiv.org/abs/2004.12989v2
- Date: Wed, 5 Aug 2020 15:59:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 05:39:50.923765
- Title: CoReNet: Coherent 3D scene reconstruction from a single RGB image
- Title（参考訳）: CoReNet:1枚のRGB画像からのコヒーレントな3Dシーン再構築
- Authors: Stefan Popov and Pablo Bauszat and Vittorio Ferrari
- Abstract要約: 我々は1つのRBG画像のみを入力として与えられた1つの物体の形状を再構築する深層学習の進歩の上に構築する。
提案する3つの拡張は,(1)局所的な2次元情報を物理的に正しい方法で出力3Dボリュームに伝播するレイトレーシングスキップ接続,(2)翻訳同変モデルの構築を可能にするハイブリッド3Dボリューム表現,(3)全体オブジェクトの形状を捉えるために調整された再構成損失である。
すべての物体がカメラに対して一貫した1つの3次元座標フレームに居住し、3次元空間内では交差しないコヒーレントな再構成を実現する。
- 参考スコア（独自算出の注目度）: 43.74240268086773
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Advances in deep learning techniques have allowed recent work to reconstruct
the shape of a single object given only one RBG image as input. Building on
common encoder-decoder architectures for this task, we propose three
extensions: (1) ray-traced skip connections that propagate local 2D information
to the output 3D volume in a physically correct manner; (2) a hybrid 3D volume
representation that enables building translation equivariant models, while at
the same time encoding fine object details without an excessive memory
footprint; (3) a reconstruction loss tailored to capture overall object
geometry. Furthermore, we adapt our model to address the harder task of
reconstructing multiple objects from a single image. We reconstruct all objects
jointly in one pass, producing a coherent reconstruction, where all objects
live in a single consistent 3D coordinate frame relative to the camera and they
do not intersect in 3D space. We also handle occlusions and resolve them by
hallucinating the missing object parts in the 3D volume. We validate the impact
of our contributions experimentally both on synthetic data from ShapeNet as
well as real images from Pix3D. Our method improves over the state-of-the-art
single-object methods on both datasets. Finally, we evaluate performance
quantitatively on multiple object reconstruction with synthetic scenes
assembled from ShapeNet objects.
- Abstract（参考訳）: 深層学習技術の進歩により、1つのRBG画像のみを入力として与えられた1つの物体の形状を再構築することができるようになった。
本研究では,(1)局所的な2d情報を物理的に正しい方法で出力された3dボリュームに伝達するレイトレース・スキップ接続,(2)変換等価モデルの構築を可能にするハイブリッド3dボリューム表現,同時にメモリフットプリントを過大にすることなく詳細なオブジェクト詳細をエンコードする,(3)全体オブジェクト幾何をキャプチャする復元損失,の3つの拡張を提案する。
さらに,1つの画像から複数のオブジェクトを再構成する作業に,我々のモデルを適用する。
すべての物体がカメラに対して一貫した1つの3次元座標フレームに居住し、3次元空間内では交差しないコヒーレントな再構成を実現する。
また,3dボリュームの欠片を幻覚させることで咬合を処理し,解決する。
提案するコントリビューションがShapeNetの合成データおよびPix3Dの実際の画像に与える影響を実験的に検証した。
本手法は,両データセットの最先端の単一オブジェクト法よりも優れている。
最後に、ShapeNetオブジェクトから合成シーンを組み立てた複数のオブジェクト再構成の性能を定量的に評価する。
関連論文リスト
- ONeRF: Unsupervised 3D Object Segmentation from Multiple Views [59.445957699136564]
OneRFは、追加のマニュアルアノテーションなしで、マルチビューのRGBイメージから3Dのオブジェクトインスタンスを自動的に分割し、再構成する手法である。
セグメント化された3Dオブジェクトは、様々な3Dシーンの編集と新しいビューレンダリングを可能にする別個のNeRF(Neural Radiance Fields)を使用して表現される。
論文 参考訳（メタデータ） (2022-11-22T06:19:37Z) - ZeroMesh: Zero-shot Single-view 3D Mesh Reconstruction [69.29406107513621]
シングルビューRGB画像から3次元形状を復元することを目的とした,コンピュータビジョンの基本課題である。
本稿では,ゼロショット・シングルビュー3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。
具体的には,エンド・ツー・エンドの2段階ネットワークであるZeroMeshを提案する。
論文 参考訳（メタデータ） (2022-08-04T14:13:35Z) - DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to
the Third Dimension [71.71234436165255]
DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。
3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。
我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
論文 参考訳（メタデータ） (2021-08-31T18:33:55Z) - Discovering 3D Parts from Image Collections [98.16987919686709]
本稿では,2次元画像収集のみによる3次元部分発見の問題に対処する。
そこで我々は,手動で注釈付部品を監督する代わりに,自己監督型アプローチを提案する。
私たちのキーとなる洞察は、前もって新しい部分の形状を学習することで、各部分は、単純な幾何学を持つように制約されたまま、忠実にオブジェクトの形状に適合できるようにします。
論文 参考訳（メタデータ） (2021-07-28T20:29:16Z) - Fully Understanding Generic Objects: Modeling, Segmentation, and
Reconstruction [33.95791350070165]
2D画像からジェネリックオブジェクトの3D構造を推定することは、コンピュータビジョンの長年の目標です。
半教師付き学習による代替アプローチを取る。
つまり、ジェネリックオブジェクトの2Dイメージでは、カテゴリ、形状、およびアルベドの潜在的な表現に分解します。
完全な形状とアルベドモデリングにより、モデリングとモデルフィッティングの両方で実際の2Dイメージを活用できることを示しています。
論文 参考訳（メタデータ） (2021-04-02T02:39:29Z) - AutoSweep: Recovering 3D Editable Objectsfrom a Single Photograph [54.701098964773756]
セマンティックな部分で3Dオブジェクトを復元し、直接編集することを目的としている。
我々の研究は、一般化された立方体と一般化されたシリンダーという、2種類の原始的な形状の物体を回収する試みである。
提案アルゴリズムは,高品質な3Dモデルを復元し,既存手法のインスタンスセグメンテーションと3D再構成の両方で性能を向上する。
論文 参考訳（メタデータ） (2020-05-27T12:16:24Z) - Single-View 3D Object Reconstruction from Shape Priors in Memory [15.641803721287628]
単一視点3次元オブジェクト再構成のための既存の方法は、高品質な3次元形状を再構築するのに十分な情報を含んでいない。
本稿では,画像中の不足情報を補うために,形状先行を明示的に構成するMem3Dという新しい手法を提案する。
また,入力画像と高い関連性を有する正確な3次元形状の検索を支援するボクセル三重項損失関数を提案する。
論文 参考訳（メタデータ） (2020-03-08T03:51:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。