論文の概要: Learnable Triangulation for Deep Learning-based 3D Reconstruction of
Objects of Arbitrary Topology from Single RGB Images
- arxiv url: http://arxiv.org/abs/2109.11844v1
- Date: Fri, 24 Sep 2021 09:44:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-27 14:11:45.868690
- Title: Learnable Triangulation for Deep Learning-based 3D Reconstruction of
Objects of Arbitrary Topology from Single RGB Images
- Title（参考訳）: 深層学習に基づくRGB画像からの任意位相物体の3次元再構成のための学習可能な三角測量
- Authors: Tarek Ben Charrada, Hedi Tabia, Aladine Chetouani, Hamid Laga
- Abstract要約: モノクロ画像から3次元物体を再構成する深層強化学習手法を提案する。
提案手法は, 視覚的品質, 再構成精度, 計算時間において, 最先端技術よりも優れる。
- 参考スコア（独自算出の注目度）: 12.693545159861857
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel deep reinforcement learning-based approach for 3D object
reconstruction from monocular images. Prior works that use mesh representations
are template based. Thus, they are limited to the reconstruction of objects
that have the same topology as the template. Methods that use volumetric grids
as intermediate representations are computationally expensive, which limits
their application in real-time scenarios. In this paper, we propose a novel
end-to-end method that reconstructs 3D objects of arbitrary topology from a
monocular image. It is composed of of (1) a Vertex Generation Network (VGN),
which predicts the initial 3D locations of the object's vertices from an input
RGB image, (2) a differentiable triangulation layer, which learns in a
non-supervised manner, using a novel reinforcement learning algorithm, the best
triangulation of the object's vertices, and finally, (3) a hierarchical mesh
refinement network that uses graph convolutions to refine the initial mesh. Our
key contribution is the learnable triangulation process, which recovers in an
unsupervised manner the topology of the input shape. Our experiments on
ShapeNet and Pix3D benchmarks show that the proposed method outperforms the
state-of-the-art in terms of visual quality, reconstruction accuracy, and
computational time.
- Abstract（参考訳）: モノクロ画像から3次元物体を再構成する深層強化学習手法を提案する。
メッシュ表現を使用する先行作業はテンプレートベースである。
したがって、テンプレートと同じトポロジを持つオブジェクトの再構築に限定される。
ボリュームグリッドを中間表現として使用する手法は計算コストが高く、リアルタイムシナリオでの応用を制限する。
本稿では,モノクロ画像から任意の位相の3次元オブジェクトを再構成する新しいエンドツーエンド手法を提案する。
入力されたrgb画像から物体の頂点の初期3d位置を予測する頂点生成ネットワーク(vgn)と、新しい強化学習アルゴリズムを用いて教師なしの方法で学習する微分可能な三角層と、物体の頂点の最良の三角測量と、最後に、グラフ畳み込みを用いて初期メッシュを洗練する階層メッシュ改良ネットワークとからなる。
我々の重要な貢献は学習可能な三角法であり、入力形状のトポロジを教師なしの方法で復元する。
ShapeNet と Pix3D のベンチマーク実験により,提案手法は視覚的品質,再現精度,計算時間において,最先端の手法よりも優れていることが示された。
関連論文リスト
- LIST: Learning Implicitly from Spatial Transformers for Single-View 3D
Reconstruction [5.107705550575662]
Listは、局所的およびグローバルな画像特徴を活用して、単一の画像から3Dオブジェクトの幾何学的および位相的構造を再構築する、新しいニューラルネットワークである。
合成画像と実世界の画像から3Dオブジェクトを再構成する際のモデルの有用性を示す。
論文 参考訳（メタデータ） (2023-07-23T01:01:27Z) - 3D Surface Reconstruction in the Wild by Deforming Shape Priors from
Synthetic Data [24.97027425606138]
1枚の画像から被写体の3次元表面を再構築することは難しい問題である。
本稿では,1枚の画像から3次元合成とオブジェクトポーズ推定を行う新しい手法を提案する。
提案手法は,複数の実世界のデータセットにまたがって,最先端の再構築性能を実現する。
論文 参考訳（メタデータ） (2023-02-24T20:37:27Z) - Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud
Analysis [66.49788145564004]
我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。
我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
論文 参考訳（メタデータ） (2022-12-17T15:05:25Z) - Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。
本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。
我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
論文 参考訳（メタデータ） (2022-08-04T14:13:35Z) - Neural Template: Topology-aware Reconstruction and Disentangled
Generation of 3D Meshes [52.038346313823524]
本稿では,Distangled Topologyによる3次元メッシュ再構成と生成のためのDTNetという新しいフレームワークを提案する。
提案手法は,最先端の手法と比較して,特に多様なトポロジで高品質なメッシュを生成することができる。
論文 参考訳（メタデータ） (2022-06-10T08:32:57Z) - Hybrid Approach for 3D Head Reconstruction: Using Neural Networks and
Visual Geometry [3.970492757288025]
本稿では,深層学習と幾何学的手法に基づくハイブリッド手法を用いて,複数の画像から3次元頭部を再構築する手法を提案する。
U-netアーキテクチャに基づくエンコーダデコーダネットワークを提案し、合成データのみを学習する。
論文 参考訳（メタデータ） (2021-04-28T11:31:35Z) - Neural Parts: Learning Expressive 3D Shape Abstractions with Invertible
Neural Networks [118.20778308823779]
Invertible Neural Network (INN) を用いてプリミティブを定義する新しい3次元プリミティブ表現を提案する。
私たちのモデルは、部品レベルの監督なしに3Dオブジェクトを意味的に一貫した部品配置に解析することを学びます。
論文 参考訳（メタデータ） (2021-03-18T17:59:31Z) - Next-best-view Regression using a 3D Convolutional Neural Network [0.9449650062296823]
本論文では,次のベストビュー問題に対するデータ駆動アプローチを提案する。
提案手法は、次のベストビューのbtxtpositionを抑えるために、以前の再構成で3D畳み込みニューラルネットワークを訓練する。
提案手法を2つの実験グループを用いて検証した。
論文 参考訳（メタデータ） (2021-01-23T01:50:26Z) - From Points to Multi-Object 3D Reconstruction [71.17445805257196]
単一のRGB画像から複数の3Dオブジェクトを検出し再構成する方法を提案する。
キーポイント検出器は、オブジェクトを中心点としてローカライズし、9-DoF境界ボックスや3D形状を含む全てのオブジェクト特性を直接予測する。
提示されたアプローチは、軽量な再構築を単一ステージで実行し、リアルタイム能力を持ち、完全に微分可能で、エンドツーエンドのトレーナーブルである。
論文 参考訳（メタデータ） (2020-12-21T18:52:21Z) - Canonical 3D Deformer Maps: Unifying parametric and non-parametric
methods for dense weakly-supervised category reconstruction [79.98689027127855]
独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。
提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。
顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
論文 参考訳（メタデータ） (2020-08-28T15:44:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。