論文の概要: PyTorchGeoNodes: Enabling Differentiable Shape Programs for 3D Shape Reconstruction
- arxiv url: http://arxiv.org/abs/2404.10620v1
- Date: Tue, 16 Apr 2024 14:43:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 16:24:42.621765
- Title: PyTorchGeoNodes: Enabling Differentiable Shape Programs for 3D Shape Reconstruction
- Title（参考訳）: PyTorchGeoNodes:3次元形状再構成のための微分可能な形状プログラムの実現
- Authors: Sinisa Stekovic, Stefan Ainetter, Mattia D'Urso, Friedrich Fraundorfer, Vincent Lepetit,
- Abstract要約: PyTorchGeoNodesは,解釈可能な形状プログラムを用いて画像から3Dオブジェクトを再構成する,識別可能なモジュールである。
実験では,ScanNetデータセットの3次元オブジェクトの再構成にアルゴリズムを適用し,CADモデル検索による再構成に対して評価を行った。
- 参考スコア（独自算出の注目度）: 27.98261111833689
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose PyTorchGeoNodes, a differentiable module for reconstructing 3D objects from images using interpretable shape programs. In comparison to traditional CAD model retrieval methods, the use of shape programs for 3D reconstruction allows for reasoning about the semantic properties of reconstructed objects, editing, low memory footprint, etc. However, the utilization of shape programs for 3D scene understanding has been largely neglected in past works. As our main contribution, we enable gradient-based optimization by introducing a module that translates shape programs designed in Blender, for example, into efficient PyTorch code. We also provide a method that relies on PyTorchGeoNodes and is inspired by Monte Carlo Tree Search (MCTS) to jointly optimize discrete and continuous parameters of shape programs and reconstruct 3D objects for input scenes. In our experiments, we apply our algorithm to reconstruct 3D objects in the ScanNet dataset and evaluate our results against CAD model retrieval-based reconstructions. Our experiments indicate that our reconstructions match well the input scenes while enabling semantic reasoning about reconstructed objects.
- Abstract（参考訳）: PyTorchGeoNodesは,解釈可能な形状プログラムを用いて画像から3Dオブジェクトを再構成する,識別可能なモジュールである。
従来のCADモデル検索法と比較して、3次元再構成のための形状プログラムを用いることで、再構成されたオブジェクトのセマンティックな性質、編集、メモリフットプリントの低さなどを推論することができる。
しかし,3次元シーン理解のための形状プログラムの利用は,過去にはほとんど無視されてきた。
私たちの主な貢献として、Blenderで設計された形状プログラムを効率的なPyTorchコードに変換するモジュールを導入することで、勾配ベースの最適化を可能にします。
また、PyTorchGeoNodesに依存し、MCTS(Monte Carlo Tree Search)にインスパイアされて、形状プログラムの離散的かつ連続的なパラメータを共同で最適化し、入力シーンのための3Dオブジェクトを再構成する方法を提供する。
実験では,ScanNetデータセットの3次元オブジェクトの再構成にアルゴリズムを適用し,CADモデル検索による再構成に対して評価を行った。
本実験は, 再構成対象のセマンティック推論を可能としつつ, 入力シーンによく適合することを示す。
関連論文リスト
- 3DMiner: Discovering Shapes from Large-Scale Unannotated Image Datasets [34.610546020800236]
3DMinerは、挑戦的なデータセットから3D形状をマイニングするためのパイプラインである。
本手法は最先端の教師なし3次元再構成技術よりもはるかに優れた結果が得られる。
LAION-5Bデータセットから得られる画像の形状を再構成することにより,3DMinerを組込みデータに適用する方法を示す。
論文 参考訳（メタデータ） (2023-10-29T23:08:19Z) - 3D Shape Reconstruction from 2D Images with Disentangled Attribute Flow [61.62796058294777]
単一の2D画像から3D形状を再構築することは難しい作業だ。
従来の手法の多くは3次元再構成作業における意味的属性の抽出に苦慮している。
本稿では,3DAttriFlowを用いて,入力画像の異なる意味レベルから意味的属性を抽出する手法を提案する。
論文 参考訳（メタデータ） (2022-03-29T02:03:31Z) - Learnable Triangulation for Deep Learning-based 3D Reconstruction of
Objects of Arbitrary Topology from Single RGB Images [12.693545159861857]
モノクロ画像から3次元物体を再構成する深層強化学習手法を提案する。
提案手法は, 視覚的品質, 再構成精度, 計算時間において, 最先端技術よりも優れる。
論文 参考訳（メタデータ） (2021-09-24T09:44:22Z) - DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to
the Third Dimension [71.71234436165255]
DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。
3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。
我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
論文 参考訳（メタデータ） (2021-08-31T18:33:55Z) - From Points to Multi-Object 3D Reconstruction [71.17445805257196]
単一のRGB画像から複数の3Dオブジェクトを検出し再構成する方法を提案する。
キーポイント検出器は、オブジェクトを中心点としてローカライズし、9-DoF境界ボックスや3D形状を含む全てのオブジェクト特性を直接予測する。
提示されたアプローチは、軽量な再構築を単一ステージで実行し、リアルタイム能力を持ち、完全に微分可能で、エンドツーエンドのトレーナーブルである。
論文 参考訳（メタデータ） (2020-12-21T18:52:21Z) - RISA-Net: Rotation-Invariant Structure-Aware Network for Fine-Grained 3D
Shape Retrieval [46.02391761751015]
きめ細かい3D形状の検索は、同じクラスに属するモデルを持つレポジトリのクエリ形状に似た3D形状の検索を目的としている。
回転不変な3次元形状記述子を学習する新しいディープアーキテクチャ RISA-Net を提案する。
本手法は,3次元形状の最終コンパクト潜時特徴を生成する際に,各部分の幾何学的・構造的情報の重要性を学習することができる。
論文 参考訳（メタデータ） (2020-10-02T13:06:12Z) - Improved Modeling of 3D Shapes with Multi-view Depth Maps [48.8309897766904]
CNNを用いて3次元形状をモデル化するための汎用フレームワークを提案する。
オブジェクトの1つの深度画像だけで、3Dオブジェクトの高密度な多視点深度マップ表現を出力できる。
論文 参考訳（メタデータ） (2020-09-07T17:58:27Z) - Canonical 3D Deformer Maps: Unifying parametric and non-parametric
methods for dense weakly-supervised category reconstruction [79.98689027127855]
独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。
提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。
顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
論文 参考訳（メタデータ） (2020-08-28T15:44:05Z) - Single-View 3D Object Reconstruction from Shape Priors in Memory [15.641803721287628]
単一視点3次元オブジェクト再構成のための既存の方法は、高品質な3次元形状を再構築するのに十分な情報を含んでいない。
本稿では,画像中の不足情報を補うために,形状先行を明示的に構成するMem3Dという新しい手法を提案する。
また,入力画像と高い関連性を有する正確な3次元形状の検索を支援するボクセル三重項損失関数を提案する。
論文 参考訳（メタデータ） (2020-03-08T03:51:07Z) - Implicit Functions in Feature Space for 3D Shape Reconstruction and
Completion [53.885984328273686]
Implicit Feature Networks (IF-Nets) は連続的な出力を提供し、複数のトポロジを扱える。
IF-NetsはShapeNetにおける3次元オブジェクト再構成における先行作業よりも明らかに優れており、より正確な3次元人間の再構成が得られる。
論文 参考訳（メタデータ） (2020-03-03T11:14:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。