論文の概要: PyTorchGeoNodes: Enabling Differentiable Shape Programs for 3D Shape Reconstruction

• arxiv url: http://arxiv.org/abs/2404.10620v2
• Date: Fri, 04 Apr 2025 10:54:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 18:17:08.311115
• Title: PyTorchGeoNodes: Enabling Differentiable Shape Programs for 3D Shape Reconstruction
• Title（参考訳）: PyTorchGeoNodes:3次元形状再構成のための微分可能な形状プログラムの実現
• Authors: Sinisa Stekovic, Arslan Artykov, Stefan Ainetter, Mattia D'Urso, Friedrich Fraundorfer,
• Abstract要約: PyTorchGeoNodesは,解釈可能な形状プログラムを用いて3次元オブジェクトを再構成するための識別可能なモジュールである。 PyTorchGeoNodesと遺伝的アルゴリズムの組み合わせは、離散型プログラムパラメータと連続型プログラムパラメータの両方を最適化する方法であることを示す。
• 参考スコア（独自算出の注目度）: 11.9747147315069
• License:
• Abstract: We propose PyTorchGeoNodes, a differentiable module for reconstructing 3D objects and their parameters from images using interpretable shape programs. Unlike traditional CAD model retrieval, shape programs allow reasoning about semantic parameters, editing, and a low memory footprint. Despite their potential, shape programs for 3D scene understanding have been largely overlooked. Our key contribution is enabling gradient-based optimization by parsing shape programs, or more precisely procedural models designed in Blender, into efficient PyTorch code. While there are many possible applications of our PyTochGeoNodes, we show that a combination of PyTorchGeoNodes with genetic algorithm is a method of choice to optimize both discrete and continuous shape program parameters for 3D reconstruction and understanding of 3D object parameters. Our modular framework can be further integrated with other reconstruction algorithms, and we demonstrate one such integration to enable procedural Gaussian splatting. Our experiments on the ScanNet dataset show that our method achieves accurate reconstructions while enabling, until now, unseen level of 3D scene understanding.
• Abstract（参考訳）: PyTorchGeoNodesは,3次元オブジェクトとそのパラメータを解釈可能な形状プログラムを用いて画像から再構成する,識別可能なモジュールである。 従来のCADモデル検索とは異なり、シェーププログラムはセマンティックパラメータの推論、編集、メモリフットプリントの低さを許容する。 その可能性にもかかわらず、3Dシーン理解のための形状プログラムはほとんど見過ごされている。 私たちの重要な貢献は、形状プログラム、より正確にはBlenderで設計された手続きモデルを効率的なPyTorchコードに解析することで、勾配ベースの最適化を可能にすることです。 PyTorchGeoNodesと遺伝的アルゴリズムの組み合わせは、3次元再構成と3次元オブジェクトパラメータの理解のために、離散的および連続的な形状プログラムパラメータの両方を最適化する方法であることを示す。 我々のモジュラーフレームワークは、他の再構成アルゴリズムとさらに統合することができ、プロシージャガウススプラッティングを可能にするための1つの統合を実証する。 ScanNetデータセットを用いた実験により,これまで見つからなかった3次元シーン理解を実現しつつ,正確な再構築を実現することができた。

関連論文リスト

• FLARE: Feed-forward Geometry, Appearance and Camera Estimation from Uncalibrated Sparse Views [93.6881532277553]
  FLAREは、高品質カメラのポーズと3次元幾何を、補正されていないスパースビュー画像から推定するために設計されたフィードフォワードモデルである。 本ソリューションでは,3次元構造を2次元画像平面にマッピングする上で,カメラポーズが重要なブリッジとして機能するケースケード学習パラダイムを特徴とする。
  論文  参考訳（メタデータ） (2025-02-17T18:54:05Z)
• 3DMiner: Discovering Shapes from Large-Scale Unannotated Image Datasets [34.610546020800236]
  3DMinerは、挑戦的なデータセットから3D形状をマイニングするためのパイプラインである。 本手法は最先端の教師なし3次元再構成技術よりもはるかに優れた結果が得られる。 LAION-5Bデータセットから得られる画像の形状を再構成することにより,3DMinerを組込みデータに適用する方法を示す。
  論文  参考訳（メタデータ） (2023-10-29T23:08:19Z)
• 3D Shape Reconstruction from 2D Images with Disentangled Attribute Flow [61.62796058294777]
  単一の2D画像から3D形状を再構築することは難しい作業だ。 従来の手法の多くは3次元再構成作業における意味的属性の抽出に苦慮している。 本稿では,3DAttriFlowを用いて,入力画像の異なる意味レベルから意味的属性を抽出する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-29T02:03:31Z)
• Learnable Triangulation for Deep Learning-based 3D Reconstruction of Objects of Arbitrary Topology from Single RGB Images [12.693545159861857]
  モノクロ画像から3次元物体を再構成する深層強化学習手法を提案する。 提案手法は, 視覚的品質, 再構成精度, 計算時間において, 最先端技術よりも優れる。
  論文  参考訳（メタデータ） (2021-09-24T09:44:22Z)
• From Points to Multi-Object 3D Reconstruction [71.17445805257196]
  単一のRGB画像から複数の3Dオブジェクトを検出し再構成する方法を提案する。 キーポイント検出器は、オブジェクトを中心点としてローカライズし、9-DoF境界ボックスや3D形状を含む全てのオブジェクト特性を直接予測する。 提示されたアプローチは、軽量な再構築を単一ステージで実行し、リアルタイム能力を持ち、完全に微分可能で、エンドツーエンドのトレーナーブルである。
  論文  参考訳（メタデータ） (2020-12-21T18:52:21Z)
• RISA-Net: Rotation-Invariant Structure-Aware Network for Fine-Grained 3D Shape Retrieval [46.02391761751015]
  きめ細かい3D形状の検索は、同じクラスに属するモデルを持つレポジトリのクエリ形状に似た3D形状の検索を目的としている。 回転不変な3次元形状記述子を学習する新しいディープアーキテクチャ RISA-Net を提案する。 本手法は,3次元形状の最終コンパクト潜時特徴を生成する際に,各部分の幾何学的・構造的情報の重要性を学習することができる。
  論文  参考訳（メタデータ） (2020-10-02T13:06:12Z)
• Improved Modeling of 3D Shapes with Multi-view Depth Maps [48.8309897766904]
  CNNを用いて3次元形状をモデル化するための汎用フレームワークを提案する。 オブジェクトの1つの深度画像だけで、3Dオブジェクトの高密度な多視点深度マップ表現を出力できる。
  論文  参考訳（メタデータ） (2020-09-07T17:58:27Z)
• Canonical 3D Deformer Maps: Unifying parametric and non-parametric methods for dense weakly-supervised category reconstruction [79.98689027127855]
  独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。 提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。 顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
  論文  参考訳（メタデータ） (2020-08-28T15:44:05Z)
• Single-View 3D Object Reconstruction from Shape Priors in Memory [15.641803721287628]
  単一視点3次元オブジェクト再構成のための既存の方法は、高品質な3次元形状を再構築するのに十分な情報を含んでいない。 本稿では,画像中の不足情報を補うために,形状先行を明示的に構成するMem3Dという新しい手法を提案する。 また,入力画像と高い関連性を有する正確な3次元形状の検索を支援するボクセル三重項損失関数を提案する。
  論文  参考訳（メタデータ） (2020-03-08T03:51:07Z)
• Implicit Functions in Feature Space for 3D Shape Reconstruction and Completion [53.885984328273686]
  Implicit Feature Networks (IF-Nets) は連続的な出力を提供し、複数のトポロジを扱える。 IF-NetsはShapeNetにおける3次元オブジェクト再構成における先行作業よりも明らかに優れており、より正確な3次元人間の再構成が得られる。
  論文  参考訳（メタデータ） (2020-03-03T11:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。