論文の概要: $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2302.10668v2
• Date: Thu, 23 Feb 2023 16:03:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-24 11:48:19.285173
• Title: $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D Reconstruction
• Title（参考訳）: pc^2$:単像3次元再構成のための投影条件点雲拡散
• Authors: Luke Melas-Kyriazi, Christian Rupprecht, Andrea Vedaldi
• Abstract要約: 単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。 条件付き偏光拡散プロセスによりスパース点雲を生成する単一像3次元再構成法を提案する。
• 参考スコア（独自算出の注目度）: 97.06927852165464
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Reconstructing the 3D shape of an object from a single RGB image is a long-standing and highly challenging problem in computer vision. In this paper, we propose a novel method for single-image 3D reconstruction which generates a sparse point cloud via a conditional denoising diffusion process. Our method takes as input a single RGB image along with its camera pose and gradually denoises a set of 3D points, whose positions are initially sampled randomly from a three-dimensional Gaussian distribution, into the shape of an object. The key to our method is a geometrically-consistent conditioning process which we call projection conditioning: at each step in the diffusion process, we project local image features onto the partially-denoised point cloud from the given camera pose. This projection conditioning process enables us to generate high-resolution sparse geometries that are well-aligned with the input image, and can additionally be used to predict point colors after shape reconstruction. Moreover, due to the probabilistic nature of the diffusion process, our method is naturally capable of generating multiple different shapes consistent with a single input image. In contrast to prior work, our approach not only performs well on synthetic benchmarks, but also gives large qualitative improvements on complex real-world data.
• Abstract（参考訳）: 単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。 本稿では,条件付き除音拡散過程を通じてスパース点雲を生成する,単一画像3次元再構成法を提案する。 本手法では,単一のrgb画像をカメラのポーズとともに入力し,その位置を3次元ガウス分布からランダムにサンプリングした一連の3d点を物体の形に徐々に発音する。 提案手法の鍵となるのは,プロジェクション条件付けと呼ばれる幾何学的に一貫性のある条件付けプロセスである。拡散過程の各ステップにおいて,所定のカメラポーズから局所像特徴を部分復調点クラウドに投影する。 このプロジェクション・コンディショニングにより,入力画像とよく一致した高分解能スパース・ジオメトリを生成できるとともに,形状再構成後の点色予測にも利用できる。 さらに,拡散過程の確率的性質から,本手法は単一入力画像と整合した複数の異なる形状を自然に生成することができる。 先行研究とは対照的に,本手法は合成ベンチマークでうまく機能するだけでなく,複雑な実世界のデータに対して大きな質的改善を与える。

関連論文リスト

• RDPN6D: Residual-based Dense Point-wise Network for 6Dof Object Pose Estimation Based on RGB-D Images [13.051302134031808]
  単一のRGB-D画像を用いてオブジェクトの6DoFポーズを計算する新しい手法を提案する。 オブジェクトのポーズを直接予測する既存の手法や、ポーズ回復のためのスパースキーポイントに依存する既存の手法とは異なり、我々のアプローチは密度の高い対応を使ってこの課題に対処する。
  論文  参考訳（メタデータ） (2024-05-14T10:10:45Z)
• Wonder3D: Single Image to 3D using Cross-Domain Diffusion [105.16622018766236]
  Wonder3Dは、単一視点画像から高忠実なテクスチャメッシュを効率的に生成する新しい手法である。 画像から3Dまでのタスクの品質,一貫性,効率性を総括的に改善するため,領域間拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-23T15:02:23Z)
• Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
  単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。 既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
  論文  参考訳（メタデータ） (2023-05-10T11:57:49Z)
• 3D Surface Reconstruction in the Wild by Deforming Shape Priors from Synthetic Data [24.97027425606138]
  1枚の画像から被写体の3次元表面を再構築することは難しい問題である。 本稿では,1枚の画像から3次元合成とオブジェクトポーズ推定を行う新しい手法を提案する。 提案手法は,複数の実世界のデータセットにまたがって,最先端の再構築性能を実現する。
  論文  参考訳（メタデータ） (2023-02-24T20:37:27Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
  カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。 我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。 我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:42:31Z)
• Learning Stereopsis from Geometric Synthesis for 6D Object Pose Estimation [11.999630902627864]
  現在のモノクラーベース6Dオブジェクトポーズ推定法は、一般的にRGBDベースの手法よりも競争力の低い結果が得られる。 本稿では,短いベースライン2ビュー設定による3次元幾何体積に基づくポーズ推定手法を提案する。 実験により,本手法は最先端の単分子法よりも優れ,異なる物体やシーンにおいて堅牢であることが示された。
  論文  参考訳（メタデータ） (2021-09-25T02:55:05Z)
• From Points to Multi-Object 3D Reconstruction [71.17445805257196]
  単一のRGB画像から複数の3Dオブジェクトを検出し再構成する方法を提案する。 キーポイント検出器は、オブジェクトを中心点としてローカライズし、9-DoF境界ボックスや3D形状を含む全てのオブジェクト特性を直接予測する。 提示されたアプローチは、軽量な再構築を単一ステージで実行し、リアルタイム能力を持ち、完全に微分可能で、エンドツーエンドのトレーナーブルである。
  論文  参考訳（メタデータ） (2020-12-21T18:52:21Z)
• Ladybird: Quasi-Monte Carlo Sampling for Deep Implicit Field Based 3D Reconstruction with Symmetry [12.511526058118143]
  本稿では,SGDに基づく最適化アルゴリズムの一般化と高速収束を理論的に促進するサンプリング手法を提案する。 物体の反射対称性に基づいて,自己閉塞による問題を緩和する特徴融合法を提案する。 提案システムでは,単一入力画像から高品質な3Dオブジェクト再構成を行うことができる。
  論文  参考訳（メタデータ） (2020-07-27T09:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。