論文の概要: 3D Colored Shape Reconstruction from a Single RGB Image through Diffusion

• arxiv url: http://arxiv.org/abs/2302.05573v1
• Date: Sat, 11 Feb 2023 02:15:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 19:45:27.050548
• Title: 3D Colored Shape Reconstruction from a Single RGB Image through Diffusion
• Title（参考訳）: 拡散による単一rgb画像からの3次元カラー形状再構成
• Authors: Bo Li, Xiaolin Wei, Fengwei Chen, Bin Liu
• Abstract要約: 拡散モデルを用いた1枚のRGB画像から新しい3次元カラー形状再構成法を提案する。 筆者らが知る限り,提案手法は1枚のRGB画像から3次元カラー形状再構成を行うための最初の拡散モデルである。
• 参考スコア（独自算出の注目度）: 14.829213498995223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel 3d colored shape reconstruction method from a single RGB image through diffusion model. Diffusion models have shown great development potentials for high-quality 3D shape generation. However, most existing work based on diffusion models only focus on geometric shape generation, they cannot either accomplish 3D reconstruction from a single image, or produce 3D geometric shape with color information. In this work, we propose to reconstruct a 3D colored shape from a single RGB image through a novel conditional diffusion model. The reverse process of the proposed diffusion model is consisted of three modules, shape prediction module, color prediction module and NeRF-like rendering module. In shape prediction module, the reference RGB image is first encoded into a high-level shape feature and then the shape feature is utilized as a condition to predict the reverse geometric noise in diffusion model. Then the color of each 3D point updated in shape prediction module is predicted by color prediction module. Finally, a NeRF-like rendering module is designed to render the colored point cloud predicted by the former two modules to 2D image space to guide the training conditioned only on a reference image. As far as the authors know, the proposed method is the first diffusion model for 3D colored shape reconstruction from a single RGB image. Experimental results demonstrate that the proposed method achieves competitive performance on colored 3D shape reconstruction, and the ablation study validates the positive role of the color prediction module in improving the reconstruction quality of 3D geometric point cloud.
• Abstract（参考訳）: 拡散モデルを用いた1枚のRGB画像から新しい3次元色再現法を提案する。 拡散モデルは高品質な3d形状生成のための大きな発展可能性を示している。 しかし、拡散モデルに基づく既存の作品の多くは幾何学的形状生成のみに焦点を当てており、単一の画像から3次元再構成を達成できない。 本研究では,新しい条件拡散モデルを用いて,単一のrgb画像から3次元カラー形状を再構成する手法を提案する。 拡散モデルの逆過程は,3つのモジュール,形状予測モジュール,色予測モジュール,NeRFライクなレンダリングモジュールから構成される。 形状予測モジュールでは、参照RGB画像をまず高レベルな形状特徴に符号化し、その後、拡散モデルにおける逆幾何ノイズを予測する条件として形状特徴を利用する。 そして、形状予測モジュールで更新された各3D点の色を色予測モジュールで予測する。 最後に、nerfライクなレンダリングモジュールは、前2つのモジュールが予測した有色点雲を2d画像空間にレンダリングするように設計され、参照画像のみにトレーニング条件を導く。 著者らが知る限り,提案手法は,単一のrgb画像からの3次元カラー形状再構成のための最初の拡散モデルである。 実験により, 色付き3次元形状復元における競合性能が向上し, 色予測モジュールが3次元幾何点雲の再現性向上に有効であることを示す。

関連論文リスト

• Mosaic-SDF for 3D Generative Models [41.4585856558786]
  拡散モデルや流れモデルを3次元形状で訓練する場合、重要な設計選択は形状表現である。 与えられた形状の符号距離関数 (Signed Distance Function, SDF) を近似した単純な3次元形状表現であるMosaic-SDFを紹介する。 本稿では,M-SDF表現の有効性を3次元生成フローモデルのトレーニングに用いた。
  論文  参考訳（メタデータ） (2023-12-14T18:52:52Z)
• ConRad: Image Constrained Radiance Fields for 3D Generation from a Single Image [15.997195076224312]
  単一のRGB画像から3Dオブジェクトを再構成する新しい手法を提案する。 提案手法は,最新の画像生成モデルを用いて隠れた3次元構造を推定する。 我々の3D再構成は入力に忠実なままであり、より一貫性のある3Dモデルを生成することを示す。
  論文  参考訳（メタデータ） (2023-11-09T09:17:10Z)
• Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text Aligned Latent Representation [47.945556996219295]
  本稿では2次元画像やテキストに基づいて3次元形状を生成する新しいアライメント前世代手法を提案する。 我々のフレームワークは、形状-画像-テキスト対応変分自動エンコーダ(SITA-VAE)と条件付き形状遅延拡散モデル(ASLDM)の2つのモデルで構成されている。
  論文  参考訳（メタデータ） (2023-06-29T17:17:57Z)
• Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
  単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。 既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
  論文  参考訳（メタデータ） (2023-05-10T11:57:49Z)
• $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D Reconstruction [97.06927852165464]
  単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。 条件付き偏光拡散プロセスによりスパース点雲を生成する単一像3次元再構成法を提案する。
  論文  参考訳（メタデータ） (2023-02-21T13:37:07Z)
• DiffusionSDF: Conditional Generative Modeling of Signed Distance Functions [42.015077094731815]
  DiffusionSDFは、形状の完全化、単一ビュー再構成、および実走査点雲の再構成のための生成モデルである。 我々は、ニューラルネットワークを介して様々な信号(点雲、2次元画像など)の幾何をパラメータ化するために、ニューラルネットワークに署名された距離関数(SDF)を用いる。
  論文  参考訳（メタデータ） (2022-11-24T18:59:01Z)
• Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
  カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。 我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。 我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:42:31Z)
• Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape Laplacian [58.704089101826774]
  形状分類と変形型に最小限の制約を課した3次元画像変形法を提案する。 点雲として表される3次元再構成の基底体積のラプラシアン形状を予測するために,教師付き学習に基づくアプローチを採用する。 実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。
  論文  参考訳（メタデータ） (2022-03-29T04:57:18Z)
• From Points to Multi-Object 3D Reconstruction [71.17445805257196]
  単一のRGB画像から複数の3Dオブジェクトを検出し再構成する方法を提案する。 キーポイント検出器は、オブジェクトを中心点としてローカライズし、9-DoF境界ボックスや3D形状を含む全てのオブジェクト特性を直接予測する。 提示されたアプローチは、軽量な再構築を単一ステージで実行し、リアルタイム能力を持ち、完全に微分可能で、エンドツーエンドのトレーナーブルである。
  論文  参考訳（メタデータ） (2020-12-21T18:52:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。