論文の概要: ConRad: Image Constrained Radiance Fields for 3D Generation from a Single Image

• arxiv url: http://arxiv.org/abs/2311.05230v1
• Date: Thu, 9 Nov 2023 09:17:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 15:39:51.337016
• Title: ConRad: Image Constrained Radiance Fields for 3D Generation from a Single Image
• Title（参考訳）: conrad: 単一画像からの3次元生成のための画像制約ラミアンスフィールド
• Authors: Senthil Purushwalkam and Nikhil Naik
• Abstract要約: 単一のRGB画像から3Dオブジェクトを再構成する新しい手法を提案する。 提案手法は,最新の画像生成モデルを用いて隠れた3次元構造を推定する。 我々の3D再構成は入力に忠実なままであり、より一貫性のある3Dモデルを生成することを示す。
• 参考スコア（独自算出の注目度）: 15.997195076224312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel method for reconstructing 3D objects from a single RGB image. Our method leverages the latest image generation models to infer the hidden 3D structure while remaining faithful to the input image. While existing methods obtain impressive results in generating 3D models from text prompts, they do not provide an easy approach for conditioning on input RGB data. Na\"ive extensions of these methods often lead to improper alignment in appearance between the input image and the 3D reconstructions. We address these challenges by introducing Image Constrained Radiance Fields (ConRad), a novel variant of neural radiance fields. ConRad is an efficient 3D representation that explicitly captures the appearance of an input image in one viewpoint. We propose a training algorithm that leverages the single RGB image in conjunction with pretrained Diffusion Models to optimize the parameters of a ConRad representation. Extensive experiments show that ConRad representations can simplify preservation of image details while producing a realistic 3D reconstruction. Compared to existing state-of-the-art baselines, we show that our 3D reconstructions remain more faithful to the input and produce more consistent 3D models while demonstrating significantly improved quantitative performance on a ShapeNet object benchmark.
• Abstract（参考訳）: 単一のRGB画像から3Dオブジェクトを再構成する新しい手法を提案する。 本手法は,最新の画像生成モデルを利用して,入力画像に忠実なまま隠れた3d構造を推定する。 既存の方法ではテキストプロンプトから3Dモデルを生成するという印象的な結果が得られるが、入力されたRGBデータに対する条件付けは容易ではない。 これらの方法のna\"ive拡張は、入力画像と3次元再構成の間の外観の不適切なアライメントにつながることが多い。 ニューラル放射場の新しい変種である画像制約放射場(ConRad)を導入することで,これらの課題に対処する。 conradは1つの視点で入力画像の外観を明示的に捉える効率的な3d表現である。 本研究では,コンラッド表現のパラメータを最適化するために,事前学習した拡散モデルとともに単一のRGB画像を利用する訓練アルゴリズムを提案する。 広汎な実験により、ConRad表現はリアルな3D再構成を作成しながら、画像の保存を単純化できることが示された。 既存の最先端のベースラインと比較して、我々の3D再構成は入力に忠実であり、より一貫性のある3Dモデルを生成する一方で、ShapeNetオブジェクトベンチマーク上での定量的性能を著しく改善したことを示す。

関連論文リスト

• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• MVD-Fusion: Single-view 3D via Depth-consistent Multi-view Generation [54.27399121779011]
  本稿では,多視点RGB-D画像の生成モデルを用いて,単視点3次元推論を行うMVD-Fusionを提案する。 提案手法は,蒸留に基づく3D推論や先行多視点生成手法など,最近の最先端技術と比較して,より正確な合成を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-04-04T17:59:57Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• Triplane Meets Gaussian Splatting: Fast and Generalizable Single-View 3D Reconstruction with Transformers [37.14235383028582]
  本稿では,フィードフォワード推論を用いて,単一画像から3次元モデルを効率よく生成する,一視点再構成のための新しい手法を提案する。 提案手法では,2つのトランスフォーマーネットワーク,すなわちポイントデコーダとトリプレーンデコーダを用いて,ハイブリッドトリプレーン・ガウス中間表現を用いて3次元オブジェクトを再構成する。
  論文  参考訳（メタデータ） (2023-12-14T17:18:34Z)
• NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions [97.27105725738016]
  GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。 提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
  論文  参考訳（メタデータ） (2023-03-22T18:59:48Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• Using Adaptive Gradient for Texture Learning in Single-View 3D Reconstruction [0.0]
  3次元モデル再構築のための学習ベースのアプローチは、現代の応用によって注目を集めている。 本稿では,サンプリング画像のばらつきに基づいて予測座標の勾配を最適化し,新しいサンプリングアルゴリズムを提案する。 また,frechetインセプション距離(fid)を用いて学習における損失関数を形成し,レンダリング画像と入力画像とのギャップを橋渡しする。
  論文  参考訳（メタデータ） (2021-04-29T07:52:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。