論文の概要: SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images

• arxiv url: http://arxiv.org/abs/2501.04689v1
• Date: Wed, 08 Jan 2025 18:52:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:55:08.911917
• Title: SPAR3D: Stable Point-Aware Reconstruction of 3D Objects from Single Images
• Title（参考訳）: SPAR3D: 単一画像からの立体物体の安定点認識再構成
• Authors: Zixuan Huang, Mark Boss, Aaryaman Vasishta, James M. Rehg, Varun Jampani,
• Abstract要約: 単一画像の3Dオブジェクト再構成の問題点について検討する。 最近の研究は回帰モデルと生成モデルという2つの方向に分かれている。 両方向を最大限に活用するための新しい2段階アプローチであるSPAR3Dを提案する。
• 参考スコア（独自算出の注目度）: 49.7344030427291
• License:
• Abstract: We study the problem of single-image 3D object reconstruction. Recent works have diverged into two directions: regression-based modeling and generative modeling. Regression methods efficiently infer visible surfaces, but struggle with occluded regions. Generative methods handle uncertain regions better by modeling distributions, but are computationally expensive and the generation is often misaligned with visible surfaces. In this paper, we present SPAR3D, a novel two-stage approach aiming to take the best of both directions. The first stage of SPAR3D generates sparse 3D point clouds using a lightweight point diffusion model, which has a fast sampling speed. The second stage uses both the sampled point cloud and the input image to create highly detailed meshes. Our two-stage design enables probabilistic modeling of the ill-posed single-image 3D task while maintaining high computational efficiency and great output fidelity. Using point clouds as an intermediate representation further allows for interactive user edits. Evaluated on diverse datasets, SPAR3D demonstrates superior performance over previous state-of-the-art methods, at an inference speed of 0.7 seconds. Project page with code and model: https://spar3d.github.io
• Abstract（参考訳）: 単一画像の3Dオブジェクト再構成の問題点について検討する。 最近の研究は回帰モデルと生成モデルという2つの方向に分かれている。 回帰法は目に見える表面を効率的に推測するが、閉鎖された領域と競合する。 生成法は分布をモデル化することで不確実な領域をよりよく扱うが、計算コストが高く、しばしば生成は可視面と不一致である。 本稿では,両方向を最大限に活用するための新しい2段階アプローチであるSPAR3Dを提案する。 SPAR3Dの第1段階は、高速サンプリング速度を持つ軽量な点拡散モデルを用いてスパース3D点雲を生成する。 第2ステージでは、サンプリングされたポイントクラウドと入力イメージの両方を使用して、高度に詳細なメッシュを生成する。 我々の2段階設計は、高い計算効率と出力忠実性を保ちながら、不適切な単画像の3次元タスクの確率的モデリングを可能にする。 中間表現としてポイントクラウドを使用すると、インタラクティブなユーザ編集が可能になる。 多様なデータセットに基づいて評価され、SPAR3Dは従来の最先端手法よりも0.7秒の推論速度で優れた性能を示す。 コードとモデルを使ったプロジェクトページ: https://spar3d.github.io

関連論文リスト

• Robust 3D Point Clouds Classification based on Declarative Defenders [18.51700931775295]
  3Dポイントの雲は非構造的でスパースであり、2Dイメージは構造的で密度が高い。 本稿では,3次元点雲を2次元画像にマッピングする3つの異なるアルゴリズムについて検討する。 提案手法は敵攻撃に対する高い精度と堅牢性を示す。
  論文  参考訳（メタデータ） (2024-10-13T01:32:38Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• Sampling 3D Gaussian Scenes in Seconds with Latent Diffusion Models [3.9373541926236766]
  本稿では,2次元画像データのみを用いて3次元シーン上での潜時拡散モデルを提案する。 我々は,スクラッチからでもスパースインプットビューからでも,わずか0.2秒で3Dシーンを生成することができることを示す。
  論文  参考訳（メタデータ） (2024-06-18T23:14:29Z)
• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• Isotropic3D: Image-to-3D Generation Based on a Single CLIP Embedding [16.50466940644004]
  入力としてCLIPを埋め込んだ画像のみを取り込む画像から3D生成パイプラインであるIsotropic3Dを提案する。 等方性3Dは、最適化をSDS損失のみを静止させることで、方位角の等方性w.r.t.にすることができる。
  論文  参考訳（メタデータ） (2024-03-15T15:27:58Z)
• Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
  本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。 具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。 これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-03-14T07:39:59Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)
• Point-E: A System for Generating 3D Point Clouds from Complex Prompts [15.872304376606223]
  本稿では,1つのGPU上でわずか1～2分で3Dモデルを生成する3Dオブジェクト生成法を提案する。 提案手法は,まずテキスト・画像拡散モデルを用いて単一合成ビューを生成し,次いで生成した画像に条件付けした第2拡散モデルを用いて3次元点雲を生成する。 サンプルの品質という点では,我々の手法はまだ最先端には達していないが,サンプルの処理は最大で1～2桁高速であり,いくつかのユースケースにおいて実用的なトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-12-16T23:22:59Z)
• An Effective Loss Function for Generating 3D Models from Single 2D Image without Rendering [0.0]
  微分レンダリングは、シングルビュー3Dレコンストラクションに適用できる非常に成功した技術である。 電流は、ある3d再構成対象のレンダリング画像と、与えられたマッチング視点からの接地画像との間のピクセルによる損失を利用して、3d形状のパラメータを最適化する。 再構成された3次元点群の投影が地上真理物体のシルエットをどの程度覆うかを評価する新しい効果的な損失関数を提案する。
  論文  参考訳（メタデータ） (2021-03-05T00:02:18Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。