論文の概要: Generative Structure from Motion with Native 3D Diffusion

• arxiv url: http://arxiv.org/abs/2610.35522v1
• Date: Mon, 26 Oct 2026 14:40:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.034867
• Title: Generative Structure from Motion with Native 3D Diffusion
• Title（参考訳）: ネイティブ3次元拡散による動きからの生成構造
• Abstract要約: GenSfMは、画像ベースの3D再構成とネイティブな3D拡散モデルを統合する。 Toys4kとGSOでは、4ドル(約4,400円)の未調整ビューで、GenSfMはノベルビューPSNRを$3.2$-4.5$dB改善し、Chamfer距離を$2.8$-3.8times$に下げる。
• 参考スコア（独自算出の注目度）: 33.4085611369507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recovering an object's 3D structure and camera motion from a few uncalibrated views is a fundamental problem in computer vision. Classical structure from motion methods recover 3D geometry consistent with the input images but cannot recover unseen regions; native generation methods produce plausible 3D objects which are related but not necessarily faithful to the input images. Methods simply concatenating reconstruction and generation allow error to cascade across the two stages, instead of producing a 3D object consistent with both the distribution and the input. We propose GenSfM, which integrates image-based 3D reconstruction with a native 3D diffusion model. In particular, we use a multi-modal diffusion transformer to jointly denoise the shape latent and per-view pose latents under shared self-attention, grounding generated geometry in the observed views while using object-level priors to infer unobserved regions. A compact 3D-native UV-volume tokenization keeps the joint sequence small as views are added, and a pose-aware stage refines geometry and texture by sampling per-voxel image features at the recovered camera poses. On Toys4k and GSO, for $4$ uncalibrated views, GenSfM improves novel-view PSNR by $3.2$-$4.5$ dB and reduces median Chamfer distance by $2.8$-$3.8\times$ over a strong native-3D generation baseline, while recovering input-view poses over $96\%$ Acc@$5^\circ$ without any external pose-estimation backbone, post-hoc optimization, or known intrinsics. Project page: https://dotb1ue.github.io/GenSfm/.
• Abstract（参考訳）: オブジェクトの3D構造とカメラの動きをいくつかの未分類ビューから復元することは、コンピュータビジョンの根本的な問題である。 動作法からの古典的な構造は、入力画像と一致しているが、見えない領域を復元することができない。 再構成と生成を単純な結合で行うと、2つのステージにまたがってエラーを発生させ、分布と入力の両方に一貫性のある3Dオブジェクトを生成する。 画像に基づく3次元再構成とネイティブな3次元拡散モデルを統合するGenSfMを提案する。 特に,多モード拡散変圧器を用いて,共有自己注意下での形状の潜時と視線毎のポーズの潜時を共同で認知し,観測されたビューに生成した幾何を接地し,未観測領域を推測するオブジェクトレベル事前を用いた。 コンパクトな3DネイティブなUVボリュームトークン化は、ビューの追加に伴って関節列を小さく保ち、ポーズ対応ステージは、回収されたカメラポーズでボクセル毎の画像特徴をサンプリングすることにより、形状とテクスチャを洗練させる。 Toys4kとGSOでは、ノベルビューPSNRを$4$で3.2$-$4.5$ dB改善し、中央のチャムファー距離を$2.8$-$3.8\times$で、入力ビューのポーズは$9.6\%以上、Acc@$5^\circ$は外部のポーズ推定バックボーン、ポストホック最適化、あるいは既知のイントリンシクスを伴わない。 プロジェクトページ: https://dotb1ue.github.io/GenSfm/。

関連論文リスト

• Mix3R: Mixing Feed-forward Reconstruction and Generative 3D Priors for Joint Multi-view Aligned 3D Reconstruction and Pose Estimation [43.71273997834654]
  Mix3Rは、フィードフォワードと3D生成を混合した新しい3D再構成法である。 本手法は, 純粋な3次元生成法と比較して, 入力アライメントの優れた3次元形状を生成する。
  論文  参考訳（メタデータ） (2026-05-05T04:37:00Z)
• OneWorld: Taming Scene Generation with 3D Unified Representation Autoencoder [90.8453349494245]
  本研究では,コヒーレントな3次元表現空間内で直接拡散を行うOneWorldを提案する。 OneWorldは、最先端の2Dベースの方法と比較して、クロスビューの一貫性に優れた高品質な3Dシーンを生成する。
  論文  参考訳（メタデータ） (2026-03-17T03:43:37Z)
• PandaPose: 3D Human Pose Lifting from a Single Image via Propagating 2D Pose Prior to 3D Anchor Space [62.10630827126755]
  PandaPoseは3次元アンカー空間の前に2次元ポーズを伝播させることによって3次元のポーズリフトアプローチである。 われわれの3Dアンカー空間は、(1)標準座標系における関節回りの3Dアンカーから成り、2Dポーズ推定の不正確さを軽減するための正確で堅牢な事前情報を提供する。
  論文  参考訳（メタデータ） (2026-02-01T08:20:40Z)
• CUPID: Pose-Grounded Generative 3D Reconstruction from a Single Image [32.39661961097445]
  カメラのポーズ,3次元形状,テクスチャを1枚の2次元画像から推定する。 実験では、3dB以上のPSNRゲインと10%以上のチャンファー距離減少を伴い、3D再構成法を先導するキューピッドのパフォーマンスが実証された。
  論文  参考訳（メタデータ） (2025-10-23T17:47:38Z)
• SpaRP: Fast 3D Object Reconstruction and Pose Estimation from Sparse Views [36.02533658048349]
  本研究では,3次元テクスチャメッシュを再構成し,スパースビュー画像に対する相対カメラのポーズを推定する新しい手法であるSpaRPを提案する。 SpaRPは2次元拡散モデルから知識を抽出し、それらを微調整し、スパースビュー間の3次元空間関係を暗黙的に推論する。 テクスチャ化されたメッシュを生成するのに、わずか20秒しかかからず、カメラは入力ビューにポーズする。
  論文  参考訳（メタデータ） (2024-08-19T17:53:10Z)
• Isotropic3D: Image-to-3D Generation Based on a Single CLIP Embedding [16.50466940644004]
  入力としてCLIPを埋め込んだ画像のみを取り込む画像から3D生成パイプラインであるIsotropic3Dを提案する。 等方性3Dは、最適化をSDS損失のみを静止させることで、方位角の等方性w.r.t.にすることができる。
  論文  参考訳（メタデータ） (2024-03-15T15:27:58Z)
• Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
  本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。 具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。 これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-03-14T07:39:59Z)
• WildFusion: Learning 3D-Aware Latent Diffusion Models in View Space [77.92350895927922]
  潜在拡散モデル(LDM)に基づく3次元画像合成の新しいアプローチであるWildFusionを提案する。 我々の3D対応LCMは、マルチビュー画像や3D幾何学を直接監督することなく訓練されている。 これにより、スケーラブルな3D認識画像合成と、Wild画像データから3Dコンテンツを作成するための有望な研究道が開かれる。
  論文  参考訳（メタデータ） (2023-11-22T18:25:51Z)
• DMV3D: Denoising Multi-View Diffusion using 3D Large Reconstruction Model [86.37536249046943]
  textbfDMV3Dはトランスフォーマーに基づく3次元大規模再構成モデルを用いた新しい3D生成手法である。 再構成モデルでは, 3面のNeRF表現を組み込んで, ノイズの多い多視点画像をNeRF再構成とレンダリングで識別することができる。
  論文  参考訳（メタデータ） (2023-11-15T18:58:41Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。