論文の概要: DiffusionSfM: Predicting Structure and Motion via Ray Origin and Endpoint Diffusion

• arxiv url: http://arxiv.org/abs/2505.05473v1
• Date: Thu, 08 May 2025 17:59:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:50.000355
• Title: DiffusionSfM: Predicting Structure and Motion via Ray Origin and Endpoint Diffusion
• Title（参考訳）: 拡散SfM:線源と端拡散による構造と運動の予測
• Authors: Qitao Zhao, Amy Lin, Jeff Tan, Jason Y. Zhang, Deva Ramanan, Shubham Tulsiani,
• Abstract要約: マルチビュー画像から3次元シーン形状とカメラポーズを直接推定するデータ駆動型マルチビュー推論手法を提案する。 我々のフレームワークであるDiffusionSfMは、シーン幾何学とカメラを、グローバルフレーム内のピクセルワイズ線源とエンドポイントとしてパラメータ化します。 我々は、DiffusionSfMを合成データセットと実データセットの両方で実証的に検証し、古典的および学習ベースのアプローチよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 53.70278210626701
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Current Structure-from-Motion (SfM) methods typically follow a two-stage pipeline, combining learned or geometric pairwise reasoning with a subsequent global optimization step. In contrast, we propose a data-driven multi-view reasoning approach that directly infers 3D scene geometry and camera poses from multi-view images. Our framework, DiffusionSfM, parameterizes scene geometry and cameras as pixel-wise ray origins and endpoints in a global frame and employs a transformer-based denoising diffusion model to predict them from multi-view inputs. To address practical challenges in training diffusion models with missing data and unbounded scene coordinates, we introduce specialized mechanisms that ensure robust learning. We empirically validate DiffusionSfM on both synthetic and real datasets, demonstrating that it outperforms classical and learning-based approaches while naturally modeling uncertainty.
• Abstract（参考訳）: 現在のStructure-from-Motion (SfM) 法は通常、2段階のパイプラインに従い、学習されたあるいは幾何学的なペアワイズ推論とその後のグローバル最適化ステップを組み合わせる。 対照的に,マルチビュー画像から3次元シーン形状とカメラポーズを直接推定するデータ駆動型マルチビュー推論手法を提案する。 我々のフレームワークであるDiffusionSfMは、シーン幾何学とカメラをグローバルフレーム内のピクセルワイズ線源およびエンドポイントとしてパラメータ化し、マルチビュー入力からそれらを予測するためにトランスフォーマーベースのデノナイズ拡散モデルを用いる。 データ不足やシーン座標のない拡散モデルの訓練における実践的な課題に対処するために,ロバストな学習を保証するための特殊なメカニズムを導入する。 我々は、DiffusionSfMを合成データセットと実データセットの両方で実証的に検証し、自然に不確実性をモデル化しながら、古典的および学習的アプローチよりも優れていることを示した。

関連論文リスト

• Curved Diffusion: A Generative Model With Optical Geometry Control [56.24220665691974]
  最終シーンの外観に対する異なる光学系の影響は、しばしば見過ごされる。 本研究では,画像レンダリングに使用される特定のレンズとテキスト画像拡散モデルを密接に統合するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-29T13:06:48Z)
• Light Field Diffusion for Single-View Novel View Synthesis [32.59286750410843]
  NVS(Single-view novel view synthesis)は、コンピュータビジョンにおいて重要であるが困難である。 NVSの最近の進歩は、高忠実度画像を生成するのに優れた能力として、Denoising Diffusion Probabilistic Models (DDPMs)を活用している。 光電界拡散(LFD)は,従来のカメラポーズ行列への依存を超越した,条件拡散に基づく新しいアプローチである。
  論文  参考訳（メタデータ） (2023-09-20T03:27:06Z)
• Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction [77.69363640021503]
  3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。 本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T17:59:01Z)
• DeepMLE: A Robust Deep Maximum Likelihood Estimator for Two-view Structure from Motion [9.294501649791016]
  動きからの2次元構造(SfM)は3次元再構成と視覚SLAM(vSLAM)の基礎となる。 本稿では,2視点SfM問題を最大最大推定(MLE)として定式化し,DeepMLEと表記されるフレームワークを用いて解いた。 提案手法は,最先端の2ビューSfM手法よりも精度と一般化能力において優れる。
  論文  参考訳（メタデータ） (2022-10-11T15:07:25Z)
• RelPose: Predicting Probabilistic Relative Rotation for Single Objects in the Wild [73.1276968007689]
  本稿では、任意のオブジェクトの複数の画像からカメラ視点を推定するデータ駆動手法について述べる。 本手法は, 画像の鮮明さから, 最先端のSfM法とSLAM法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-11T17:59:59Z)
• Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency [114.02182755620784]
  本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。 筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
  論文  参考訳（メタデータ） (2021-02-04T14:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。