論文の概要: MASt3R-SfM: a Fully-Integrated Solution for Unconstrained Structure-from-Motion
- arxiv url: http://arxiv.org/abs/2409.19152v1
- Date: Fri, 27 Sep 2024 21:29:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 04:11:01.554548
- Title: MASt3R-SfM: a Fully-Integrated Solution for Unconstrained Structure-from-Motion
- Title（参考訳）: MASt3R-SfM:非拘束構造に対する完全独立解法
- Authors: Bardienus Duisterhof, Lojze Zust, Philippe Weinzaepfel, Vincent Leroy, Yohann Cabon, Jerome Revaud,
- Abstract要約: 我々は最近リリースされた3Dビジョンのための基礎モデルを構築し、局所的な3D再構成と正確なマッチングを堅牢に生成できる。
グローバル座標系における局所的再構成を正確に調整するための低メモリ方式を提案する。
私たちの新しいSfMパイプラインはシンプルで、スケーラブルで、高速で、本当に制約を受けていない。
- 参考スコア（独自算出の注目度）: 12.602510002753815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structure-from-Motion (SfM), a task aiming at jointly recovering camera poses and 3D geometry of a scene given a set of images, remains a hard problem with still many open challenges despite decades of significant progress. The traditional solution for SfM consists of a complex pipeline of minimal solvers which tends to propagate errors and fails when images do not sufficiently overlap, have too little motion, etc. Recent methods have attempted to revisit this paradigm, but we empirically show that they fall short of fixing these core issues. In this paper, we propose instead to build upon a recently released foundation model for 3D vision that can robustly produce local 3D reconstructions and accurate matches. We introduce a low-memory approach to accurately align these local reconstructions in a global coordinate system. We further show that such foundation models can serve as efficient image retrievers without any overhead, reducing the overall complexity from quadratic to linear. Overall, our novel SfM pipeline is simple, scalable, fast and truly unconstrained, i.e. it can handle any collection of images, ordered or not. Extensive experiments on multiple benchmarks show that our method provides steady performance across diverse settings, especially outperforming existing methods in small- and medium-scale settings.
- Abstract（参考訳）: SfM(Structure-from-Motion)は、カメラのポーズとシーンの3次元幾何学を共同で再現するタスクで、数十年にわたる大きな進歩にもかかわらず、まだ多くのオープンな課題を抱えている。
SfMの従来のソリューションは、エラーを伝播する傾向があり、画像が十分に重複しなかったり、動きが少なかったりした場合に失敗する、最小限のソルバからなる複雑なパイプラインで構成されている。
最近の手法では、このパラダイムを再検討しようとしていますが、これらの中核的な問題を修正するには不足していることが実証的に示されています。
本稿では,局所的な3次元再構成と正確なマッチングを堅牢に生成できる3次元視覚基盤モデルを構築することを提案する。
グローバル座標系における局所的再構成を正確に調整するための低メモリ方式を提案する。
さらに、このような基礎モデルは、オーバーヘッドを伴わずに効率的な画像検索として機能し、全体的な複雑さを2次から線形に低減できることを示す。
全体として、私たちの新しいSfMパイプラインはシンプルで、スケーラブルで、高速で、本当に制約を受けていない。
複数のベンチマーク実験により,本手法は各種設定,特に小規模・中規模設定における既存手法よりも優れた性能を示すことが示された。
関連論文リスト
- EasyHOI: Unleashing the Power of Large Models for Reconstructing Hand-Object Interactions in the Wild [79.71523320368388]
本研究の目的は,手動物体のインタラクションを単一視点画像から再構築することである。
まず、手ポーズとオブジェクト形状を推定する新しいパイプラインを設計する。
最初の再構築では、事前に誘導された最適化方式を採用する。
論文 参考訳（メタデータ） (2024-11-21T16:33:35Z) - Generalizable 3D Scene Reconstruction via Divide and Conquer from a Single View [5.222115919729418]
シングルビュー3D再構成は現在、2つの主要な視点からアプローチされている。
分割・分散戦略に従うハイブリッド手法を提案する。
まず、深度と意味情報を抽出し、そのシーンを全体的に処理する。
次に、個々のコンポーネントの詳細な再構築に単発オブジェクトレベル手法を利用する。
論文 参考訳（メタデータ） (2024-04-04T12:58:46Z) - Total-Decom: Decomposed 3D Scene Reconstruction with Minimal Interaction [51.3632308129838]
人間のインタラクションを最小限に抑えた3次元再構成法であるTotal-Decomを提案する。
提案手法は,Segment Anything Model (SAM) とハイブリッド型暗黙的なニューラルサーフェス表現をシームレスに統合し,メッシュベースの領域成長技術を用いて正確な3次元オブジェクト分解を行う。
提案手法をベンチマークデータセット上で広範囲に評価し,アニメーションやシーン編集などの下流アプリケーションの可能性を示す。
論文 参考訳（メタデータ） (2024-03-28T11:12:33Z) - DUSt3R: Geometric 3D Vision Made Easy [8.471330244002564]
Dense and Unconstrained Stereo 3D Reconstruction of arbitrary image collections。
本定式化は単眼および両眼の再建症例を円滑に統一することを示す。
私たちの定式化はシーンの3Dモデルと深度情報を直接提供しますが、興味深いことに、シームレスに回復できます。
論文 参考訳（メタデータ） (2023-12-21T18:52:14Z) - FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳（メタデータ） (2023-08-10T17:55:02Z) - Metric3D: Towards Zero-shot Metric 3D Prediction from A Single Image [85.91935485902708]
ゼロショット単視距離深度モデルの鍵は、大規模データトレーニングと様々なカメラモデルからの距離あいまいさの解消の組合せにあることを示す。
本稿では,あいまいさ問題に明示的に対処し,既存の単分子モデルにシームレスに接続可能な標準カメラ空間変換モジュールを提案する。
本手法は, ランダムに収集したインターネット画像上での計測3次元構造の正確な復元を可能にする。
論文 参考訳（メタデータ） (2023-07-20T16:14:23Z) - Towards Non-Line-of-Sight Photography [48.491977359971855]
非視線イメージング(NLOS)は、隠された物体からの多重バウンス間接反射を捉えることに基づいている。
アクティブなNLOSイメージングシステムは、シーンを通しての光の飛行時間の捕捉に依存している。
我々はNLOS写真と呼ばれる新しい問題定式化を提案し、この欠陥に特に対処する。
論文 参考訳（メタデータ） (2021-09-16T08:07:13Z) - Dense Non-Rigid Structure from Motion: A Manifold Viewpoint [162.88686222340962]
Non-Rigid Structure-from-Motion (NRSfM) 問題は、複数のフレームにまたがる2次元特徴対応から変形物体の3次元形状を復元することを目的としている。
提案手法は,ノイズに対する精度,スケーラビリティ,堅牢性を大幅に向上させる。
論文 参考訳（メタデータ） (2020-06-15T09:15:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。