論文の概要: Level-S$^2$fM: Structure from Motion on Neural Level Set of Implicit Surfaces

• arxiv url: http://arxiv.org/abs/2211.12018v2
• Date: Mon, 27 Mar 2023 06:20:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 01:41:54.141644
• Title: Level-S$^2$fM: Structure from Motion on Neural Level Set of Implicit Surfaces
• Title（参考訳）: レベル-S$^2$fM: 入射面のニューラルレベルセット上の運動からの構造
• Authors: Yuxi Xiao and Nan Xue and Tianfu Wu and Gui-Song Xia
• Abstract要約: 本稿では、カメラのポーズとシーン形状を補正した画像から推定する、神経インクリメンタルなStructure-from-Motion(SfM)アプローチであるLevel-S$2$fMを提案する。 我々の新しい定式化は、インクリメンタルなSfMパイプラインにおいて、避けられない2ビューと少数ビューの設定のために、いくつかの新しい課題をもたらす。 Level-S$2$fMは、カメラポーズ推定とシーン形状再構成の有望な結果をもたらすだけでなく、カメラを知らずにニューラル暗示レンダリングの有望な方法を示す。
• 参考スコア（独自算出の注目度）: 36.06713735409501
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a neural incremental Structure-from-Motion (SfM) approach, Level-S$^2$fM, which estimates the camera poses and scene geometry from a set of uncalibrated images by learning coordinate MLPs for the implicit surfaces and the radiance fields from the established keypoint correspondences. Our novel formulation poses some new challenges due to inevitable two-view and few-view configurations in the incremental SfM pipeline, which complicates the optimization of coordinate MLPs for volumetric neural rendering with unknown camera poses. Nevertheless, we demonstrate that the strong inductive basis conveying in the 2D correspondences is promising to tackle those challenges by exploiting the relationship between the ray sampling schemes. Based on this, we revisit the pipeline of incremental SfM and renew the key components, including two-view geometry initialization, the camera poses registration, the 3D points triangulation, and Bundle Adjustment, with a fresh perspective based on neural implicit surfaces. By unifying the scene geometry in small MLP networks through coordinate MLPs, our Level-S$^2$fM treats the zero-level set of the implicit surface as an informative top-down regularization to manage the reconstructed 3D points, reject the outliers in correspondences via querying SDF, and refine the estimated geometries by NBA (Neural BA). Not only does our Level-S$^2$fM lead to promising results on camera pose estimation and scene geometry reconstruction, but it also shows a promising way for neural implicit rendering without knowing camera extrinsic beforehand.
• Abstract（参考訳）: そこで本論文では,カメラのポーズとシーンの形状を,確立されたキーポイント対応から暗黙面と放射野の座標mlpを学習することにより,無補間画像の集合から推定するニューラルインクリメンタル構造-運動(sfm)アプローチであるlevel-s$^2$fmを提案する。 提案手法は,未知のカメラポーズを用いたボリューム性ニューラルレンダリングのための座標mlpの最適化を複雑にするため,インクリメンタルなsfmパイプラインにおいて避けられない2視点と少ないビュー構成のために,新たな課題を提起する。 それにもかかわらず, 2次元対応における強い帰納的基礎は, レイサンプリング方式の関係を生かして, それらの課題に対処できることを実証する。 これに基づいて,インクリメンタルなsfmのパイプラインを再検討し,2次元幾何初期化,カメラのポーズ登録,3次元点三角測量,バンドル調整などの重要なコンポーネントを,ニューラルネットワークの暗黙的表面に基づく新たな視点で更新する。 このレベルs$^2$fmは,小さなmlpネットワークのシーン形状を座標mlpで統一することにより,暗黙面のゼロレベル集合を情報的トップダウン正規化として扱い,再構成された3dポイントを管理し,sdfを問合せ,推定ジオメトリをnba(neural ba)によって洗練する。 Level-S$2$fMは、カメラポーズ推定とシーン形状再構成の有望な結果をもたらすだけでなく、カメラ外在性を事前に知ることなく、ニューラル暗示レンダリングの有望な方法を示す。

関連論文リスト

• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• SCIPaD: Incorporating Spatial Clues into Unsupervised Pose-Depth Joint Learning [17.99904937160487]
  本研究では,教師なし深層学習のための空間的手がかりを取り入れた新しいアプローチであるSCIPaDを紹介する。 SCIPaDは平均翻訳誤差22.2%、カメラポーズ推定タスクの平均角誤差34.8%をKITTI Odometryデータセットで達成している。
  論文  参考訳（メタデータ） (2024-07-07T06:52:51Z)
• NoPose-NeuS: Jointly Optimizing Camera Poses with Neural Implicit Surfaces for Multi-view Reconstruction [0.0]
  NoPose-NeuSは、NeuSを拡張して、幾何学とカラーネットワークでカメラポーズを協調的に最適化する、ニューラルネットワークによる暗黙の表面再構成手法である。 提案手法は, 比較的正確なカメラポーズを推定できるが, 表面改質品質は0.89で, チャムファー距離は0.89である。
  論文  参考訳（メタデータ） (2023-12-23T12:18:22Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• Semantic Validation in Structure from Motion [0.0]
  Structure from Motion (SfM) は、一連の投影計測からシーンの3次元構造を復元する過程である。 SfMは、特徴検出とマッチング、カメラモーション推定、および3D構造の回復の3つの主要なステップから構成される。 このプロジェクトは3次元SfMモデルの検証を改善するための新しい方法を提供する。
  論文  参考訳（メタデータ） (2023-04-05T12:58:59Z)
• TerrainMesh: Metric-Semantic Terrain Reconstruction from Aerial Images Using Joint 2D-3D Learning [20.81202315793742]
  本稿では,視覚的オドメトリーアルゴリズムによって保持される各カメラにおける局所的メートル法-セマンティックメッシュを再構築する2次元3次元学習手法を提案する。 メッシュはグローバル環境モデルに組み立てて、オンライン操作中の地形のトポロジとセマンティクスをキャプチャすることができる。
  論文  参考訳（メタデータ） (2022-04-23T05:18:39Z)
• Deep Non-rigid Structure-from-Motion: A Sequence-to-Sequence Translation Perspective [81.56957468529602]
  本稿では,シーケンス・ツー・シーケンス翻訳の観点から,ディープNASfMをモデル化する。 まず,1つのフレームから初期非剛体形状とカメラの動きを推定するために,形状運動予測器を適用した。 そこで我々は,カメラの動きと複雑な非剛体形状をモデル化するためのコンテキストモデリングモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-10T17:13:52Z)
• Soft Expectation and Deep Maximization for Image Feature Detection [68.8204255655161]
  質問をひっくり返し、まず繰り返し可能な3Dポイントを探し、次に検出器を訓練して画像空間にローカライズする、反復的半教師付き学習プロセスSEDMを提案する。 以上の結果から,sdmを用いてトレーニングした新しいモデルでは,シーン内の下位3dポイントのローカライズが容易になった。
  論文  参考訳（メタデータ） (2021-04-21T00:35:32Z)
• Deep Two-View Structure-from-Motion Revisited [83.93809929963969]
  2次元構造移動(SfM)は3次元再構成と視覚SLAMの基礎となる。 古典パイプラインの適切性を活用することで,深部2視点sfmの問題を再検討することを提案する。 本手法は,1)2つのフレーム間の密対応を予測する光フロー推定ネットワーク,2)2次元光フロー対応から相対カメラポーズを計算する正規化ポーズ推定モジュール,3)エピポーラ幾何を利用して探索空間を縮小し,密対応を洗練し,相対深度マップを推定するスケール不変深さ推定ネットワークからなる。
  論文  参考訳（メタデータ） (2021-04-01T15:31:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。