論文の概要: Level-S$^2$fM: Structure from Motion on Neural Level Set of Implicit Surfaces

• arxiv url: http://arxiv.org/abs/2211.12018v1
• Date: Tue, 22 Nov 2022 05:21:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 17:52:09.912791
• Title: Level-S$^2$fM: Structure from Motion on Neural Level Set of Implicit Surfaces
• Title（参考訳）: レベル-S$^2$fM: 入射面のニューラルレベルセット上の運動からの構造
• Authors: Yuxi Xiao and Nan Xue and Tianfu Wu and Gui-Song Xia
• Abstract要約: 本稿では,神経インクリメンタルなStructure-from-Motion(SfM)アプローチであるLevel-S$2$fMを提案する。 我々は暗黙の面と放射界の座標を同時に学習し、カメラのポーズとシーン形状を推定することを目的としている。 座標が小さなネットワークでシーン幾何学を統一するため、Level-S$2$fMは暗黙曲面のゼロレベル集合を情報的トップダウン正規化として扱う。
• 参考スコア（独自算出の注目度）: 36.06713735409501
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a neural incremental Structure-from-Motion (SfM) approach, Level-S$^2$fM. In our formulation, we aim at simultaneously learning coordinate MLPs for the implicit surfaces and the radiance fields, and estimating the camera poses and scene geometry, which is mainly sourced from the established keypoint correspondences by SIFT. Our formulation would face some new challenges due to inevitable two-view and few-view configurations at the beginning of incremental SfM pipeline for the optimization of coordinate MLPs, but we found that the strong inductive biases conveying in the 2D correspondences are feasible and promising to avoid those challenges by exploiting the relationship between the ray sampling schemes used in volumetric rendering and the sphere tracing of finding the zero-level set of implicit surfaces. Based on this, we revisit the pipeline of incremental SfM and renew the key components of two-view geometry initialization, the camera pose registration, and the 3D points triangulation, as well as the Bundle Adjustment in a novel perspective of neural implicit surfaces. Because the coordinate MLPs unified the scene geometry in small MLP networks, our Level-S$^2$fM treats the zero-level set of the implicit surface as an informative top-down regularization to manage the reconstructed 3D points, reject the outlier of correspondences by querying SDF, adjust the estimated geometries by NBA (Neural BA), finally yielding promising results of 3D reconstruction. Furthermore, our Level-S$^2$fM alleviated the requirement of camera poses for neural 3D reconstruction.
• Abstract（参考訳）: 本稿では,神経インクリメンタルなStructure-from-Motion(SfM)アプローチであるLevel-S$^2$fMを提案する。 本定式化では,暗黙の面と放射界の座標MLPを同時に学習し,SIFTによって確立されたキーポイント対応から主に得られるカメラポーズとシーン形状を推定する。 提案手法は,座標mlpの最適化のためのインクリメンタルなsfmパイプラインの開始時に避けられない2視点と少数視点の設定により新たな課題に直面するが,2次元対応で伝達される強い帰納的バイアスは実現可能であり,ボリュームレンダリングで使用されるレイサンプリングスキームと,暗黙的曲面のゼロレベル集合を見つける球面トレースとの関係を利用して,これらの課題を回避することを約束する。 そこで我々は,段階的なSfMのパイプラインを再検討し,2次元幾何初期化,カメラポーズ登録,3Dポイント三角測量,およびニューラル暗黙曲面の新たな視点におけるバンドル調整のキーコンポーネントを更新する。 我々のレベルS^2$fMは、暗示面のゼロレベル集合を情報的トップダウン正規化として扱い、再構成された3Dポイントを管理し、SDFを問合せ、NBA(Neural BA)による推定ジオメトリを調整し、最終的に3D再構成の有望な結果を得る。 さらに、Level-S$^2$fMは、ニューラル3D再構成のためのカメラポーズの要求を緩和した。

関連論文リスト

• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• SCIPaD: Incorporating Spatial Clues into Unsupervised Pose-Depth Joint Learning [17.99904937160487]
  本研究では,教師なし深層学習のための空間的手がかりを取り入れた新しいアプローチであるSCIPaDを紹介する。 SCIPaDは平均翻訳誤差22.2%、カメラポーズ推定タスクの平均角誤差34.8%をKITTI Odometryデータセットで達成している。
  論文  参考訳（メタデータ） (2024-07-07T06:52:51Z)
• NoPose-NeuS: Jointly Optimizing Camera Poses with Neural Implicit Surfaces for Multi-view Reconstruction [0.0]
  NoPose-NeuSは、NeuSを拡張して、幾何学とカラーネットワークでカメラポーズを協調的に最適化する、ニューラルネットワークによる暗黙の表面再構成手法である。 提案手法は, 比較的正確なカメラポーズを推定できるが, 表面改質品質は0.89で, チャムファー距離は0.89である。
  論文  参考訳（メタデータ） (2023-12-23T12:18:22Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• Semantic Validation in Structure from Motion [0.0]
  Structure from Motion (SfM) は、一連の投影計測からシーンの3次元構造を復元する過程である。 SfMは、特徴検出とマッチング、カメラモーション推定、および3D構造の回復の3つの主要なステップから構成される。 このプロジェクトは3次元SfMモデルの検証を改善するための新しい方法を提供する。
  論文  参考訳（メタデータ） (2023-04-05T12:58:59Z)
• TerrainMesh: Metric-Semantic Terrain Reconstruction from Aerial Images Using Joint 2D-3D Learning [20.81202315793742]
  本稿では,視覚的オドメトリーアルゴリズムによって保持される各カメラにおける局所的メートル法-セマンティックメッシュを再構築する2次元3次元学習手法を提案する。 メッシュはグローバル環境モデルに組み立てて、オンライン操作中の地形のトポロジとセマンティクスをキャプチャすることができる。
  論文  参考訳（メタデータ） (2022-04-23T05:18:39Z)
• Deep Non-rigid Structure-from-Motion: A Sequence-to-Sequence Translation Perspective [81.56957468529602]
  本稿では,シーケンス・ツー・シーケンス翻訳の観点から,ディープNASfMをモデル化する。 まず,1つのフレームから初期非剛体形状とカメラの動きを推定するために,形状運動予測器を適用した。 そこで我々は,カメラの動きと複雑な非剛体形状をモデル化するためのコンテキストモデリングモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-10T17:13:52Z)
• Soft Expectation and Deep Maximization for Image Feature Detection [68.8204255655161]
  質問をひっくり返し、まず繰り返し可能な3Dポイントを探し、次に検出器を訓練して画像空間にローカライズする、反復的半教師付き学習プロセスSEDMを提案する。 以上の結果から,sdmを用いてトレーニングした新しいモデルでは,シーン内の下位3dポイントのローカライズが容易になった。
  論文  参考訳（メタデータ） (2021-04-21T00:35:32Z)
• Deep Two-View Structure-from-Motion Revisited [83.93809929963969]
  2次元構造移動(SfM)は3次元再構成と視覚SLAMの基礎となる。 古典パイプラインの適切性を活用することで,深部2視点sfmの問題を再検討することを提案する。 本手法は,1)2つのフレーム間の密対応を予測する光フロー推定ネットワーク,2)2次元光フロー対応から相対カメラポーズを計算する正規化ポーズ推定モジュール,3)エピポーラ幾何を利用して探索空間を縮小し,密対応を洗練し,相対深度マップを推定するスケール不変深さ推定ネットワークからなる。
  論文  参考訳（メタデータ） (2021-04-01T15:31:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。