論文の概要: FlowMap: High-Quality Camera Poses, Intrinsics, and Depth via Gradient Descent

• arxiv url: http://arxiv.org/abs/2404.15259v2
• Date: Sat, 15 Jun 2024 06:30:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 04:48:05.715227
• Title: FlowMap: High-Quality Camera Poses, Intrinsics, and Depth via Gradient Descent
• Title（参考訳）: FlowMap: グラディエントDescentによる高画質カメラの可能性、内在性、奥行き
• Authors: Cameron Smith, David Charatan, Ayush Tewari, Vincent Sitzmann,
• Abstract要約: FlowMapは、正確なカメラポーズ、カメラ内在、およびビデオシーケンスのフレーム毎の密度の深さを解決する、エンドツーエンドの微分可能な方法である。 提案手法は,最小2乗の目的をビデオごとの勾配差最小化する。 提案手法によって得られたカメラパラメータと密度深度は,360度軌道上での光リアルな新規ビュー合成を可能にすることを実証的に示す。
• 参考スコア（独自算出の注目度）: 19.977807508281835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces FlowMap, an end-to-end differentiable method that solves for precise camera poses, camera intrinsics, and per-frame dense depth of a video sequence. Our method performs per-video gradient-descent minimization of a simple least-squares objective that compares the optical flow induced by depth, intrinsics, and poses against correspondences obtained via off-the-shelf optical flow and point tracking. Alongside the use of point tracks to encourage long-term geometric consistency, we introduce differentiable re-parameterizations of depth, intrinsics, and pose that are amenable to first-order optimization. We empirically show that camera parameters and dense depth recovered by our method enable photo-realistic novel view synthesis on 360-degree trajectories using Gaussian Splatting. Our method not only far outperforms prior gradient-descent based bundle adjustment methods, but surprisingly performs on par with COLMAP, the state-of-the-art SfM method, on the downstream task of 360-degree novel view synthesis (even though our method is purely gradient-descent based, fully differentiable, and presents a complete departure from conventional SfM).
• Abstract（参考訳）: 本稿では、カメラの正確なポーズ、カメラの内在性、フレームごとの深度を解消する、エンドツーエンドの差別化手法であるFlowMapを紹介する。 本手法は,奥行き,内在性によって誘導される光の流れを比較し,オフザシェルフ光の流れと点追跡によって得られる対応に対処する,最小2乗目的の映像ごとの勾配・ディフレッシブ最小化を行う。 長期的幾何整合性を促進するために点線を用いるとともに、一階最適化に寄与する深度、内在性、ポーズの微分可能な再パラメータ化を導入する。 提案手法により得られたカメラパラメータと密度深度は,ガウススプラッティングを用いた360度軌道上での光リアルな新規ビュー合成を可能にすることを実証的に示す。 提案手法は, 従来の勾配差に基づくバンドル調整法よりもはるかに優れるだけでなく, 従来のSfM法であるCOLMAPと同等に動作し, 従来のSfM法と完全に相違し, 従来のSfM法と完全に相違しているにもかかわらず, 360度新規ビュー合成の下流タスクにおいて, 従来のSfM法と同等に機能する。

関連論文リスト

• Correspondence-Guided SfM-Free 3D Gaussian Splatting for NVS [52.3215552448623]
  SfM(Structure-from-Motion)事前処理カメラのポーズのない新しいビュー合成(NVS)は、迅速な応答能力の向上と、可変動作条件に対する堅牢性の向上に不可欠である。 最近のSfMフリー手法は、ポーズ最適化を統合し、共同カメラのポーズ推定とNVSのためのエンドツーエンドフレームワークを設計している。 既存の作業の多くは、L2損失のようなピクセル単位の画像損失関数に依存している。 本研究では,NVSのためのSfMフリー3次元ガウススプラッティングを提案する。
  論文  参考訳（メタデータ） (2024-08-16T13:11:22Z)
• Fine Dense Alignment of Image Bursts through Camera Pose and Depth Estimation [45.11207941777178]
  本稿では,ハンドヘルドカメラが捉えたバースト内の画像の微細なアライメントに対する新しいアプローチを提案する。 提案アルゴリズムは、各画素におけるカメラの動きと表面の深さと向きの両方を最適化することにより、密度の高い対応性を確立する。
  論文  参考訳（メタデータ） (2023-12-08T17:22:04Z)
• $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D Reconstruction [97.06927852165464]
  単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。 条件付き偏光拡散プロセスによりスパース点雲を生成する単一像3次元再構成法を提案する。
  論文  参考訳（メタデータ） (2023-02-21T13:37:07Z)
• ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild [57.37891682117178]
  本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。 不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。 MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
  論文  参考訳（メタデータ） (2022-07-19T09:19:45Z)
• DiffPoseNet: Direct Differentiable Camera Pose Estimation [11.941057800943653]
  我々は,強靭かつ直接的な制約を強制するために,正規フロー推定のためのネットワークNFlowNetを導入する。 我々は,提案したDiffPoseNetの雑音に対する感度とデータセット間の一般化について,定性的かつ定量的に評価する。
  論文  参考訳（メタデータ） (2022-03-21T17:54:30Z)
• Graph-Based Depth Denoising & Dequantization for Point Cloud Enhancement [47.61748619439693]
  3Dポイントの雲は通常、センサーが1つ以上の視点で取得した深さの測定から構築される。 以前の作業では、不完全な深度データを3D空間に投影した後、点雲テクティタ後部をノイズ化する。 本研究では,3次元点雲の合成に先立って,検出画像のテクスタイタ事前に直接深度測定を施す。
  論文  参考訳（メタデータ） (2021-11-09T04:17:35Z)
• Deep Two-View Structure-from-Motion Revisited [83.93809929963969]
  2次元構造移動(SfM)は3次元再構成と視覚SLAMの基礎となる。 古典パイプラインの適切性を活用することで,深部2視点sfmの問題を再検討することを提案する。 本手法は,1)2つのフレーム間の密対応を予測する光フロー推定ネットワーク,2)2次元光フロー対応から相対カメラポーズを計算する正規化ポーズ推定モジュール,3)エピポーラ幾何を利用して探索空間を縮小し,密対応を洗練し,相対深度マップを推定するスケール不変深さ推定ネットワークからなる。
  論文  参考訳（メタデータ） (2021-04-01T15:31:20Z)
• Robust Consistent Video Depth Estimation [65.53308117778361]
  本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。 本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。 従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
  論文  参考訳（メタデータ） (2020-12-10T18:59:48Z)
• Combining 3D Model Contour Energy and Keypoints for Object Tracking [2.5782420501870287]
  単分子モデルに基づく3次元追跡のための新しい組み合わせアプローチを提案する。 キーポイントベースの手法を用いて予備オブジェクトのポーズを推定する。 次に、輪郭エネルギー関数を最適化することにより、ポーズを洗練する。
  論文  参考訳（メタデータ） (2020-02-04T15:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。