論文の概要: Uncertainty-Driven Dense Two-View Structure from Motion

• arxiv url: http://arxiv.org/abs/2302.00523v1
• Date: Wed, 1 Feb 2023 15:52:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-02 17:16:07.778486
• Title: Uncertainty-Driven Dense Two-View Structure from Motion
• Title（参考訳）: 運動による不確かさ駆動型2ビュー構造
• Authors: Weirong Chen, Suryansh Kumar, Fisher Yu
• Abstract要約: 本研究は、動き(SfM)問題から高密度な2次元構造を効果的かつ実用的な解法として導入する。 注意深く推定されたカメラポーズと画素ごとの光フロー対応により、シーンの深度を計算する。 提案手法は,DeMoN,YFCC100M,ScanNetなどのベンチマークデータセットでテストした場合,SuperPointとSuperGlueの精度に代えて,顕著な深度精度と最先端のカメラポーズを実現する。
• 参考スコア（独自算出の注目度）: 27.17774054474532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work introduces an effective and practical solution to the dense two-view structure from motion (SfM) problem. One vital question addressed is how to mindfully use per-pixel optical flow correspondence between two frames for accurate pose estimation -- as perfect per-pixel correspondence between two images is difficult, if not impossible, to establish. With the carefully estimated camera pose and predicted per-pixel optical flow correspondences, a dense depth of the scene is computed. Later, an iterative refinement procedure is introduced to further improve optical flow matching confidence, camera pose, and depth, exploiting their inherent dependency in rigid SfM. The fundamental idea presented is to benefit from per-pixel uncertainty in the optical flow estimation and provide robustness to the dense SfM system via an online refinement. Concretely, we introduce a pipeline consisting of (i) an uncertainty-aware dense optical flow estimation approach that provides per-pixel correspondence with their confidence score of matching; (ii) a weighted dense bundle adjustment formulation that depends on optical flow uncertainty and bidirectional optical flow consistency to refine both pose and depth; (iii) a depth estimation network that considers its consistency with the estimated poses and optical flow respecting epipolar constraint. Extensive experiments show that the proposed approach achieves remarkable depth accuracy and state-of-the-art camera pose results superseding SuperPoint and SuperGlue accuracy when tested on benchmark datasets such as DeMoN, YFCC100M, and ScanNet.
• Abstract（参考訳）: 本研究は、動き(SfM)問題から高密度な2次元構造への効果的かつ実用的な解を導入する。 1つの重要な疑問は、正確なポーズ推定のために2つのフレーム間のピクセルごとの光学的フロー対応をどのように慎重に使うかである。 注意深く推定されたカメラポーズと画素ごとの光フロー対応により、シーンの深度を計算する。 その後, 厳格なsfmに固有の依存性を生かして, 光フローマッチングの信頼性, カメラポーズ, 深さをさらに向上させる反復的精細化法が導入された。 提案する基本的な考え方は、光学フロー推定における画素当たりの不確かさの恩恵を受け、オンラインリファインメントを通じて密度の高いSfMシステムにロバスト性を提供することである。 具体的には パイプラインを紹介します i) 一致の信頼度と画素ごとの対応性を提供する不確実性を考慮した高密度光フロー推定手法 二 ポーズ及び深さを洗練するために、光流の不確かさ及び双方向光流の一貫性に依存する重み付き密束調整定式化 (iii)エピポーラ制約を尊重する推定ポーズと光学フローとの整合性を考慮した深さ推定ネットワーク。 大規模な実験により,提案手法は,DeMoN,YFCC100M,ScanNetなどのベンチマークデータセットでテストした場合,SuperPointとSuperGlueの精度に代えて,顕著な深度精度と最先端カメラのポーズが得られた。

関連論文リスト

• Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging Scenarios [103.72094710263656]
  本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。 本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。 得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-19T04:39:16Z)
• DeepMLE: A Robust Deep Maximum Likelihood Estimator for Two-view Structure from Motion [9.294501649791016]
  動きからの2次元構造(SfM)は3次元再構成と視覚SLAM(vSLAM)の基礎となる。 本稿では,2視点SfM問題を最大最大推定(MLE)として定式化し,DeepMLEと表記されるフレームワークを用いて解いた。 提案手法は,最先端の2ビューSfM手法よりも精度と一般化能力において優れる。
  論文  参考訳（メタデータ） (2022-10-11T15:07:25Z)
• Frequency-Aware Self-Supervised Monocular Depth Estimation [41.97188738587212]
  自己教師付き単眼深度推定モデルを改善するための2つの多目的手法を提案する。 本手法の高一般化性は,測光損失関数の基本的およびユビキタスな問題を解くことによって達成される。 我々は、解釈可能な解析で深度推定器を改善するために、初めてぼやけた画像を提案する。
  論文  参考訳（メタデータ） (2022-10-11T14:30:26Z)
• Dense Optical Flow from Event Cameras [55.79329250951028]
  本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。 提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
  論文  参考訳（メタデータ） (2021-08-24T07:39:08Z)
• High-Resolution Optical Flow from 1D Attention and Correlation [89.61824964952949]
  計算量を大幅に削減した高分解能光フロー推定法を提案する。 まず、対象画像の垂直方向の1Dアテンション操作を行い、その後、参加者画像の水平方向の単純な1D相関を行う。 Sintel,KITTIおよび実世界の4K解像度画像を用いた実験により,提案手法の有効性と優位性を示した。
  論文  参考訳（メタデータ） (2021-04-28T17:56:34Z)
• Deep Two-View Structure-from-Motion Revisited [83.93809929963969]
  2次元構造移動(SfM)は3次元再構成と視覚SLAMの基礎となる。 古典パイプラインの適切性を活用することで,深部2視点sfmの問題を再検討することを提案する。 本手法は,1)2つのフレーム間の密対応を予測する光フロー推定ネットワーク,2)2次元光フロー対応から相対カメラポーズを計算する正規化ポーズ推定モジュール,3)エピポーラ幾何を利用して探索空間を縮小し,密対応を洗練し,相対深度マップを推定するスケール不変深さ推定ネットワークからなる。
  論文  参考訳（メタデータ） (2021-04-01T15:31:20Z)
• Robust Consistent Video Depth Estimation [65.53308117778361]
  本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。 本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。 従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
  論文  参考訳（メタデータ） (2020-12-10T18:59:48Z)
• Spatially-Variant CNN-based Point Spread Function Estimation for Blind Deconvolution and Depth Estimation in Optical Microscopy [6.09170287691728]
  薄めながら平らでない物体の光顕微鏡画像の解像度を向上する手法を提案する。 畳み込みニューラルネットワーク(CNN)を用いた空間変動点スプレッド関数(PSF)モデルのパラメータを推定する。 本手法は,理想条件下での2乗ピアソン相関係数0.99で画像自体からPSFパラメータを復元する。
  論文  参考訳（メタデータ） (2020-10-08T14:20:16Z)
• Joint Unsupervised Learning of Optical Flow and Egomotion with Bi-Level Optimization [59.9673626329892]
  エピポーラ幾何を用いた光学フローとカメラモーションのグローバルな関係を利用する。 我々は暗黙の微分を用いて、その実装とは無関係に低レベルの幾何最適化層を通してバックプロパゲーションを可能にする。
  論文  参考訳（メタデータ） (2020-02-26T22:28:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。