論文の概要: DualRefine: Self-Supervised Depth and Pose Estimation Through Iterative Epipolar Sampling and Refinement Toward Equilibrium

• arxiv url: http://arxiv.org/abs/2304.03560v1
• Date: Fri, 7 Apr 2023 09:46:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-10 12:25:55.400774
• Title: DualRefine: Self-Supervised Depth and Pose Estimation Through Iterative Epipolar Sampling and Refinement Toward Equilibrium
• Title（参考訳）: DualRefine: 反復型エピポーラサンプリングによる自己監督深度とポース推定と平衡への再精製
• Authors: Antyanta Bangunharcana, Ahmed Magd, Kyung-Soo Kim
• Abstract要約: 自己教師付き多フレーム深度推定は,隣接フレーム間の画素対応のマッチングコストの計算により高い精度を実現する。 本稿では,フィードバックループを通した深度とポーズを密に結合するDualモデルを提案する。 我々の新しい更新パイプラインは、奥行き推定と特徴マップの隠れ状態を反復的に洗練するために、深い平衡モデルフレームワークを使用します。
• 参考スコア（独自算出の注目度）: 8.250374560598495
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Self-supervised multi-frame depth estimation achieves high accuracy by computing matching costs of pixel correspondences between adjacent frames, injecting geometric information into the network. These pixel-correspondence candidates are computed based on the relative pose estimates between the frames. Accurate pose predictions are essential for precise matching cost computation as they influence the epipolar geometry. Furthermore, improved depth estimates can, in turn, be used to align pose estimates. Inspired by traditional structure-from-motion (SfM) principles, we propose the DualRefine model, which tightly couples depth and pose estimation through a feedback loop. Our novel update pipeline uses a deep equilibrium model framework to iteratively refine depth estimates and a hidden state of feature maps by computing local matching costs based on epipolar geometry. Importantly, we used the refined depth estimates and feature maps to compute pose updates at each step. This update in the pose estimates slowly alters the epipolar geometry during the refinement process. Experimental results on the KITTI dataset demonstrate competitive depth prediction and odometry prediction performance surpassing published self-supervised baselines.
• Abstract（参考訳）: 自己教師付き多フレーム深度推定は、隣接フレーム間の画素対応のマッチングコストを計算し、幾何学的情報をネットワークに注入することで高い精度を達成する。 これらの画素対応候補は、フレーム間の相対ポーズ推定に基づいて計算される。 正確なポーズ予測は、エピポーラ幾何に影響を及ぼすため、正確なマッチングコスト計算に不可欠である。 さらに、改良された深さ推定は、代わりにポーズ推定を整列するために使用できる。 従来のsfm(structure-from-motion)の原理に着想を得て,フィードバックループによる奥行きとポーズ推定を密結合した2重refineモデルを提案する。 新たな更新パイプラインでは,エピポーラ幾何に基づく局所マッチングコストを計算し,深度推定と特徴マップの隠れた状態を反復的に洗練するために,深い平衡モデルフレームワークを用いる。 重要なことに、各ステップのポーズ更新を計算するために、精巧な深さ推定と特徴マップを使用しました。 ポーズ推定のこの更新は、精錬過程の間、エピポーラ幾何をゆっくりと変化させる。 KITTIデータセットの実験結果から, 自己教師付きベースラインを超える競合深度予測とオドメトリー予測性能が示された。

関連論文リスト

• BaseBoostDepth: Exploiting Larger Baselines For Self-supervised Monocular Depth Estimation [2.1028463367241033]
  ポーズ推定の精度を高めるために、インクリメンタルなポーズ推定を導入する。 我々の最終深度ネットワークは、テスト時に計算複雑性を増大させることなく、KITTIとSynS-patchesデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-29T22:05:13Z)
• Exploiting Correspondences with All-pairs Correlations for Multi-view Depth Estimation [19.647670347925754]
  多視点深度推定は,3次元世界を再構築し,理解する上で重要な役割を担っている。 最適化過程を模倣した新しい反復的多視点深度推定フレームワークを設計する。 ScanNet,DeMoN,ETH3D,および7Scenesについて十分な実験を行い,本手法の優位性を実証した。
  論文  参考訳（メタデータ） (2022-05-05T07:38:31Z)
• Multi-Frame Self-Supervised Depth with Transformers [33.00363651105475]
  本稿では,コストボリューム生成のためのトランスフォーマーアーキテクチャを提案する。 深度分布型エピポーラサンプリングを用いて、マッチング候補を選択する。 私たちは、一連の自己と横断的なレイヤを通じて予測を洗練します。
  論文  参考訳（メタデータ） (2022-04-15T19:04:57Z)
• BinsFormer: Revisiting Adaptive Bins for Monocular Depth Estimation [46.678016537618845]
  本稿では,分類回帰に基づく深度推定に適したBinsFormerという新しいフレームワークを提案する。 1)適応的なビンの適切な生成、2)確率分布とビン予測の間の十分な相互作用である。 KITTI、NYU、SUN RGB-Dデータセットの実験は、BinsFormerが最先端のモノクル深度推定法をはるかに上回っていることを示している。
  論文  参考訳（メタデータ） (2022-04-03T04:38:02Z)
• PDC-Net+: Enhanced Probabilistic Dense Correspondence Network [161.76275845530964]
  高度確率密度対応ネットワーク(PDC-Net+)は、精度の高い高密度対応を推定できる。 我々は、堅牢で一般化可能な不確実性予測に適したアーキテクチャと強化されたトレーニング戦略を開発する。 提案手法は,複数の挑戦的幾何マッチングと光学的フローデータセットに対して,最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-09-28T17:56:41Z)
• Confidence Adaptive Anytime Pixel-Level Recognition [86.75784498879354]
  任意の時間推論は、いつでも停止される可能性のある予測の進行を行うモデルを必要とする。 我々は,任意のピクセルレベルの認識に対して,最初の統一とエンドツーエンドのモデルアプローチを提案する。
  論文  参考訳（メタデータ） (2021-04-01T20:01:57Z)
• Learning Accurate Dense Correspondences and When to Trust Them [161.76275845530964]
  2つの画像に関連する密度の高い流れ場と、堅牢な画素方向の信頼度マップの推定を目指しています。 フロー予測とその不確実性を共同で学習するフレキシブルな確率的アプローチを開発する。 本手法は,幾何学的マッチングと光フローデータセットに挑戦する最新の結果を得る。
  論文  参考訳（メタデータ） (2021-01-05T18:54:11Z)
• CodeVIO: Visual-Inertial Odometry with Learned Optimizable Dense Depth [83.77839773394106]
  本稿では,軽量で密結合の深い深度ネットワークと視覚慣性オドメトリーシステムを提案する。 我々は、初期深度予測の精度を高めるために、以前にVIOから切り離されたスパース特徴を持つネットワークを提供する。 本稿では,ネットワークとコードヤコビアンでのみGPUアクセラレーションを活用しながら,シングルスレッド実行でリアルタイムに動作可能であることを示す。
  論文  参考訳（メタデータ） (2020-12-18T09:42:54Z)
• Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
  一つのビデオから多視点深度を推定する新しい手法を提案する。 提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。 最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-26T04:04:21Z)
• Bottom-Up Human Pose Estimation by Ranking Heatmap-Guided Adaptive Keypoint Estimates [76.51095823248104]
  キーポイント検出とグループ化(キーポイント回帰)性能を改善するために,これまでにほとんど,あるいはまったく研究されていないいくつかのスキームを提案する。 まず,画素単位のキーポイントレグレッションに対して,キーポイントのリグレッションを改善するために分離する代わりに,キーポイントのヒートマップを利用する。 第2に、スケールと向きの分散を扱うための適応表現を学習するために、画素単位の空間変換器ネットワークを採用する。 第3に,真のポーズとなる確率の高い推定ポーズを促進するために,結合形状と熱値評価手法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T01:14:59Z)
• DeeSCo: Deep heterogeneous ensemble with Stochastic Combinatory loss for gaze estimation [7.09232719022402]
  本研究では,2D/3D視線推定のためのヒートマップに基づく弱い予測器を,エンドツーエンドで訓練可能なアンサンブルとして導入する。 我々は,複数のデータセット上での2D/3D視線推定における最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-15T14:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。