論文の概要: Boosting Omnidirectional Stereo Matching with a Pre-trained Depth Foundation Model

• arxiv url: http://arxiv.org/abs/2503.23502v1
• Date: Sun, 30 Mar 2025 16:24:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 19:35:57.152931
• Title: Boosting Omnidirectional Stereo Matching with a Pre-trained Depth Foundation Model
• Title（参考訳）: 事前学習深度基礎モデルによる全方位ステレオマッチングの高速化
• Authors: Jannik Endres, Oliver Hahn, Charles Corbière, Simone Schaub-Meyer, Stefan Roth, Alexandre Alahi,
• Abstract要約: カメラベースの設定は、立体深度推定を用いて高解像度の高解像度深度マップを生成することで、コスト効率のよい選択肢を提供する。 既存の全方位ステレオマッチング手法は、様々な環境において限られた深度精度しか達成できない。 DFI-OmniStereoは, 大規模事前学習基礎モデルを用いて, 相対的な単眼深度推定を行う新しい全方位ステレオマッチング法である。
• 参考スコア（独自算出の注目度）: 62.37493746544967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Omnidirectional depth perception is essential for mobile robotics applications that require scene understanding across a full 360{\deg} field of view. Camera-based setups offer a cost-effective option by using stereo depth estimation to generate dense, high-resolution depth maps without relying on expensive active sensing. However, existing omnidirectional stereo matching approaches achieve only limited depth accuracy across diverse environments, depth ranges, and lighting conditions, due to the scarcity of real-world data. We present DFI-OmniStereo, a novel omnidirectional stereo matching method that leverages a large-scale pre-trained foundation model for relative monocular depth estimation within an iterative optimization-based stereo matching architecture. We introduce a dedicated two-stage training strategy to utilize the relative monocular depth features for our omnidirectional stereo matching before scale-invariant fine-tuning. DFI-OmniStereo achieves state-of-the-art results on the real-world Helvipad dataset, reducing disparity MAE by approximately 16% compared to the previous best omnidirectional stereo method.
• Abstract（参考訳）: 全360{\deg}視野におけるシーン理解を必要とする移動ロボットアプリケーションには,全方向深度認識が不可欠である。 カメラベースの設定は、ステレオ深度推定を用いて高密度で高解像度の深度マップを生成することで、高価なアクティブセンシングに頼ることなく、コスト効率の良い選択肢を提供する。 しかし、既存の全方位ステレオマッチング手法は、実世界のデータ不足のため、多様な環境、奥行き範囲、照明条件にまたがる限られた深度精度しか達成できない。 DFI-OmniStereoは,大規模な事前学習基礎モデルを用いて,反復的最適化に基づくステレオマッチングアーキテクチャ内での相対的な単眼深度推定を行う。 本研究では,全方位ステレオマッチングに相対的な単眼深度特性を利用するための2段階学習法を提案する。 DFI-OmniStereoは、実世界のHelvipadデータセット上で最先端の結果を達成し、以前の全方位ステレオ法と比較して、相違MAEを約16%削減する。

関連論文リスト

• Helvipad: A Real-World Dataset for Omnidirectional Stereo Depth Estimation [83.841877607646]
  全方位ステレオ深度推定のための実世界のデータセットであるHelvipadを紹介する。 このデータセットは、3Dポイント雲を等方形画像に投影することで、正確な深度と不均質のラベルを含む。 標準画像と全方位画像のステレオ深度推定モデルをベンチマークする。
  論文  参考訳（メタデータ） (2024-11-27T13:34:41Z)
• Stereo-Depth Fusion through Virtual Pattern Projection [37.519762078762575]
  本稿では,新しい汎用ステレオ・ディープデータ融合パラダイムを提案する。 これは、信頼できない物理パターンプロジェクターを奥行きセンサーに置き換えることで、アクティブなステレオ原理を模倣する。 従来のステレオカメラで取得した左右の画像に、シーン形状と整合した仮想パターンを投影する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:58Z)
• SDGE: Stereo Guided Depth Estimation for 360$^\circ$ Camera Sets [65.64958606221069]
  マルチカメラシステムは、360ドル周の知覚を達成するために、しばしば自律走行に使用される。 360ドル(約3万3000円)のカメラセットは、しばしば制限または低品質のオーバーラップ領域を持ち、画像全体に対してマルチビューステレオメソッドを実現する。 重なりの重なりに多視点ステレオ結果を明示的に利用することにより、全画像の深さ推定を強化するステレオガイド深度推定法(SGDE)を提案する。
  論文  参考訳（メタデータ） (2024-02-19T02:41:37Z)
• Non-learning Stereo-aided Depth Completion under Mis-projection via Selective Stereo Matching [0.5067618621449753]
  一対のステレオ画像で導かれる光検出・測度センサ(LiDAR)を用いて捉えたスパース深度マップの非学習深度補完法を提案する。 提案手法は, 平均絶対誤差(MAE)を0.65倍に減らし, 従来よりも約2倍の精度で推定できることを示した。
  論文  参考訳（メタデータ） (2022-10-04T07:46:56Z)
• PanoDepth: A Two-Stage Approach for Monocular Omnidirectional Depth Estimation [11.66493799838823]
  一方向単分子深度推定のための新しいモデルに依存しない2段階パイプラインを提案する。 筆者らのフレームワークであるPanoDepthは、360度画像を入力として、第1段階で1つ以上の合成されたビューを生成し、原画像と合成されたイメージをその後のステレオマッチングステージに供給する。 以上の結果から,PanoDepthは360度単分子深度推定において,最先端のアプローチよりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-02-02T23:08:06Z)
• Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
  多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。 我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。 本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
  論文  参考訳（メタデータ） (2021-10-11T20:20:03Z)
• H-Net: Unsupervised Attention-based Stereo Depth Estimation Leveraging Epipolar Geometry [4.968452390132676]
  本稿では,教師なしステレオ深度推定のためのディープラーニングフレームワークであるH-Netを紹介する。 初めて、Siameseオートエンコーダアーキテクチャが深さ推定に使用されます。 本手法は,最先端の非監視ステレオ深度推定法を上回っている。
  論文  参考訳（メタデータ） (2021-04-22T19:16:35Z)
• SMD-Nets: Stereo Mixture Density Networks [68.56947049719936]
  SMD-Nets(Stereo Mixture Density Networks)は、幅広い2Dおよび3Dアーキテクチャに対応したシンプルで効果的な学習フレームワークです。 具体的には,バイモーダル混合密度を出力表現として活用し,不連続近傍の鋭く正確な不一致推定を可能にすることを示す。 我々は8Mpx解像度のステレオペアと現実世界のステレオデータセットからなる、新しい高解像度でリアルな合成ステレオデータセットに関する包括的な実験を行う。
  論文  参考訳（メタデータ） (2021-04-08T16:15:46Z)
• OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems [88.41004332322788]
  超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。 より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。 我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
  論文  参考訳（メタデータ） (2020-03-18T05:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。