論文の概要: Stereo-Depth Fusion through Virtual Pattern Projection

• arxiv url: http://arxiv.org/abs/2406.04345v1
• Date: Thu, 6 Jun 2024 17:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 13:11:04.267849
• Title: Stereo-Depth Fusion through Virtual Pattern Projection
• Title（参考訳）: 仮想パターン投影による立体深度核融合
• Authors: Luca Bartolomei, Matteo Poggi, Fabio Tosi, Andrea Conti, Stefano Mattoccia,
• Abstract要約: 本稿では,新しい汎用ステレオ・ディープデータ融合パラダイムを提案する。 これは、信頼できない物理パターンプロジェクターを奥行きセンサーに置き換えることで、アクティブなステレオ原理を模倣する。 従来のステレオカメラで取得した左右の画像に、シーン形状と整合した仮想パターンを投影する。
• 参考スコア（独自算出の注目度）: 37.519762078762575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a novel general-purpose stereo and depth data fusion paradigm that mimics the active stereo principle by replacing the unreliable physical pattern projector with a depth sensor. It works by projecting virtual patterns consistent with the scene geometry onto the left and right images acquired by a conventional stereo camera, using the sparse hints obtained from a depth sensor, to facilitate the visual correspondence. Purposely, any depth sensing device can be seamlessly plugged into our framework, enabling the deployment of a virtual active stereo setup in any possible environment and overcoming the severe limitations of physical pattern projection, such as the limited working range and environmental conditions. Exhaustive experiments on indoor and outdoor datasets featuring both long and close range, including those providing raw, unfiltered depth hints from off-the-shelf depth sensors, highlight the effectiveness of our approach in notably boosting the robustness and accuracy of algorithms and deep stereo without any code modification and even without re-training. Additionally, we assess the performance of our strategy on active stereo evaluation datasets with conventional pattern projection. Indeed, in all these scenarios, our virtual pattern projection paradigm achieves state-of-the-art performance. The source code is available at: https://github.com/bartn8/vppstereo.
• Abstract（参考訳）: 本稿では、信頼できない物理パターンプロジェクタを深度センサに置き換えることで、アクティブステレオの原理を模倣する新しい汎用ステレオ・深度データ融合パラダイムを提案する。 仮想パターンを従来のステレオカメラで取得した左右の映像に投影し、奥行きセンサーから得られたスパースヒントを用いて視覚的対応を容易にする。 目的として、どんな深度検知装置でも我々のフレームワークにシームレスに接続することができ、仮想的なアクティブステレオ装置を任意の環境に配置し、限られた作業範囲や環境条件などの物理的なパターン投影の厳しい制限を克服することができる。 室内と屋外の両方で、未濾過深度センサから生の未濾過深度ヒントを提供するものを含む、長距離と近距離のデータセットに対する被曝実験は、コード修正も再トレーニングもせずに、アルゴリズムとディープステレオの堅牢性と精度を顕著に向上させることで、我々のアプローチの有効性を強調した。 さらに,従来のパターン投影を用いたアクティブステレオ評価データセットの性能評価を行った。 実際、これらのシナリオすべてにおいて、私たちの仮想パターンプロジェクションパラダイムは最先端のパフォーマンスを達成する。 ソースコードは、https://github.com/bartn8/vppstereo.comで入手できる。

関連論文リスト

• ClearDepth: Enhanced Stereo Perception of Transparent Objects for Robotic Manipulation [18.140839442955485]
  我々は透明物体の立体深度回復のための視覚変換器に基づくアルゴリズムを開発した。 提案手法は,効率的なデータ生成のためのパラメータ整合,ドメイン適応,物理的に現実的なSim2Realシミュレーションを含む。 実世界のシナリオにおけるSim2Realの例外的な一般化性を示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-09-13T15:44:38Z)
• Active Stereo Without Pattern Projector [40.25292494550211]
  本稿では,物理パターンプロジェクタを使わずに,標準受動カメラシステムにアクティブステレオの原理を統合する新しいフレームワークを提案する。 我々は、深度センサから得られたスパース測定に基づいて、左画像と右画像に事実上パターンを投影する。
  論文  参考訳（メタデータ） (2023-09-21T17:59:56Z)
• Visual Attention-based Self-supervised Absolute Depth Estimation using Geometric Priors in Autonomous Driving [8.045833295463094]
  空間的注意とチャネルの注意をすべてのステージに適用する,完全に視覚的注意に基づく奥行き(VADepth)ネットワークを導入する。 VADepthネットワークは、空間的およびチャネル的次元に沿った特徴の依存関係を長距離にわたって連続的に抽出することにより、重要な詳細を効果的に保存することができる。 KITTIデータセットの実験結果は、このアーキテクチャが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2022-05-18T08:01:38Z)
• Multitask AET with Orthogonal Tangent Regularity for Dark Object Detection [84.52197307286681]
  暗黒環境下でのオブジェクト検出を強化するために,新しいマルチタスク自動符号化変換(MAET)モデルを提案する。 自己超越的な方法で、MAETは、現実的な照明劣化変換を符号化して復号することで、本質的な視覚構造を学習する。 我々は,合成および実世界のデータセットを用いて最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2022-05-06T16:27:14Z)
• Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
  多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。 我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。 本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
  論文  参考訳（メタデータ） (2021-10-11T20:20:03Z)
• Self-Supervised Depth Completion for Active Stereo [55.79929735390945]
  アクティブステレオシステムは、低コストで高品質な深度マップのため、ロボット産業で広く利用されている。 これらの深度センサーはステレオアーチファクトに悩まされており、密度の深い深度推定を提供していない。 本稿では, 高精度な深度マップを推定するアクティブステレオシステムのための, 自己監督型深度補完法を提案する。
  論文  参考訳（メタデータ） (2021-10-07T07:33:52Z)
• CodedStereo: Learned Phase Masks for Large Depth-of-field Stereo [24.193656749401075]
  従来のステレオは、画像量と信号対雑音比の基本的なトレードオフに悩まされている。 本稿では,この制限を克服する新たなエンドツーエンド学習手法を提案する。 シミュレーションで画像化できる体積の6倍の増加を示します。
  論文  参考訳（メタデータ） (2021-04-09T23:44:52Z)
• Self-supervised Visual-LiDAR Odometry with Flip Consistency [7.883162238852467]
  自己監督型視覚ライダー・オドメトリー(Self-VLO)フレームワークを提案する。 3dlidarポイントから投影された単眼画像とスパース深度マップの両方を入力として取得する。 エンドツーエンドの学習方法でポーズと深さの推定を生成する。
  論文  参考訳（メタデータ） (2021-01-05T02:42:59Z)
• Polka Lines: Learning Structured Illumination and Reconstruction for Active Stereo [52.68109922159688]
  本稿では,波動光学と幾何光学の両方に依存した,アクティブステレオのための新しい微分可能な画像形成モデルと,新しい三眼再構成ネットワークを提案する。 Polka Lines" を再現ネットワークと組み合わせた共同最適化パターンは, 撮像条件全体にわたって, 最先端のアクティブステレオ深度推定を達成している。
  論文  参考訳（メタデータ） (2020-11-26T04:02:43Z)
• OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems [88.41004332322788]
  超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。 より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。 我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
  論文  参考訳（メタデータ） (2020-03-18T05:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。