論文の概要: Calibrating Panoramic Depth Estimation for Practical Localization and
Mapping
- arxiv url: http://arxiv.org/abs/2308.14005v1
- Date: Sun, 27 Aug 2023 04:50:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 17:35:52.423936
- Title: Calibrating Panoramic Depth Estimation for Practical Localization and
Mapping
- Title（参考訳）: パノラマ深度のキャリブレーションによる実用的位置推定とマッピング
- Authors: Junho Kim, Eun Sun Lee, Young Min Kim
- Abstract要約: 周囲環境の絶対深度値は, 局所化, ナビゲーション, 3次元構造推定など, 様々な補助技術にとって重要な手がかりとなる。
本研究では,パノラマ画像から推定される精度の高い深度が,3次元情報を必要とする幅広い下流タスクに対して,強力で軽量な入力として機能することを提案する。
- 参考スコア（独自算出の注目度）: 20.621442016969976
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The absolute depth values of surrounding environments provide crucial cues
for various assistive technologies, such as localization, navigation, and 3D
structure estimation. We propose that accurate depth estimated from panoramic
images can serve as a powerful and light-weight input for a wide range of
downstream tasks requiring 3D information. While panoramic images can easily
capture the surrounding context from commodity devices, the estimated depth
shares the limitations of conventional image-based depth estimation; the
performance deteriorates under large domain shifts and the absolute values are
still ambiguous to infer from 2D observations. By taking advantage of the
holistic view, we mitigate such effects in a self-supervised way and fine-tune
the network with geometric consistency during the test phase. Specifically, we
construct a 3D point cloud from the current depth prediction and project the
point cloud at various viewpoints or apply stretches on the current input image
to generate synthetic panoramas. Then we minimize the discrepancy of the 3D
structure estimated from synthetic images without collecting additional data.
We empirically evaluate our method in robot navigation and map-free
localization where our method shows large performance enhancements. Our
calibration method can therefore widen the applicability under various external
conditions, serving as a key component for practical panorama-based machine
vision systems.
- Abstract（参考訳）: 周辺環境の絶対深度値は, 位置推定, ナビゲーション, 3次元構造推定など, 様々な支援技術にとって重要な手がかりとなる。
本研究では,パノラマ画像から推定された精度の高い深度を3d情報を必要とする幅広い下流タスクに対して強力で軽量な入力として利用できることを示す。
パノラマ画像はコモディティ機器から周囲の状況を容易に捉えることができるが、推定深度は従来の画像に基づく深度推定の限界と一致する。
総合的な視点を生かして,このような効果を自己教師ありの方法で緩和し,テストフェーズ中に幾何学的一貫性を持つネットワークを微調整する。
具体的には、現在の深度予測から3次元点雲を構築し、様々な視点で点雲を投影するか、あるいは現在の入力画像にストレッチを適用して合成パノラマを生成する。
そして, 合成画像から推定した3次元構造のばらつきを, 付加データを集めることなく最小化する。
本手法は,ロボットナビゲーションとマップフリーローカライズにおいて,大規模性能向上を示すため,実証的に評価する。
したがって, キャリブレーション法は, 様々な外部条件下で適用範囲を広げ, パノラマベースマシンビジョンシステムにおいて重要な要素となる。
関連論文リスト
- Refinement of Monocular Depth Maps via Multi-View Differentiable Rendering [4.717325308876748]
本稿では,複数の画像から一貫した詳細な深度マップを生成するための新しい手法を提案する。
我々は、位相的に完全だが計量的に不正確な深度マップを生成する単眼深度推定の進歩を活用する。
提案手法は,高密度で詳細で高品質な深度マップを作成でき,また屋内シナリオの挑戦も可能であり,最先端の深度復元手法よりも優れている。
論文 参考訳（メタデータ） (2024-10-04T18:50:28Z) - Incorporating dense metric depth into neural 3D representations for view synthesis and relighting [25.028859317188395]
ロボット応用では、密度の深い距離の深さをステレオで直接測定することができ、照明を制御できる。
本研究は,ニューラルネットワークによる3次元表現のトレーニングに高密度な距離深度を組み込む手法を実証する。
また、パイプラインに必要なデータを取得し、リライティングとビュー合成の結果を示すために開発されたマルチフラッシュステレオカメラシステムについても論じる。
論文 参考訳（メタデータ） (2024-09-04T20:21:13Z) - GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。
提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
論文 参考訳（メタデータ） (2024-05-17T07:31:20Z) - MSI-NeRF: Linking Omni-Depth with View Synthesis through Multi-Sphere Image aided Generalizable Neural Radiance Field [1.3162012586770577]
深層学習全方位深度推定と新しいビュー合成を組み合わせたMSI-NeRFを提案する。
入力画像の特徴抽出とワープにより,コストボリュームとして多面体画像を構築する。
ネットワークには,4つの画像のみを用いて未知のシーンを効率的に再構築する一般化機能がある。
論文 参考訳（メタデータ） (2024-03-16T07:26:50Z) - Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from
Depth Maps [66.24554680709417]
協調環境における労働者とロボットの正確な3D位置を知ることは、いくつかの実際のアプリケーションを可能にする。
本研究では、深度デバイスと深度ニューラルネットワークに基づく非侵襲的なフレームワークを提案し、外部カメラからロボットの3次元ポーズを推定する。
論文 参考訳（メタデータ） (2022-07-06T08:52:12Z) - Visual Attention-based Self-supervised Absolute Depth Estimation using
Geometric Priors in Autonomous Driving [8.045833295463094]
空間的注意とチャネルの注意をすべてのステージに適用する,完全に視覚的注意に基づく奥行き(VADepth)ネットワークを導入する。
VADepthネットワークは、空間的およびチャネル的次元に沿った特徴の依存関係を長距離にわたって連続的に抽出することにより、重要な詳細を効果的に保存することができる。
KITTIデータセットの実験結果は、このアーキテクチャが最先端のパフォーマンスを達成することを示している。
論文 参考訳（メタデータ） (2022-05-18T08:01:38Z) - TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view
Stereo [55.30992853477754]
本稿では,リアルタイムな単分子追跡と高密度フレームワークであるTANDEMを紹介する。
ポーズ推定のために、TANDEMはアライメントのスライディングウィンドウに基づいて光度バンドル調整を行う。
TANDEMは最先端のリアルタイム3D再構成性能を示す。
論文 参考訳（メタデータ） (2021-11-14T19:01:02Z) - Panoramic Depth Estimation via Supervised and Unsupervised Learning in
Indoor Scenes [8.48364407942494]
パノラマ画像を導入して視野を大きくする。
パノラマ画像の特徴に適応したニューラルネットワークのトレーニングプロセスを改善する。
本研究は, 総合的な実験により, 屋内シーンの認識を目的とした提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-08-18T09:58:44Z) - Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
カラービデオから多フレーム深度を推定する新しい学習手法を提案する。
本手法は深度推定精度において最先端の手法より優れる。
論文 参考訳（メタデータ） (2020-04-02T07:10:45Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-27T21:28:54Z) - OmniSLAM: Omnidirectional Localization and Dense Mapping for
Wide-baseline Multi-camera Systems [88.41004332322788]
超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。
より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。
我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
論文 参考訳（メタデータ） (2020-03-18T05:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。