論文の概要: OccDepth: A Depth-Aware Method for 3D Semantic Scene Completion

• arxiv url: http://arxiv.org/abs/2302.13540v1
• Date: Mon, 27 Feb 2023 06:35:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-28 16:43:29.636577
• Title: OccDepth: A Depth-Aware Method for 3D Semantic Scene Completion
• Title（参考訳）: occdepth:3次元意味シーン補完のための奥行き認識手法
• Authors: Ruihang Miao, Weizhou Liu, Mingrui Chen, Zheng Gong, Weixin Xu, Chen Hu, Shuchang Zhou
• Abstract要約: 3Dセマンティックシーンコンプリート(SSC)は、自律運転やロボットシステムの分野に適用可能な、密集した幾何学的および意味的なシーン表現を提供することができる。 ステレオ画像(またはRGBD画像)から暗黙的な深度情報をフル活用して3次元形状の復元を支援する,OccDepth という最初のステレオSSC手法を提案する。
• 参考スコア（独自算出の注目度）: 6.297023466646343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D Semantic Scene Completion (SSC) can provide dense geometric and semantic scene representations, which can be applied in the field of autonomous driving and robotic systems. It is challenging to estimate the complete geometry and semantics of a scene solely from visual images, and accurate depth information is crucial for restoring 3D geometry. In this paper, we propose the first stereo SSC method named OccDepth, which fully exploits implicit depth information from stereo images (or RGBD images) to help the recovery of 3D geometric structures. The Stereo Soft Feature Assignment (Stereo-SFA) module is proposed to better fuse 3D depth-aware features by implicitly learning the correlation between stereo images. In particular, when the input are RGBD image, a virtual stereo images can be generated through original RGB image and depth map. Besides, the Occupancy Aware Depth (OAD) module is used to obtain geometry-aware 3D features by knowledge distillation using pre-trained depth models. In addition, a reformed TartanAir benchmark, named SemanticTartanAir, is provided in this paper for further testing our OccDepth method on SSC task. Compared with the state-of-the-art RGB-inferred SSC method, extensive experiments on SemanticKITTI show that our OccDepth method achieves superior performance with improving +4.82% mIoU, of which +2.49% mIoU comes from stereo images and +2.33% mIoU comes from our proposed depth-aware method. Our code and trained models are available at https://github.com/megvii-research/OccDepth.
• Abstract（参考訳）: 3Dセマンティックシーンコンプリート(SSC)は、自律運転やロボットシステムの分野に適用可能な、密集した幾何学的および意味的なシーン表現を提供することができる。 視覚画像のみからシーンの完全な形状と意味を推定することは困難であり、正確な深度情報は3次元幾何の復元に不可欠である。 本稿では,ステレオ画像(またはrgbd画像)からの暗黙的奥行き情報を十分に活用し,3次元幾何構造の復元を支援するoccdepthという最初のステレオssc手法を提案する。 Stereo Soft Feature Assignment (Stereo-SFA) モジュールはステレオ画像間の相関を暗黙的に学習することで3次元深度認識機能を融合させる。 特に、入力がRGBD画像の場合、元のRGB画像と深さマップを介して仮想ステレオ画像を生成することができる。 さらに,OADモジュールを用いて,事前学習深度モデルを用いた知識蒸留による幾何学的3D特徴量を求める。 また,SSCタスク上でのOccDepth法のさらなるテストのために,SemanticTartanAirという改良されたTartanAirベンチマークが提供される。 現状のRGB推論SSC法と比較すると,OccDepth法は4.82% mIoU,+2.49% mIoUはステレオ画像,+2.33% mIoUは2.33% mIoUよりも優れた性能を示す。 私たちのコードとトレーニングされたモデルは、https://github.com/megvii-research/occdepthで利用可能です。

関連論文リスト

• SSR-2D: Semantic 3D Scene Reconstruction from 2D Images [54.46126685716471]
  本研究では,3Dアノテーションを使わずにセマンティックなシーン再構成を行う中心的な3Dシーンモデリングタスクについて検討する。 提案手法の鍵となる考え方は,不完全な3次元再構成と対応するRGB-D画像の両方を用いたトレーニング可能なモデルの設計である。 本研究では,2つの大規模ベンチマークデータセットであるMatterPort3DとScanNetに対して,セマンティックシーン補完の最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-02-07T17:47:52Z)
• Learning Pseudo Front Depth for 2D Forward-Looking Sonar-based Multi-view Stereo [5.024813922014977]
  水中ロボット工学の分野では,2次元前方ソナーから音響画像の欠落した次元情報を取得することがよく知られている。 本稿では,3次元情報を推定する新しい学習型多視点ステレオ手法を提案する。
  論文  参考訳（メタデータ） (2022-07-30T14:35:21Z)
• Beyond Visual Field of View: Perceiving 3D Environment with Echoes and Vision [51.385731364529306]
  本稿では,エコーとRGB画像を用いた3次元環境の知覚とナビゲーションに焦点を当てた。 特に、複数の方向から受信したエコーでRGB画像を融合して深度推定を行う。 本稿では,RGB像を補完する3次元構造について,エコーが包括的かつ包括的情報を提供することを示す。
  論文  参考訳（メタデータ） (2022-07-03T22:31:47Z)
• DSGN++: Exploiting Visual-Spatial Relation forStereo-based 3D Detectors [60.88824519770208]
  カメラベースの3Dオブジェクト検出器は、LiDARセンサーよりも広い展開と低価格のため歓迎されている。 我々は3次元幾何学と意味論の両方を表現するステレオボリューム構造について、以前のステレオモデリングDSGNを再考する。 本稿では,2次元から3次元のパイプラインを通しての情報フローを改善することを目的としたDSGN++を提案する。
  論文  参考訳（メタデータ） (2022-04-06T18:43:54Z)
• 3D-Aware Indoor Scene Synthesis with Depth Priors [62.82867334012399]
  既存の手法では、室内配置や内部の物体の多様さのため、屋内シーンのモデル化に失敗する。 室内のシーンは共通な内在構造を持たず、2次元画像のみを用いるだけでは3次元形状のモデルが適切にガイドできない。
  論文  参考訳（メタデータ） (2022-02-17T09:54:29Z)
• Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
  多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。 我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。 本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
  論文  参考訳（メタデータ） (2021-10-11T20:20:03Z)
• RTS3D: Real-time Stereo 3D Detection from 4D Feature-Consistency Embedding Space for Autonomous Driving [3.222802562733787]
  RTS3Dというステレオ画像から効率的かつ高精度な3次元物体検出法を提案する。 KITTIベンチマークの実験は、RTS3Dがステレオ画像3D検出のための最初の真のリアルタイムシステムであることを示しています。
  論文  参考訳（メタデータ） (2020-12-30T07:56:37Z)
• MeshMVS: Multi-View Stereo Guided Mesh Reconstruction [35.763452474239955]
  深層学習に基づく3次元形状生成法は、一般的に、カラー画像から抽出した潜時特徴を利用して、オブジェクトの意味を符号化する。 本稿では,多視点ステレオの中間深度表現の特徴を利用して,幾何情報を明確に取り入れたマルチビューメッシュ生成手法を提案する。 その結果,シェーファー距離が34%減少し,F1スコアが14%増加し,最先端のマルチビュー形状生成法よりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-10-17T00:51:21Z)
• DSGN: Deep Stereo Geometry Network for 3D Object Detection [79.16397166985706]
  画像ベースとLiDARベースの3Dオブジェクト検出器の間には大きなパフォーマンスギャップがある。 我々の手法であるDeep Stereo Geometry Network (DSGN)は,このギャップを著しく低減する。 初めて、シンプルで効果的な1段ステレオベースの3D検出パイプラインを提供する。
  論文  参考訳（メタデータ） (2020-01-10T11:44:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。