論文の概要: Point Cloud Scene Completion with Joint Color and Semantic Estimation from Single RGB-D Image

• arxiv url: http://arxiv.org/abs/2210.05891v1
• Date: Wed, 12 Oct 2022 03:08:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 14:38:48.325546
• Title: Point Cloud Scene Completion with Joint Color and Semantic Estimation from Single RGB-D Image
• Title（参考訳）: 単一RGB-D画像からの共同色と意味推定による点雲シーンの補完
• Authors: Zhaoxuan Zhang, Xiaoguang Han, Bo Dong, Tong Li, Baocai Yin, Xin Yang
• Abstract要約: 本稿では,色付きセマンティック・ポイント・クラウドシーンのボリューム誘導による仕上げのためのプログレッシブ・ビュー・インペインティングの深層強化学習手法を提案する。 提案手法は,3次元シーンのボリューム再構成,2次元RGB-Dとセグメンテーション画像のインペインティング,完成のための複数ビュー選択という3つのモジュールから構成される。
• 参考スコア（独自算出の注目度）: 45.640943637433416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a deep reinforcement learning method of progressive view inpainting for colored semantic point cloud scene completion under volume guidance, achieving high-quality scene reconstruction from only a single RGB-D image with severe occlusion. Our approach is end-to-end, consisting of three modules: 3D scene volume reconstruction, 2D RGB-D and segmentation image inpainting, and multi-view selection for completion. Given a single RGB-D image, our method first predicts its semantic segmentation map and goes through the 3D volume branch to obtain a volumetric scene reconstruction as a guide to the next view inpainting step, which attempts to make up the missing information; the third step involves projecting the volume under the same view of the input, concatenating them to complete the current view RGB-D and segmentation map, and integrating all RGB-D and segmentation maps into the point cloud. Since the occluded areas are unavailable, we resort to a A3C network to glance around and pick the next best view for large hole completion progressively until a scene is adequately reconstructed while guaranteeing validity. All steps are learned jointly to achieve robust and consistent results. We perform qualitative and quantitative evaluations with extensive experiments on the 3D-FUTURE data, obtaining better results than state-of-the-arts.
• Abstract（参考訳）: 本稿では,1枚のRGB-D画像のみを重畳した高画質なシーン再構成を実現するため,色付きセマンティックポイント雲シーン完成のためのプログレッシブ・ビュー・インペインティングの深部強化学習法を提案する。 提案手法は,3次元シーンボリューム再構成,2次元RGB-Dとセグメンテーション画像のインペインティング,複数ビュー選択の3つのモジュールからなる。 1つのRGB-D画像が与えられた場合、まずそのセマンティックセグメンテーションマップを予測し、3Dボリュームブランチを通過して次のビューの描画ステップのガイドとしてボリュームシーン再構築を行ない、3番目のステップでは、入力の同じビューの下でボリュームを投影し、現在のビューRGB-Dとセグメンテーションマップを完成させ、すべてのRGB-Dとセグメンテーションマップをポイントクラウドに統合する。 閉鎖されたエリアは利用できないため、我々はA3Cネットワークを利用して、有効性を確保しつつシーンを適切に再構築するまで、大規模ホール完成のための次のベストビューを段階的に選択する。 すべてのステップは、堅牢で一貫した結果を得るために、共同で学習されます。 3d-futureデータを用いて質的・定量的評価を行い,最新データよりも良好な結果を得た。

関連論文リスト

• Towards Human-Level 3D Relative Pose Estimation: Generalizable, Training-Free, with Single Reference [62.99706119370521]
  人間は、単一のクエリ参照イメージペアのみを与えられたラベル/トレーニングなしで、目に見えないオブジェクトの相対的なポーズを容易に推論することができる。 そこで,本研究では,RGB-D参照から2.5D形状のRGB-D参照,オフザシェルフ微分可能なRGB-D参照,DINOv2のような事前学習モデルからのセマンティックキューを用いた3D一般化可能な相対ポーズ推定手法を提案する。
  論文  参考訳（メタデータ） (2024-06-26T16:01:10Z)
• UNeR3D: Versatile and Scalable 3D RGB Point Cloud Generation from 2D Images in Unsupervised Reconstruction [2.7848140839111903]
  UNeR3Dは、2Dビューのみから詳細な3D再構成を生成するための新しい標準を設定している。 私たちのモデルは、教師付きアプローチに関連するトレーニングコストを大幅に削減します。 UNeR3Dはシームレスな色遷移を保証し、視力を高める。
  論文  参考訳（メタデータ） (2023-12-10T15:18:55Z)
• $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D Reconstruction [97.06927852165464]
  単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。 条件付き偏光拡散プロセスによりスパース点雲を生成する単一像3次元再構成法を提案する。
  論文  参考訳（メタデータ） (2023-02-21T13:37:07Z)
• SSR-2D: Semantic 3D Scene Reconstruction from 2D Images [54.46126685716471]
  本研究では,3Dアノテーションを使わずにセマンティックなシーン再構成を行う中心的な3Dシーンモデリングタスクについて検討する。 提案手法の鍵となる考え方は,不完全な3次元再構成と対応するRGB-D画像の両方を用いたトレーニング可能なモデルの設計である。 本研究では,2つの大規模ベンチマークデータセットであるMatterPort3DとScanNetに対して,セマンティックシーン補完の最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-02-07T17:47:52Z)
• CompNVS: Novel View Synthesis with Scene Completion [83.19663671794596]
  本稿では,スパースグリッドに基づくニューラルシーン表現を用いた生成パイプラインを提案する。 画像特徴を3次元空間に符号化し、幾何学的完備化ネットワークとその後のテクスチャ塗布ネットワークを用いて、欠落した領域を外挿する。 フォトリアリスティック画像列は、整合性関連微分可能レンダリングによって最終的に得られる。
  論文  参考訳（メタデータ） (2022-07-23T09:03:13Z)
• Panoptic 3D Scene Reconstruction From a Single RGB Image [24.960786016915105]
  単一の画像から3Dシーンを理解することは、ロボット工学、モーションプランニング、拡張現実など、幅広いタスクの基本である。 2次元パノプティカルセグメンテーションに着想を得て,幾何学的再構成,3次元セマンティックセグメンテーション,および3次元インスタンスセグメンテーションのタスクをパノプティカル3Dシーンコンストラクションのタスクに統合することを提案する。 共同シーンの再構築,セマンティック,インスタンスセグメンテーションのこの全体的視点は,タスクを個別に扱うよりも有益であることを示す。
  論文  参考訳（メタデータ） (2021-11-03T18:06:38Z)
• Semantic Dense Reconstruction with Consistent Scene Segments [33.0310121044956]
  RGB-Dシーケンスから高レベルなシーン理解タスクを解くために,RGB-Dシーケンスから高密度なセマンティック3Dシーンを再構築する手法を提案する。 まず、各RGB-Dペアは、カメラ追跡バックボーンに基づいて、一貫して2Dセマンティックマップに分割される。 入力されたRGB-Dシーケンスから未知環境の高密度3Dメッシュモデルを漸進的に生成する。
  論文  参考訳（メタデータ） (2021-09-30T03:01:17Z)
• Refer-it-in-RGBD: A Bottom-up Approach for 3D Visual Grounding in RGBD Images [69.5662419067878]
  RGBD画像における接地参照表現は新たな分野である。 本稿では,参照する物体が閉塞により部分的にスキャンされる場合が多い単視点rgbd画像における3次元視覚グランド化の新たな課題を提案する。 提案手法はまず,RGBD画像内の関連領域をローカライズするヒートマップを生成するために,下層の言語と視覚的特徴を融合させる。 次に、ヒートマップに基づく適応的特徴学習を行い、他のビジオ言語融合とオブジェクトレベルのマッチングを行い、最後に参照したオブジェクトを接地する。
  論文  参考訳（メタデータ） (2021-03-14T11:18:50Z)
• RGBD-Net: Predicting color and depth images for novel views synthesis [46.233701784858184]
  RGBD-Netは,対象のポーズの深度マップとカラーイメージをマルチスケールで予測するために提案される。 その結果、RGBD-Netは、これまで見つからなかったデータに対してよく一般化されていることが示唆された。
  論文  参考訳（メタデータ） (2020-11-29T16:42:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。