論文の概要: Semantic Scene Completion via Integrating Instances and Scene in-the-Loop

• arxiv url: http://arxiv.org/abs/2104.03640v1
• Date: Thu, 8 Apr 2021 09:50:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-09 21:56:54.494461
• Title: Semantic Scene Completion via Integrating Instances and Scene in-the-Loop
• Title（参考訳）: 事例とシーンを融合した意味的シーン補完
• Authors: Yingjie Cai, Xuesong Chen, Chao Zhang, Kwan-Yee Lin, Xiaogang Wang, Hongsheng Li
• Abstract要約: Semantic Scene Completionは、単一の視野深度またはRGBD画像から正確なボキセルワイズセマンティクスで完全な3Dシーンを再構築することを目指しています。 本稿では、シーンレベルのセマンティクス情報とインスタンスレベルのセマンティクス情報の両方を利用するScene-Instance-Scene Network(textitSISNet)を提案する。 本手法は, セマンティックなカテゴリが容易に混在している近傍のオブジェクトと同様に, きめ細かい形状の細部を推定できる。
• 参考スコア（独自算出の注目度）: 73.11401855935726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic Scene Completion aims at reconstructing a complete 3D scene with precise voxel-wise semantics from a single-view depth or RGBD image. It is a crucial but challenging problem for indoor scene understanding. In this work, we present a novel framework named Scene-Instance-Scene Network (\textit{SISNet}), which takes advantages of both instance and scene level semantic information. Our method is capable of inferring fine-grained shape details as well as nearby objects whose semantic categories are easily mixed-up. The key insight is that we decouple the instances from a coarsely completed semantic scene instead of a raw input image to guide the reconstruction of instances and the overall scene. SISNet conducts iterative scene-to-instance (SI) and instance-to-scene (IS) semantic completion. Specifically, the SI is able to encode objects' surrounding context for effectively decoupling instances from the scene and each instance could be voxelized into higher resolution to capture finer details. With IS, fine-grained instance information can be integrated back into the 3D scene and thus leads to more accurate semantic scene completion. Utilizing such an iterative mechanism, the scene and instance completion benefits each other to achieve higher completion accuracy. Extensively experiments show that our proposed method consistently outperforms state-of-the-art methods on both real NYU, NYUCAD and synthetic SUNCG-RGBD datasets. The code and the supplementary material will be available at \url{https://github.com/yjcaimeow/SISNet}.
• Abstract（参考訳）: セマンティクスシーンの完成は、単一のビュー深度またはrgbd画像から正確なvoxel-wiseセマンティクスで完全な3dシーンを再構築することを目的としている。 屋内のシーン理解にとって重要な問題だが、難しい問題である。 本稿では,インスタンスレベルとシーンレベルのセマンティクス情報の両方を活用する,scene-instance-scene network(\textit{sisnet})という新しいフレームワークを提案する。 本手法は, セマンティックなカテゴリが容易に混在している近傍のオブジェクトと同様に, きめ細かい形状を推定できる。 重要な洞察は、インスタンスを生の入力画像の代わりに粗い完了したセマンティックシーンから切り離して、インスタンスと全体シーンの再構築を導くことである。 sisnetはscene-to-instance(si)とinstance-to-scene(is)セマンティクス補完を行う。 特に、siは、シーンからインスタンスを効果的に分離するためにオブジェクトの周囲のコンテキストをエンコードすることができ、各インスタンスをより詳細な詳細をキャプチャするために、より高解像度にボクセル化することができる。 ISでは、きめ細かいインスタンス情報を3Dシーンに統合することで、より正確なセマンティックシーンの完成につながる。 このような反復機構を利用することで、シーンとインスタンスの完了は互いに利益をもたらし、より高い完了精度を達成する。 大規模な実験により,提案手法は実際のNYU,NYUCADおよび合成SUNCG-RGBDデータセットにおいて,常に最先端の手法より優れていることが示された。 コードと追加資料は \url{https://github.com/yjcaimeow/SISNet} で入手できる。

関連論文リスト

• Set-the-Scene: Global-Local Training for Generating Controllable NeRF Scenes [68.14127205949073]
  オブジェクトプロキシを用いて3Dシーンを合成するための新しいGlobalLocalトレーニングフレームワークを提案する。 プロキシを使うことで、個々の独立オブジェクトの配置を調整するなど、さまざまな編集オプションが実現可能であることを示す。 その結果,Set-the-Sceneはシーンの合成と操作に強力なソリューションを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-23T17:17:29Z)
• DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis [90.32352050266104]
  DisCoSceneは高品質で制御可能なシーン合成のための3Daware生成モデルである。 グローバルな局所的差別を伴う2次元画像のみを学習することで、シーン全体をオブジェクト中心の生成フィールドに分解する。 挑戦的な屋外データセットを含む多くのシーンデータセットで最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-12-22T18:59:59Z)
• OpenScene: 3D Scene Understanding with Open Vocabularies [73.1411930820683]
  従来の3Dシーン理解アプローチは、単一のタスクのためにモデルをトレーニングするためのラベル付き3Dデータセットに依存している。 私たちは,CLIP機能空間にテキストと画像ピクセルを埋め込んだ3次元シーンポイントの高密度な特徴をモデルが予測する代替手法OpenSceneを提案する。 このゼロショットアプローチは、タスク非依存のトレーニングとオープン語彙クエリを可能にする。
  論文  参考訳（メタデータ） (2022-11-28T18:58:36Z)
• CompNVS: Novel View Synthesis with Scene Completion [83.19663671794596]
  本稿では,スパースグリッドに基づくニューラルシーン表現を用いた生成パイプラインを提案する。 画像特徴を3次元空間に符号化し、幾何学的完備化ネットワークとその後のテクスチャ塗布ネットワークを用いて、欠落した領域を外挿する。 フォトリアリスティック画像列は、整合性関連微分可能レンダリングによって最終的に得られる。
  論文  参考訳（メタデータ） (2022-07-23T09:03:13Z)
• Mix3D: Out-of-Context Data Augmentation for 3D Scenes [33.939743149673696]
  大規模3Dシーンのセグメンテーションのためのデータ拡張手法であるMix3Dを提案する。 実験では、屋内(ScanNet, S3DIS)および屋外データセットにおいて、Mix3Dの利益をトレーニングしたモデルが顕著に向上したことを示す。
  論文  参考訳（メタデータ） (2021-10-05T17:57:45Z)
• Semantic Segmentation-assisted Scene Completion for LiDAR Point Clouds [9.489733900529204]
  本稿では,エンド・ツー・エンドのセマンティックセグメンテーション支援シーン補完ネットワークを提案する。 ネットワークは生の点クラウドを入力として、セグメンテーションブランチから補完ブランチを階層的にマージする。 提案手法は,低レイテンシでセマンティックKITTIデータセット上での競合性能を実現する。
  論文  参考訳（メタデータ） (2021-09-23T15:55:45Z)
• Semantic Scene Completion using Local Deep Implicit Functions on LiDAR Data [4.355440821669468]
  本稿では,シーン補完のための新しい学習手法として,局所的な深層インプリシット関数に基づくシーン分割ネットワークを提案する。 この連続表現は、空間的離散化を必要とせず、広い屋外シーンの幾何学的・意味的な特性を符号化するのに適していることを示す。 実験により,本手法が与えられたシーンの高密度な3次元記述にデコード可能な強力な表現を生成することを確認した。
  論文  参考訳（メタデータ） (2020-11-18T07:39:13Z)
• Semantic Implicit Neural Scene Representations With Semi-Supervised Training [47.61092265963234]
  その結果,暗黙的なシーン表現がポイントごとのセマンティックセマンティックセグメンテーションに活用できることが示唆された。 我々の手法は単純で汎用的で、数個のラベル付き2Dセグメンテーションマスクしか必要としない。 意味的に認識された暗黙的なニューラルシーン表現のための2つの新しい応用を探索する。
  論文  参考訳（メタデータ） (2020-03-28T00:43:17Z)
• Depth Based Semantic Scene Completion with Position Importance Aware Loss [52.06051681324545]
  PALNetはセマンティックシーン補完のための新しいハイブリッドネットワークである。 詳細な深度情報を用いて,多段階から2次元特徴と3次元特徴の両方を抽出する。 オブジェクトのバウンダリやシーンの隅といった重要な詳細を復元することは有益である。
  論文  参考訳（メタデータ） (2020-01-29T07:05:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。