論文の概要: DeepPanoContext: Panoramic 3D Scene Understanding with Holistic Scene Context Graph and Relation-based Optimization

• arxiv url: http://arxiv.org/abs/2108.10743v1
• Date: Tue, 24 Aug 2021 13:55:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-25 15:51:47.259338
• Title: DeepPanoContext: Panoramic 3D Scene Understanding with Holistic Scene Context Graph and Relation-based Optimization
• Title（参考訳）: DeepPanoContext: ホロスティックなシーンコンテキストグラフと関係に基づく最適化によるパノラマ3次元シーン理解
• Authors: Cheng Zhang, Zhaopeng Cui, Cai Chen, Shuaicheng Liu, Bing Zeng, Hujun Bao, Yinda Zhang
• Abstract要約: 本研究では,パノラマ画像から各オブジェクトの3次元空間配置と形状,ポーズ,位置,意味的カテゴリを復元するパノラマ3次元シーン理解手法を提案する。 実験により, この手法は, パノラマシーン理解において, 幾何学的精度とオブジェクト配置の両方の観点から, 既存の手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 66.25948693095604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Panorama images have a much larger field-of-view thus naturally encode enriched scene context information compared to standard perspective images, which however is not well exploited in the previous scene understanding methods. In this paper, we propose a novel method for panoramic 3D scene understanding which recovers the 3D room layout and the shape, pose, position, and semantic category for each object from a single full-view panorama image. In order to fully utilize the rich context information, we design a novel graph neural network based context model to predict the relationship among objects and room layout, and a differentiable relationship-based optimization module to optimize object arrangement with well-designed objective functions on-the-fly. Realizing the existing data are either with incomplete ground truth or overly-simplified scene, we present a new synthetic dataset with good diversity in room layout and furniture placement, and realistic image quality for total panoramic 3D scene understanding. Experiments demonstrate that our method outperforms existing methods on panoramic scene understanding in terms of both geometry accuracy and object arrangement. Code is available at https://chengzhag.github.io/publication/dpc.
• Abstract（参考訳）: パノラマ画像は、通常の視点画像に比べて、自然にリッチなシーンコンテキスト情報をエンコードする視野がはるかに大きいが、従来のシーン理解手法ではうまく利用されていない。 本論文では,パノラマ映像から各物体の3次元空間配置と形状,ポーズ,位置,意味カテゴリーを復元する新しいパノラマ3次元シーン理解手法を提案する。 リッチなコンテキスト情報を十分に活用するために,オブジェクトとルームレイアウトの関係を予測するための新しいグラフニューラルネットワークベースのコンテキストモデルと,高度に設計された対象関数をオンザフライで最適化する微分可能な関係ベースの最適化モジュールを設計した。 既存のデータが不完全な地上の真実か、過度に単純化されたシーンであることを認識し、部屋のレイアウトや家具配置の多様性に優れた、パノラマ3Dシーン理解のためのリアルな画像品質を備えた新しい合成データセットを提示する。 実験により,従来のパノラマシーン理解法よりも,幾何学的精度と物体配置の両面で優れることを示した。 コードはhttps://chengzhag.github.io/publication/dpcで入手できる。

関連論文リスト

• Disentangled 3D Scene Generation with Layout Learning [109.03233745767062]
  本稿では,コンポーネントオブジェクトに絡み合った3Dシーンを生成する手法を提案する。 私たちの重要な洞察は、オブジェクトは空間的に再構成された場合、同じシーンの有効な構成を生成する3Dシーンの一部を見つけることで発見できるということです。 単純さにもかかわらず、我々のアプローチは個々のオブジェクトに3Dシーンを生成することに成功している。
  論文  参考訳（メタデータ） (2024-02-26T18:54:15Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• GraphDreamer: Compositional 3D Scene Synthesis from Scene Graphs [74.98581417902201]
  シーングラフから合成3Dシーンを生成するための新しいフレームワークを提案する。 シーングラフにおけるノード情報とエッジ情報を活用することにより,事前学習したテキスト・画像拡散モデルをよりよく活用する。 GraphDreamerの有効性を検証するために,定性的および定量的な実験を行った。
  論文  参考訳（メタデータ） (2023-11-30T18:59:58Z)
• PanoContext-Former: Panoramic Total Scene Understanding with a Transformer [37.51637352106841]
  パノラマ画像は、周囲の環境についてより深く理解し、より総合的な認識を可能にする。 本稿では,室内環境の総合的理解に先立って深度を用いた新しい手法を提案する。 さらに,写真リアリスティックパノラマ,高忠実度深度画像,正確にアノテートされた部屋レイアウト,配向オブジェクト境界ボックスや形状など,シーン理解のための実世界のデータセットを導入する。
  論文  参考訳（メタデータ） (2023-05-21T16:20:57Z)
• Neural Rendering in a Room: Amodal 3D Understanding and Free-Viewpoint Rendering for the Closed Scene Composed of Pre-Captured Objects [40.59508249969956]
  閉シーンに対するニューラルレンダリングを用いたアモーダル3次元シーン理解の新しいパラダイムに基づいて、そのような人間の知覚能力を模倣する新しいソリューションを提案する。 まず, 閉鎖シーンにおける物体の事前の知識を, オフラインステージを通じて学習し, オンラインステージにおいて, 家具の配置のない部屋の理解を容易にする。 オンライン段階において、異なるレイアウトのシーンのパノラマ画像が与えられた場合、我々は、全体論的ニューラルネットワークに基づく最適化フレームワークを使用して、正しい3Dシーンレイアウトを効率的に推定し、リアルな自由視点レンダリングを提供する。
  論文  参考訳（メタデータ） (2022-05-05T15:34:09Z)
• Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using Deep Shape Priors [69.02332607843569]
  PriSMONetは、単一画像から多目的3Dシーンの分解と表現を学習するための新しいアプローチである。 リカレントエンコーダは、入力されたRGB画像から、各オブジェクトの3D形状、ポーズ、テクスチャの潜時表現を回帰する。 我々は,3次元シーンレイアウトの推測におけるモデルの精度を評価し,その生成能力を実証し,実画像への一般化を評価し,学習した表現の利点を指摘する。
  論文  参考訳（メタデータ） (2020-10-08T14:49:23Z)
• Generative View Synthesis: From Single-view Semantics to Novel-view Images [38.7873192939574]
  ジェネレーティブビュー合成(GVS)は、単一のセマンティックマップが与えられたシーンの複数のフォトリアリスティックビューを合成することができる。 まず、入力された2Dセマンティックマップを、特徴空間内のシーンの3D層表現に持ち上げる。 次に、レイヤー化された特徴を対象のビューに投影し、最終的なノベルビュー画像を生成する。
  論文  参考訳（メタデータ） (2020-08-20T17:48:16Z)
• Perspective Plane Program Induction from a Single Image [85.28956922100305]
  本研究では,自然画像の全体像を推定する逆グラフ問題について検討する。 我々は、この問題を、入力画像の最もよく記述されたカメラポーズとシーン構造を共同で発見するものとして定式化する。 提案するフレームワークであるP3Iは,探索に基づくアルゴリズムと勾配に基づくアルゴリズムを組み合わせて効率よく問題を解く。
  論文  参考訳（メタデータ） (2020-06-25T21:18:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。