論文の概要: Seg2Reg: Differentiable 2D Segmentation to 1D Regression Rendering for 360 Room Layout Reconstruction

• arxiv url: http://arxiv.org/abs/2311.18695v1
• Date: Thu, 30 Nov 2023 16:42:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 15:45:03.449051
• Title: Seg2Reg: Differentiable 2D Segmentation to 1D Regression Rendering for 360 Room Layout Reconstruction
• Title（参考訳）: seg2reg: 360室レイアウト再構成のための微分可能な2次元セグメンテーションと1次元回帰レンダリング
• Authors: Cheng Sun, Wei-En Tai, Yu-Lin Shih, Kuan-Wei Chen, Yong-Jing Syu, Kent Selwyn The, Yu-Chiang Frank Wang, Hwann-Tzong Chen
• Abstract要約: 2次元分割マップから1次元レイアウト深度を回帰するSeg2Regを提案する。 具体的には,入力正方形360度画像のフロアプラン密度を推定する。 一般化を改善するために,レイアウト上の新しい3Dワープ拡張を提案する。
• 参考スコア（独自算出の注目度）: 31.58900366831744
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: State-of-the-art single-view 360-degree room layout reconstruction methods formulate the problem as a high-level 1D (per-column) regression task. On the other hand, traditional low-level 2D layout segmentation is simpler to learn and can represent occluded regions, but it requires complex post-processing for the targeting layout polygon and sacrifices accuracy. We present Seg2Reg to render 1D layout depth regression from the 2D segmentation map in a differentiable and occlusion-aware way, marrying the merits of both sides. Specifically, our model predicts floor-plan density for the input equirectangular 360-degree image. Formulating the 2D layout representation as a density field enables us to employ `flattened' volume rendering to form 1D layout depth regression. In addition, we propose a novel 3D warping augmentation on layout to improve generalization. Finally, we re-implement recent room layout reconstruction methods into our codebase for benchmarking and explore modern backbones and training techniques to serve as the strong baseline. Our model significantly outperforms previous arts. The code will be made available upon publication.
• Abstract（参考訳）: 最先端のシングルビュー360度部屋レイアウト再構築手法は、高レベルな1D (per-column)レグレッションタスクとして問題を定式化する。 一方、従来の低レベル2次元レイアウトセグメンテーションは学習が簡単で、隠蔽領域を表現できるが、ターゲットレイアウトポリゴンの複雑な後処理を必要とし、精度を犠牲にする。 本稿では,seg2regを用いて2次元セグメンテーションマップから1次元レイアウトの深さ回帰を微分可能かつ咬合対応的に表現し,両者の利点を生かした。 具体的には,入力正方形360度画像のフロアプラン密度を推定する。 2次元レイアウト表現を密度場として定式化することで,‘フラット化’ボリュームレンダリングを用いて1次元レイアウト深さ回帰を生成することができる。 さらに,レイアウトの一般化を改善するために,新しい3次元ウォーピング拡張を提案する。 最後に,最近のroom layout reconstructionメソッドをコードベースに再実装し,ベンチマークを行い,強力なベースラインとして機能する最新のバックボーンとトレーニングテクニックを探求した。 我々のモデルは以前の芸術を大きく上回っている。 コードは公開時に利用可能になる。

関連論文リスト

• Sp2360: Sparse-view 360 Scene Reconstruction using Cascaded 2D Diffusion Priors [51.36238367193988]
  潜時拡散モデル(LDM)を用いた360度3次元シーンのスパースビュー再構成に挑戦する。 SparseSplat360は,未完成の細部を埋めたり,新しいビューをクリーンにするために,インペイントとアーティファクト除去のカスケードを利用する手法である。 提案手法は,9つの入力ビューから360度映像全体を生成する。
  論文  参考訳（メタデータ） (2024-05-26T11:01:39Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• SimpleRecon: 3D Reconstruction Without 3D Convolutions [21.952478592241]
  本稿では,高品質なマルチビュー深度予測に焦点をあてることによって,単純なオフザシェルフ深度融合による高精度な3次元再構成を実現することを示す。 提案手法は,ScanNetと7シーンの3次元再構成において,深度推定と近接的あるいは良好な3次元再構成のための最先端技術に対する大きなリードを達成している。
  論文  参考訳（メタデータ） (2022-08-31T09:46:34Z)
• MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation [91.6658845016214]
  そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。 複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。 その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
  論文  参考訳（メタデータ） (2022-08-18T00:48:15Z)
• Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
  本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。 平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。 提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
  論文  参考訳（メタデータ） (2022-05-05T17:59:55Z)
• 3D-Aware Indoor Scene Synthesis with Depth Priors [62.82867334012399]
  既存の手法では、室内配置や内部の物体の多様さのため、屋内シーンのモデル化に失敗する。 室内のシーンは共通な内在構造を持たず、2次元画像のみを用いるだけでは3次元形状のモデルが適切にガイドできない。
  論文  参考訳（メタデータ） (2022-02-17T09:54:29Z)
• LED2-Net: Monocular 360 Layout Estimation via Differentiable Depth Rendering [59.63979143021241]
  パノラマの地平線上での深度予測問題として360度レイアウト推定のタスクを定式化する。 レイアウトから深度予測への変換を区別できるように、差分可能な深度レンダリング手順を提案します。 提案手法は,360 レイアウトのベンチマークデータセットで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-04-01T15:48:41Z)
• General 3D Room Layout from a Single View by Render-and-Compare [36.94817376590415]
  一つの視点から部屋の3次元レイアウトを再構築する新しい手法を提案する。 データセットはScanNetの293の画像で構成されており、正確な3Dレイアウトで注釈を付けました。
  論文  参考訳（メタデータ） (2020-01-07T16:14:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。