論文の概要: LGT-Net: Indoor Panoramic Room Layout Estimation with Geometry-Aware
Transformer Network
- arxiv url: http://arxiv.org/abs/2203.01824v1
- Date: Thu, 3 Mar 2022 16:28:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-04 16:08:04.002260
- Title: LGT-Net: Indoor Panoramic Room Layout Estimation with Geometry-Aware
Transformer Network
- Title(参考訳): lgt-net:geometry-aware transformer networkを用いた室内パノラマルームレイアウト推定
- Authors: Zhigang Jiang, Zhongzheng Xiang, Jinhua Xu, Ming Zhao
- Abstract要約: 部屋レイアウト推定のための効率的なネットワークLGT-Netを提案する。
実験の結果,提案したLGT-Netは,ベンチマークデータセット上での現在のSOTA(State-of-the-arts)よりも優れたパフォーマンスを実現することがわかった。
- 参考スコア(独自算出の注目度): 1.3512949730789903
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D room layout estimation by a single panorama using deep neural networks has
made great progress. However, previous approaches can not obtain efficient
geometry awareness of room layout with the only latitude of boundaries or
horizon-depth. We present that using horizon-depth along with room height can
obtain omnidirectional-geometry awareness of room layout in both horizontal and
vertical directions. In addition, we propose a planar-geometry aware loss
function with normals and gradients of normals to supervise the planeness of
walls and turning of corners. We propose an efficient network, LGT-Net, for
room layout estimation, which contains a novel Transformer architecture called
SWG Transformer to model geometry relations. SWG Transformer consists of
(Shifted) Window Blocks and Global Blocks to combine the local and global
geometry relations. Moreover, we design a novel relative position embedding of
Transformer to enhance the spatial identification ability for the panorama.
Experiments show that the proposed LGT-Net achieves better performance than
current state-of-the-arts (SOTA) on benchmark datasets.
- Abstract(参考訳): 深層ニューラルネットワークを用いた単一パノラマによる3次元室内レイアウト推定は大きな進歩を遂げている。
しかし, 従来の手法では, 境界の緯度や地平線深度のみで, 部屋配置の効率的な幾何学的認識が得られなかった。
本研究では,水平方向と垂直方向の両方で水平方向と垂直方向の空間配置を全方位で認識できることを示す。
さらに,正規化と正規化の勾配を考慮した平面幾何学的損失関数を提案し,壁面と角の回転を監督する。
SWG変換器(SWG Transformer)と呼ばれる新しいトランスフォーマーアーキテクチャを用いて,空間配置推定のための効率的なネットワークLGT-Netを提案する。
SWG変換器は(シフト)ウィンドウブロックとグローバルブロックで構成され、局所的およびグローバルな幾何学的関係を結合する。
さらに,パノラマの空間識別能力を高めるために,トランスの相対的位置埋め込みを新たに設計する。
実験により,提案したLGT-Netは,ベンチマークデータセット上での現在の最先端技術(SOTA)よりも優れた性能を実現することが示された。
関連論文リスト
- Atlanta Scaled layouts from non-central panoramas [5.2178708158547025]
非中央取得システムを用いた屋内環境の3次元レイアウト復元のための新しい手法を提案する。
我々のアプローチは、非中央パノラマのディープラーニングと、単一パノラマからスケールしたレイアウトを復元する最初の試みである。
論文 参考訳(メタデータ) (2024-01-30T14:39:38Z) - DSVT: Dynamic Sparse Voxel Transformer with Rotated Sets [95.84755169585492]
本研究では,屋外3次元知覚のためのシングルストライドウィンドウベースのボクセルトランスであるDynamic Sparse Voxel Transformer (DSVT)を提案する。
本モデルでは,3次元認識タスクを多岐にわたって行うことにより,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-01-15T09:31:58Z) - Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud
Analysis [66.49788145564004]
我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。
我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
論文 参考訳(メタデータ) (2022-12-17T15:05:25Z) - End-to-end Graph-constrained Vectorized Floorplan Generation with
Panoptic Refinement [16.103152098205566]
本研究では,1次元ベクトルのシーケンスとしてフロアプランを合成することを目的としている。
最初の段階では,ユーザが入力した部屋接続グラフをGCN(Graphal Network)でエンコードし,自動回帰トランスフォーマネットワークを適用して初期フロアプランを生成する。
初期設計を洗練し、より視覚的に魅力的なフロアプランを生成するために、GCNとトランスフォーマーネットワークからなる新しい汎視補正ネットワーク(PRN)を提案する。
論文 参考訳(メタデータ) (2022-07-27T03:19:20Z) - 3D Room Layout Estimation from a Cubemap of Panorama Image via Deep
Manhattan Hough Transform [17.51123287432334]
学習可能なハフ変換ブロックにおける長距離幾何学的パターンをモデル化することにより、3次元空間の壁面を推定する別の手法を提案する。
我々は、この特徴を立方体写像タイルからマンハッタン世界のハフ空間に変換し、その特徴を直接幾何学的出力にマッピングする。
畳み込み層は局所勾配のような線の特徴を学習するだけでなく、グローバル情報を利用して単純なネットワーク構造で閉塞壁を予測する。
論文 参考訳(メタデータ) (2022-07-19T14:22:28Z) - GitNet: Geometric Prior-based Transformation for Birds-Eye-View
Segmentation [105.19949897812494]
Birds-eye-view (BEV) セマンティックセマンティックセグメンテーションは自動運転に不可欠である。
本稿では,GitNetという新しい2段階のGeometry Preside-based Transformationフレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-16T06:46:45Z) - Neural Convolutional Surfaces [59.172308741945336]
この研究は、大域的、粗い構造から、微細で局所的で、おそらく繰り返される幾何学を歪める形状の表現に関係している。
このアプローチは, 最先端技術よりも優れたニューラル形状圧縮を実現するとともに, 形状詳細の操作と伝達を可能にする。
論文 参考訳(メタデータ) (2022-04-05T15:40:11Z) - Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。
本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。
本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
論文 参考訳(メタデータ) (2021-12-14T13:14:24Z) - Learning to Reconstruct 3D Non-Cuboid Room Layout from a Single RGB
Image [32.5277483805739]
単一画像から部屋の囲い3次元構造を再構築することを目的としている。
本稿では,室内のより一般的な仮定,すなわち1つの天井,1つの床,2つの垂直壁からなる部屋配置について考察する。
論文 参考訳(メタデータ) (2021-04-16T09:24:08Z) - LED2-Net: Monocular 360 Layout Estimation via Differentiable Depth
Rendering [59.63979143021241]
パノラマの地平線上での深度予測問題として360度レイアウト推定のタスクを定式化する。
レイアウトから深度予測への変換を区別できるように、差分可能な深度レンダリング手順を提案します。
提案手法は,360 レイアウトのベンチマークデータセットで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2021-04-01T15:48:41Z) - GeoLayout: Geometry Driven Room Layout Estimation Based on Depth Maps of
Planes [18.900646770506256]
レイアウト推定のための深層学習に幾何学的推論を取り入れることを提案する。
提案手法では,画素レベルの表面パラメータを推定することにより,シーン内の支配面の深さマップを推測する。
支配平面の画素レベル深度アノテーションを用いた新しいデータセットを提案する。
論文 参考訳(メタデータ) (2020-08-14T10:34:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。