Fugu-MT 論文翻訳(概要): Self-supervised 360$^{\circ}$ Room Layout Estimation

論文の概要: Self-supervised 360$^{\circ}$ Room Layout Estimation

arxiv url: http://arxiv.org/abs/2203.16057v1
Date: Wed, 30 Mar 2022 04:58:07 GMT
ステータス: 処理完了
システム内更新日: 2022-03-31 15:05:51.177971
Title: Self-supervised 360$^{\circ}$ Room Layout Estimation
Title（参考訳）: 自己教師付き360$^{\circ}$ルームレイアウト推定
Authors: Hao-Wen Ting, Cheng Sun, Hwann-Tzong Chen
Abstract要約: ラベル付きデータを使わずにパノラマ的な部屋配置推定モデルを訓練するための,最初の自己教師方式を提案する。弊社のアプローチでは、データ共有シナリオとアクティブラーニングにおける有望なソリューションも示しています。
参考スコア（独自算出の注目度）: 20.062713286961326
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present the first self-supervised method to train panoramic room layout estimation models without any labeled data. Unlike per-pixel dense depth that provides abundant correspondence constraints, layout representation is sparse and topological, hindering the use of self-supervised reprojection consistency on images. To address this issue, we propose Differentiable Layout View Rendering, which can warp a source image to the target camera pose given the estimated layout from the target image. As each rendered pixel is differentiable with respect to the estimated layout, we can now train the layout estimation model by minimizing reprojection loss. Besides, we introduce regularization losses to encourage Manhattan alignment, ceiling-floor alignment, cycle consistency, and layout stretch consistency, which further improve our predictions. Finally, we present the first self-supervised results on ZilloIndoor and MatterportLayout datasets. Our approach also shows promising solutions in data-scarce scenarios and active learning, which would have an immediate value in the real estate virtual tour software. Code is available at https://github.com/joshua049/Stereo-360-Layout.
Abstract（参考訳）: ラベル付きデータを使わずにパノラマ部屋配置推定モデルを訓練するための,最初の自己教師方式を提案する。豊富な対応制約を提供する画素ごとの濃密な深さとは異なり、レイアウト表現はスパースでトポロジカルであり、画像に対する自己教師付き再投影の一貫性を妨げている。この問題に対処するために,対象画像から推定レイアウトが与えられた場合,対象カメラのポーズにソース画像をワープできる微分レイアウトレンダリングを提案する。各レンダリングピクセルは推定レイアウトに対して微分可能であるため、再投影損失を最小限に抑えてレイアウト推定モデルを訓練することができる。さらに,マンハッタンアライメント,天井床アライメント,サイクル一貫性,レイアウトストレッチ一貫性を促進するために正規化損失を導入し,予測をさらに改善した。最後に、ZilloIndoorとMatterportLayoutのデータセット上で、最初の自己教師型結果を示す。私たちのアプローチでは、データ収集シナリオやアクティブラーニングにおける有望なソリューションも示しています。コードはhttps://github.com/joshua049/stereo-360-layoutで入手できる。

関連論文リスト

360 Layout Estimation via Orthogonal Planes Disentanglement and Multi-view Geometric Consistency Perception [56.84921040837699]
既存のパノラマ配置推定ソリューションは、垂直圧縮されたシーケンスから部屋の境界を復元し、不正確な結果をもたらす傾向にある。そこで本稿では,直交平面不整合ネットワーク(DOPNet)を提案し,あいまいな意味論を識別する。また,水平深度と比表現に適した教師なし適応手法を提案する。本手法は,単分子配置推定と多視点レイアウト推定の両タスクにおいて,他のSoTAモデルよりも優れる。
論文参考訳（メタデータ） (2023-12-26T12:16:03Z)
Diagnostic Benchmark and Iterative Inpainting for Layout-Guided Image Generation [147.81509219686419]
本研究では,空間制御の4つの分野(数,位置,サイズ,形状)について,レイアウト誘導画像生成のための診断ベンチマークを提案する。次に,新しいベースラインであるIterInpaintを提案する。本研究はIterInpaintに関する総合的アブレーション研究である。
論文参考訳（メタデータ） (2023-04-13T16:58:33Z)
Generalizable Person Re-Identification via Viewpoint Alignment and Fusion [74.30861504619851]
本研究は,3次元高密度ポーズ推定モデルとテクスチャマッピングモジュールを用いて,歩行者画像を標準視像にマッピングすることを提案する。テクスチャマッピングモジュールの不完全性のため、標準ビュー画像は、原画像から識別的な詳細手がかりを失う可能性がある。提案手法は,各種評価設定における既存手法よりも優れた性能が得られることを示す。
論文参考訳（メタデータ） (2022-12-05T16:24:09Z)
360-MLC: Multi-view Layout Consistency for Self-training and Hyper-parameter Tuning [40.93848397359068]
モノクラールームモデルを微調整するための多視点レイアウト整合性に基づく自己学習手法である360-MLCを提案する。我々は,複数のレイアウト推定におけるエントロピー情報を定量的な指標として活用し,シーンの幾何的整合性を測定する。
論文参考訳（メタデータ） (2022-10-24T03:31:48Z)
Transferable End-to-end Room Layout Estimation via Implicit Encoding [34.99591465853653]
一つのパノラマ画像から部屋のレイアウトを推定する問題について検討する。入力パノラマ画像からパラメトリックレイアウトを直接予測するエンドツーエンド手法を提案する。
論文参考訳（メタデータ） (2021-12-21T16:33:14Z)
360-DFPE: Leveraging Monocular 360-Layouts for Direct Floor Plan Estimation [43.56963653723287]
能動センサや3D情報に頼ることなく,360-DFPEを直接入力として利用するシーケンシャルフロアプラン推定法である360-DFPEを提案する。以上の結果から, 現状のアルゴリズムに対して, 単分子解が良好な性能を達成できることが示唆された。
論文参考訳（メタデータ） (2021-12-12T08:36:41Z)
SSH: A Self-Supervised Framework for Image Harmonization [97.16345684998788]
我々は、編集せずに「自由」な自然画像だけで訓練できる新しい自己改善調和フレームワーク(SSH)を提案する。提案したSSHは,基準指標,視覚的品質,主観的ユーザスタディにおいて,従来の最先端手法よりも優れていた。
論文参考訳（メタデータ） (2021-08-15T19:51:33Z)
LED2-Net: Monocular 360 Layout Estimation via Differentiable Depth Rendering [59.63979143021241]
パノラマの地平線上での深度予測問題として360度レイアウト推定のタスクを定式化する。レイアウトから深度予測への変換を区別できるように、差分可能な深度レンダリング手順を提案します。提案手法は,360 レイアウトのベンチマークデータセットで最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2021-04-01T15:48:41Z)
Lift, Splat, Shoot: Encoding Images From Arbitrary Camera Rigs by Implicitly Unprojecting to 3D [100.93808824091258]
本稿では,任意の数のカメラから映像データを与えられたシーンの鳥眼ビュー表現を直接抽出するエンド・ツー・エンドアーキテクチャを提案する。我々のアプローチは、それぞれの画像をそれぞれのカメラのフラストラムに個別に“リフト”し、すべてのフラストラムを鳥の目視格子に“プレート”することです。提案モデルにより推定される表現は,テンプレートトラジェクトリを鳥眼ビューのコストマップに"撮影"することで,終末動作計画の解釈を可能にすることを示す。
論文参考訳（メタデータ） (2020-08-13T06:29:01Z)
MonoLayout: Amodal scene layout from a single image [12.466845447851377]
運転プラットフォームから1枚のカラー画像が得られた場合,道路の鳥眼視線配置を予測することを目的としている。我々はこの問題を,シーンレイアウトの「ハロシン化」を伴う,シーンレイアウト推定に用いている。この目的のために,リアルタイムなアモーダルシーンレイアウト推定のためのディープニューラルネットワークMonoを提案する。
論文参考訳（メタデータ） (2020-02-19T19:16:34Z)
General 3D Room Layout from a Single View by Render-and-Compare [36.94817376590415]
一つの視点から部屋の3次元レイアウトを再構築する新しい手法を提案する。データセットはScanNetの293の画像で構成されており、正確な3Dレイアウトで注釈を付けました。
論文参考訳（メタデータ） (2020-01-07T16:14:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。