論文の概要: Monocular Spherical Depth Estimation with Explicitly Connected Weak Layout Cues

• arxiv url: http://arxiv.org/abs/2206.11358v1
• Date: Wed, 22 Jun 2022 20:10:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-24 13:42:06.311214
• Title: Monocular Spherical Depth Estimation with Explicitly Connected Weak Layout Cues
• Title（参考訳）: 特異結合型弱レイアウトキューによる球面深さ推定
• Authors: Nikolaos Zioulis, Federico Alvarez, Dimitrios Zarpalas, Petros Daras
• Abstract要約: 幾何的視覚(360V)データセットを生成し、複数のモジュラリティ、多視点ステレオデータ、そして、自動的に弱レイアウトキューを生成する。 我々は、深さに基づくレイアウトの再構築とレイアウトに基づく深さの注意に頼り、両方のタスクにまたがるパフォーマンスの向上を示す。 360度カメラで部屋をスキャンすることで、ファクシブルで素早く3Dスキャンする機会が生まれる。
• 参考スコア（独自算出の注目度）: 27.15511982413305
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Spherical cameras capture scenes in a holistic manner and have been used for room layout estimation. Recently, with the availability of appropriate datasets, there has also been progress in depth estimation from a single omnidirectional image. While these two tasks are complementary, few works have been able to explore them in parallel to advance indoor geometric perception, and those that have done so either relied on synthetic data, or used small scale datasets, as few options are available that include both layout annotations and dense depth maps in real scenes. This is partly due to the necessity of manual annotations for room layouts. In this work, we move beyond this limitation and generate a 360 geometric vision (360V) dataset that includes multiple modalities, multi-view stereo data and automatically generated weak layout cues. We also explore an explicit coupling between the two tasks to integrate them into a singleshot trained model. We rely on depth-based layout reconstruction and layout-based depth attention, demonstrating increased performance across both tasks. By using single 360 cameras to scan rooms, the opportunity for facile and quick building-scale 3D scanning arises.
• Abstract（参考訳）: 球面カメラは総合的にシーンを捉え、部屋のレイアウト推定に使われている。 近年,適切なデータセットが利用できるようになり,全方位画像からの深度推定も進展している。 これら2つのタスクは相補的なものだが、屋内の幾何学的知覚を前進させるために並列に探索できる研究はほとんどなく、合成データや小規模なデータセットに頼っているものも、実際のシーンにおけるレイアウトアノテーションと密集した深度マップの両方を含む選択肢がほとんどない。 これは部分的には、部屋のレイアウトに手動アノテーションが必要になるためである。 本研究では,この制限を超えて,複数のモーダル性,多視点ステレオデータ,弱レイアウトキューの自動生成を含む360Vデータセットを生成する。 また、2つのタスク間の明確な結合を検討し、それらを単発トレーニングモデルに統合します。 我々は、深さに基づくレイアウトの再構築とレイアウトに基づく深さの注意に頼り、両方のタスクにまたがるパフォーマンスの向上を示す。 360度カメラで部屋をスキャンすることで、ファクシブルで素早く3Dスキャンする機会が生まれる。

関連論文リスト

• 360 in the Wild: Dataset for Depth Prediction and View Synthesis [66.58513725342125]
  大規模な360$circ$ビデオデータセットを野放しに導入する。 このデータセットはインターネットから慎重に取り除かれ、世界中で様々な場所から収集されている。 データセットを構成する25K画像のそれぞれに、それぞれのカメラのポーズと深さマップが提供される。
  論文  参考訳（メタデータ） (2024-06-27T05:26:38Z)
• DUSt3R: Geometric 3D Vision Made Easy [9.088432378237606]
  Dense and Unconstrained Stereo 3D Reconstruction of arbitrary image collections。 本定式化は単眼および両眼の再建症例を円滑に統一することを示す。 私たちの定式化はシーンの3Dモデルと深度情報を直接提供しますが、興味深いことに、シームレスに回復できます。
  論文  参考訳（メタデータ） (2023-12-21T18:52:14Z)
• Enhancing Egocentric 3D Pose Estimation with Third Person Views [37.9683439632693]
  本研究では,1台のウェアラブルカメラから撮影した映像から計算した人物の3次元身振り推定を強化する新しい手法を提案する。 First2Third-Poseは、最初の視点と第三視点の両方から捉えた人間の活動を描いた2000近いビデオからなる、ペア化された新しい同期データセットである。 実験により,データセットを用いて学習した多視点埋め込み空間は,任意の単視点自我中心ビデオから識別的特徴を抽出するのに有用であることが示された。
  論文  参考訳（メタデータ） (2022-01-06T11:42:01Z)
• 360-DFPE: Leveraging Monocular 360-Layouts for Direct Floor Plan Estimation [43.56963653723287]
  能動センサや3D情報に頼ることなく,360-DFPEを直接入力として利用するシーケンシャルフロアプラン推定法である360-DFPEを提案する。 以上の結果から, 現状のアルゴリズムに対して, 単分子解が良好な性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-12-12T08:36:41Z)
• Multi-View Multi-Person 3D Pose Estimation with Plane Sweep Stereo [71.59494156155309]
  既存のマルチビュー3Dポーズ推定手法は、複数のカメラビューからグループ2Dポーズ検出に対するクロスビュー対応を明確に確立する。 平面スイープステレオに基づくマルチビュー3Dポーズ推定手法を提案し、クロスビュー融合と3Dポーズ再構築を1ショットで共同で解決します。
  論文  参考訳（メタデータ） (2021-04-06T03:49:35Z)
• LED2-Net: Monocular 360 Layout Estimation via Differentiable Depth Rendering [59.63979143021241]
  パノラマの地平線上での深度予測問題として360度レイアウト推定のタスクを定式化する。 レイアウトから深度予測への変換を区別できるように、差分可能な深度レンダリング手順を提案します。 提案手法は,360 レイアウトのベンチマークデータセットで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-04-01T15:48:41Z)
• SSLayout360: Semi-Supervised Indoor Layout Estimation from 360-Degree Panorama [0.0]
  ラベル付きデータとラベルなしデータを組み合わせて,ルームコーナーと境界の表現を学習する最初のアプローチを提案する。 提案手法は,20のラベル付き例を用いて,複雑な屋内シーンのレイアウト推定を推し進めることができる。
  論文  参考訳（メタデータ） (2021-03-25T09:19:13Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)
• LayoutMP3D: Layout Annotation of Matterport3D [59.11106101006007]
  Matterport3Dデータセットは、当初提供されていた深度マップ基底真理と共に検討し、さらにMatterport3Dのサブセットからレイアウト基底真理のアノテーションを公開します。 私たちのデータセットはレイアウト情報と深度情報の両方を提供しており、両方のキューを統合することで環境を探索する機会を提供します。
  論文  参考訳（メタデータ） (2020-03-30T14:40:56Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。