論文の概要: OmniHorizon: In-the-Wild Outdoors Depth and Normal Estimation from
Synthetic Omnidirectional Dataset
- arxiv url: http://arxiv.org/abs/2212.05040v1
- Date: Fri, 9 Dec 2022 18:40:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-12 14:10:59.598336
- Title: OmniHorizon: In-the-Wild Outdoors Depth and Normal Estimation from
Synthetic Omnidirectional Dataset
- Title(参考訳): OmniHorizon:合成全方位データを用いた室内深度と正規推定
- Authors: Jay Bhanushali, Praneeth Chakravarthula, Manivannan Muniyandi
- Abstract要約: オムニホライゾン(OmniHorizon)は、24,335の全方位ビューを持つ合成データセットである。
私たちのデータセットは、照明、一日の設定の異なる時間、歩行者、車両など、動的なシーンコンポーネントを記述しています。
本稿では,UNet と Bottleneck Transformer をベースとしたアーキテクチャ UBotNet を提案する。
- 参考スコア(独自算出の注目度): 3.365646526465954
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Understanding the ambient scene is imperative for several applications such
as autonomous driving and navigation. While obtaining real-world image data
with per-pixel labels is challenging, existing accurate synthetic image
datasets primarily focus on indoor spaces with fixed lighting and scene
participants, thereby severely limiting their application to outdoor scenarios.
In this work we introduce OmniHorizon, a synthetic dataset with 24,335
omnidirectional views comprising of a broad range of indoor and outdoor spaces
consisting of buildings, streets, and diverse vegetation. Our dataset also
accounts for dynamic scene components including lighting, different times of a
day settings, pedestrians, and vehicles. Furthermore, we also demonstrate a
learned synthetic-to-real cross-domain inference method for in-the-wild 3D
scene depth and normal estimation method using our dataset. To this end, we
propose UBotNet, an architecture based on a UNet and a Bottleneck Transformer,
to estimate scene-consistent normals. We show that UBotNet achieves
significantly improved depth accuracy (4.6%) and normal estimation (5.75%)
compared to several existing networks such as U-Net with skip-connections.
Finally, we demonstrate in-the-wild depth and normal estimation on real-world
images with UBotNet trained purely on our OmniHorizon dataset, showing the
promise of proposed dataset and network for scene understanding.
- Abstract(参考訳): 周囲のシーンを理解することは、自律運転やナビゲーションなど、いくつかのアプリケーションにとって不可欠である。
実世界の画像データをピクセルごとのラベルで取得することは難しいが、既存の正確な合成画像データセットは主に照明とシーンの参加者を固定した屋内空間に焦点を当てている。
本研究では, 建物, 街路, 多様な植生からなる広い屋内および屋外空間からなる24,335個の全方位ビューを有する総合データセットであるomnihorizonを紹介する。
当社のデータセットには、照明、一日の設定の異なる時間、歩行者、車など、動的シーンコンポーネントも含まれています。
さらに,本データセットを用いた3次元シーン深度と正規推定のための,学習した合成ドメイン間クロスドメイン推論手法を実証した。
そこで本研究では,UNetとBottleneck TransformerをベースとしたアーキテクチャであるUBotNetを提案する。
UBotNetは,スキップ接続によるU-Netなどの既存ネットワークと比較して,奥行き精度(4.6%)と正常推定(5.75%)を大幅に向上することを示す。
最後に,実世界画像の奥行きと正規推定を実世界データセットに純粋にトレーニングしたubotnetを用いて実証し,提案するデータセットとシーン理解のためのネットワークの期待を示す。
関連論文リスト
- VALERIE22 -- A photorealistic, richly metadata annotated dataset of
urban environments [5.439020425819001]
VALERIEツールパイプラインは、ドメイン固有の要素の理解に寄与するために開発された合成データジェネレータである。
VALERIE22データセットは、フォトリアリスティックセンサーシミュレーションを提供するVALERIEプロシージャツールパイプラインで生成された。
データセットは独自のリッチなメタデータセットを提供し、特定のシーンとセマンティックな特徴の抽出を可能にする。
論文 参考訳(メタデータ) (2023-08-18T15:44:45Z) - Neural Implicit Dense Semantic SLAM [83.04331351572277]
本稿では,屋内シーンのメモリ効率,高密度な3次元形状,セマンティックセマンティックセグメンテーションをオンラインで学習する新しいRGBD vSLAMアルゴリズムを提案する。
私たちのパイプラインは、従来の3Dビジョンベースのトラッキングとループクローズとニューラルフィールドベースのマッピングを組み合わせたものです。
提案アルゴリズムはシーン認識を大幅に向上させ,様々なロボット制御問題を支援する。
論文 参考訳(メタデータ) (2023-04-27T23:03:52Z) - SUPS: A Simulated Underground Parking Scenario Dataset for Autonomous
Driving [41.221988979184665]
SUPSは地下自動駐車のシミュレーションデータセットである。
複数のセンサーと連続したイメージに合わせた複数のセマンティックラベルを備えた複数のタスクをサポートする。
また、我々のデータセット上で、最先端のSLAMアルゴリズムと知覚モデルを評価する。
論文 参考訳(メタデータ) (2023-02-25T02:59:12Z) - Neural-Sim: Learning to Generate Training Data with NeRF [31.81496344354997]
本稿では,ニューラルレージアンスフィールド(NeRF)を対象アプリケーションの損失関数を持つ閉ループに使用した,最初の完全微分可能な合成データパイプラインを提案する。
提案手法は,人的負担を伴わないオンデマンドでデータを生成し,目標タスクの精度を最大化する。
論文 参考訳(メタデータ) (2022-07-22T22:48:33Z) - Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。
搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。
ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
論文 参考訳(メタデータ) (2022-06-16T10:45:17Z) - Omnidata: A Scalable Pipeline for Making Multi-Task Mid-Level Vision
Datasets from 3D Scans [103.92680099373567]
本稿では,実世界の包括的3Dスキャンからマルチタスク視覚データセットをパラメトリックサンプリングし,レンダリングするパイプラインを提案する。
サンプリングパラメータを変更することで、生成されたデータセットを“ステア”して、特定の情報を強調することが可能になる。
生成されたスタータデータセットでトレーニングされた共通アーキテクチャは、複数の共通ビジョンタスクとベンチマークで最先端のパフォーマンスに達した。
論文 参考訳(メタデータ) (2021-10-11T04:21:46Z) - Spatially-Varying Outdoor Lighting Estimation from Intrinsics [66.04683041837784]
本稿では,空間変動型屋外照明推定のためのニューラルネットワークSOLID-Netを提案する。
グローバルスカイ環境マップとワープ画像情報を組み合わせて,空間変動する局所照明環境マップを生成する。
合成データセットと実データセットの両方の実験は、SOLID-Netが以前の方法を大幅に上回っていることを示しています。
論文 参考訳(メタデータ) (2021-04-09T02:28:54Z) - Learning from THEODORE: A Synthetic Omnidirectional Top-View Indoor
Dataset for Deep Transfer Learning [4.297070083645049]
TheODOREは,14種類の高解像度魚眼画像10万点を含む,新しい大規模屋内データセットである。
リビングルーム、異なる人間キャラクター、インテリアテクスチャの3D仮想環境を作成します。
我々のデータセットは、オブジェクト検出のための微調整CNNに適していることを示す。
論文 参考訳(メタデータ) (2020-11-11T11:46:33Z) - EDEN: Multimodal Synthetic Dataset of Enclosed GarDEN Scenes [21.695100437184507]
このデータセットには、100以上の園芸モデルから取得した300万以上の画像が含まれている。
各画像には、セマンティックセグメンテーション、深さ、表面正規化、固有色、光学フローなど、様々な低レベル/高レベルの視覚変調が注釈付けされている。
コンピュータビジョンにおける2つの重要な課題である, セマンティックセグメンテーションと単眼深度予測の最先端手法に関する実験結果から, 未構造化自然シーンのデータセットに対する事前学習深度ネットワークの効果が示唆された。
論文 参考訳(メタデータ) (2020-11-09T12:44:29Z) - Speak2Label: Using Domain Knowledge for Creating a Large Scale Driver
Gaze Zone Estimation Dataset [55.391532084304494]
ワイルド・データセットのドライバ・ゲイズには、夕方を含む1日の異なる時間に撮影された586の録音が含まれている。
ワイルド・データセットのドライバ・ゲイズには338人の被験者がおり、年齢は18-63歳である。
論文 参考訳(メタデータ) (2020-04-13T14:47:34Z) - OmniSLAM: Omnidirectional Localization and Dense Mapping for
Wide-baseline Multi-camera Systems [88.41004332322788]
超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。
より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。
我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
論文 参考訳(メタデータ) (2020-03-18T05:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。