論文の概要: OpenRooms: An End-to-End Open Framework for Photorealistic Indoor Scene Datasets

• arxiv url: http://arxiv.org/abs/2007.12868v3
• Date: Mon, 27 Sep 2021 05:29:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 01:08:46.080112
• Title: OpenRooms: An End-to-End Open Framework for Photorealistic Indoor Scene Datasets
• Title（参考訳）: OpenRooms: フォトリアリスティックな室内シーンデータセットのためのエンドツーエンドのオープンフレームワーク
• Authors: Zhengqin Li, Ting-Wei Yu, Shen Sang, Sarah Wang, Meng Song, Yuhan Liu, Yu-Ying Yeh, Rui Zhu, Nitesh Gundavarapu, Jia Shi, Sai Bi, Zexiang Xu, Hong-Xing Yu, Kalyan Sunkavalli, Milo\v{s} Ha\v{s}an, Ravi Ramamoorthi, Manmohan Chandraker
• Abstract要約: 本研究では,屋内シーンの大規模フォトリアリスティックデータセットを作成するための新しいフレームワークを提案する。 私たちの目標は、データセット作成プロセスを広く利用できるようにすることです。 これにより、逆レンダリング、シーン理解、ロボット工学における重要な応用が可能になる。
• 参考スコア（独自算出の注目度）: 103.54691385842314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel framework for creating large-scale photorealistic datasets of indoor scenes, with ground truth geometry, material, lighting and semantics. Our goal is to make the dataset creation process widely accessible, transforming scans into photorealistic datasets with high-quality ground truth for appearance, layout, semantic labels, high quality spatially-varying BRDF and complex lighting, including direct, indirect and visibility components. This enables important applications in inverse rendering, scene understanding and robotics. We show that deep networks trained on the proposed dataset achieve competitive performance for shape, material and lighting estimation on real images, enabling photorealistic augmented reality applications, such as object insertion and material editing. We also show our semantic labels may be used for segmentation and multi-task learning. Finally, we demonstrate that our framework may also be integrated with physics engines, to create virtual robotics environments with unique ground truth such as friction coefficients and correspondence to real scenes. The dataset and all the tools to create such datasets will be made publicly available.
• Abstract（参考訳）: 本研究では,屋内シーンの大規模フォトリアリスティックデータセットを作成するための新しい枠組みを提案する。 我々のゴールは、データセット作成プロセスを広く利用し、スキャンを外観、レイアウト、セマンティックラベル、高品質な空間変化BRDF、そして直接、間接、可視コンポーネントを含む複雑な照明のための高品質な基底真理を持つフォトリアリスティックなデータセットに変換することである。 これにより、逆レンダリング、シーン理解、ロボット工学における重要な応用が可能になる。 提案するデータセット上でトレーニングされた深層ネットワークは,実画像における形状,材料,照明推定の競争的性能を実現し,物体挿入や素材編集などのフォトリアリスティックな拡張現実アプリケーションを実現する。 また,セグメンテーションやマルチタスク学習にセグメンテーションラベルを使用できることを示す。 最後に,我々のフレームワークが物理エンジンと統合され,摩擦係数や実際のシーンとの対応など,ユニークな基礎的真理を持つ仮想ロボット環境を構築できることを実証する。 このようなデータセットを作成するためのデータセットとツールはすべて、公開される。

関連論文リスト

• Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering [56.68286440268329]
  現実世界のシーンの画像に仮想オブジェクトを正しく挿入するには、シーンの照明、幾何学、材料を深く理解する必要がある。 本稿では,物理ベースの逆レンダリングプロセスへのガイダンスとして,パーソナライズされた大規模拡散モデルを提案する。 本手法は,シーンライティングとトーンマッピングのパラメータを復元し,任意の仮想オブジェクトの光リアルな構成を室内や屋外のシーンの単一フレームやビデオで再現する。
  論文  参考訳（メタデータ） (2024-08-19T05:15:45Z)
• ASSIST: Interactive Scene Nodes for Scalable and Realistic Indoor Simulation [17.34617771579733]
  本稿では、合成および現実的なシミュレーションのためのパノプティクス表現として、オブジェクト指向神経放射場であるASSISTを提案する。 各オブジェクトの情報を統一的に格納する新しいシーンノードデータ構造は、イントラシーンとクロスシーンの両方でオンラインインタラクションを可能にする。
  論文  参考訳（メタデータ） (2023-11-10T17:56:43Z)
• PUG: Photorealistic and Semantically Controllable Synthetic Data for Representation Learning [31.81199165450692]
  制御性とリアリズムを両立する表現学習研究のための対話型環境を新たに提案する。 エンターテイメント業界で有名な強力なゲームエンジンであるUnreal Engineを使用して、表現学習のためのPUG環境とデータセットを生成します。
  論文  参考訳（メタデータ） (2023-08-08T01:33:13Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• Learning-based Inverse Rendering of Complex Indoor Scenes with Differentiable Monte Carlo Raytracing [27.96634370355241]
  本研究はモンテカルロ線トレーシングと重要サンプリングを組み合わせたエンドツーエンドの学習ベースの逆レンダリングフレームワークを提案する。 このフレームワークは1枚の画像を入力として、基礎となる幾何学、空間的に変化する照明、およびフォトリアリスティックな材料を共同で復元する。
  論文  参考訳（メタデータ） (2022-11-06T03:34:26Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Learning optical flow from still images [53.295332513139925]
  我々は,容易に利用可能な単一の実画像から,高精度な光学的フローアノテーションを迅速かつ多量に生成するフレームワークを提案する。 既知の動きベクトルと回転角を持つ再構成された環境でカメラを仮想的に移動させる。 我々のデータでトレーニングすると、最先端の光フローネットワークは、実データを見るのに優れた一般化を実現する。
  論文  参考訳（メタデータ） (2021-04-08T17:59:58Z)
• Hypersim: A Photorealistic Synthetic Dataset for Holistic Indoor Scene Understanding [8.720130442653575]
  Hypersimは、総合的な屋内シーン理解のための合成データセットである。 室内461のシーンを77,400枚生成し,詳細なピクセルごとのラベルとそれに対応する地平線形状を推定した。
  論文  参考訳（メタデータ） (2020-11-04T20:12:07Z)
• Detection and Segmentation of Custom Objects using High Distraction Photorealistic Synthetic Data [0.5076419064097732]
  合成データを用いてインスタンスセグメンテーションを行うための簡便で有用な手法を示す。 目標は、カスタムオブジェクトの実際のデータを手動で収集し、注釈付けすることで、高いパフォーマンスを達成することである。 このホワイトペーパーは、光実写シミュレーションデータが現実の応用に利用できるという強い証拠を提供する。
  論文  参考訳（メタデータ） (2020-07-28T16:33:42Z)
• Scene relighting with illumination estimation in the latent space on an encoder-decoder scheme [68.8204255655161]
  本報告では,その目的を達成するための手法について述べる。 我々のモデルは、シーン内容、光源位置、色温度の異なる、人工的な場所のレンダリングデータセットに基づいて訓練されている。 本データセットでは,被写体の潜在空間表現における光条件の推測と置き換えを目的とした照明推定成分を用いたネットワークを用いた。
  論文  参考訳（メタデータ） (2020-06-03T15:25:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。