論文の概要: BIPS: Bi-modal Indoor Panorama Synthesis via Residual Depth-aided Adversarial Learning

• arxiv url: http://arxiv.org/abs/2112.06179v1
• Date: Sun, 12 Dec 2021 08:20:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-14 17:11:09.059422
• Title: BIPS: Bi-modal Indoor Panorama Synthesis via Residual Depth-aided Adversarial Learning
• Title（参考訳）: BIPS: Residual Depth-Aided Adversarial Learningによるバイモーダル室内パノラマ合成
• Authors: Changgyoon Oh, Wonjune Cho, Daehee Park, Yujeong Chae, Lin Wang and Kuk-Jin Yoon
• Abstract要約: 本稿では,新しいバイモーダル(RGB-D)パノラマ合成フレームワークを提案する。 我々は、RGB-Dパノラマが多くのアプリケーションに完全な3Dモデルを提供できる屋内環境に焦点を当てる。 本手法は,高品質な室内RGB-Dパノラマを合成し,リアルな室内3次元モデルを提供する。
• 参考スコア（独自算出の注目度）: 26.24526760567159
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Providing omnidirectional depth along with RGB information is important for numerous applications, eg, VR/AR. However, as omnidirectional RGB-D data is not always available, synthesizing RGB-D panorama data from limited information of a scene can be useful. Therefore, some prior works tried to synthesize RGB panorama images from perspective RGB images; however, they suffer from limited image quality and can not be directly extended for RGB-D panorama synthesis. In this paper, we study a new problem: RGB-D panorama synthesis under the arbitrary configurations of cameras and depth sensors. Accordingly, we propose a novel bi-modal (RGB-D) panorama synthesis (BIPS) framework. Especially, we focus on indoor environments where the RGB-D panorama can provide a complete 3D model for many applications. We design a generator that fuses the bi-modal information and train it with residual-aided adversarial learning (RDAL). RDAL allows to synthesize realistic indoor layout structures and interiors by jointly inferring RGB panorama, layout depth, and residual depth. In addition, as there is no tailored evaluation metric for RGB-D panorama synthesis, we propose a novel metric to effectively evaluate its perceptual quality. Extensive experiments show that our method synthesizes high-quality indoor RGB-D panoramas and provides realistic 3D indoor models than prior methods. Code will be released upon acceptance.
• Abstract（参考訳）: RGB情報とともに全方位深度を提供することは、VR/ARなど多くのアプリケーションにとって重要である。 しかし、全方位RGB-Dデータは必ずしも利用できないため、シーンの限られた情報からRGB-Dパノラマデータを合成することは有用である。 したがって、いくつかの先行研究はrgbパノラマ画像からrgbパノラマ画像の合成を試みたが、画質は限られており、rgb-dパノラマ合成では直接拡張できない。 本稿では,rgb-dパノラマ合成におけるカメラと深度センサの任意配置による新しい問題について検討する。 そこで本研究では,新しいバイモーダル(RGB-D)パノラマ合成(BIPS)フレームワークを提案する。 特に、RGB-Dパノラマが多くのアプリケーションに対して完全な3Dモデルを提供できる屋内環境に焦点を当てる。 バイモーダル情報を融合した生成器を設計し,rdal(sustains-assisted adversarial learning)で学習する。 RDALは、RGBパノラマ、レイアウト深さ、残留深さを共同で推定することで、リアルな屋内レイアウト構造と内部を合成することができる。 また、RGB-Dパノラマ合成のための調整された評価基準が存在しないため、その知覚品質を効果的に評価するための新しい指標を提案する。 広範にわたる実験により,高品質なrgb-dパノラマを合成し,従来の手法よりも現実的な3d室内モデルを提供することがわかった。 コードは受理時にリリースされる。

関連論文リスト

• PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
  PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。 本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。 PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
  論文  参考訳（メタデータ） (2023-10-25T17:59:01Z)
• A novel approach for holographic 3D content generation without depth map [2.905273049932301]
  与えられたRGB画像のみを用いてボリュームデジタルホログラムを合成する深層学習方式を提案する。 実験により,提案モデルにより生成された体積ホログラムは,競合モデルよりも精度が高いことを示した。
  論文  参考訳（メタデータ） (2023-09-26T14:37:31Z)
• PanoDiffusion: 360-degree Panorama Outpainting via Diffusion [29.10215003547589]
  パノディフュージョンと呼ばれる潜在拡散モデル(LDM)を用いた360度室内RGB-Dパノラマ露光モデルを提案する。 トレーニング中にRGBと深度パノラマデータの両方を利用する新しいバイモーダル潜時拡散構造を導入する。 以上の結果から,RGB-Dパノラマにおけるパノ拡散法は,様々な種類のマスクに対して多種多様な構造を持つ結果が得られるだけでなく,高品質のパノラマを合成し,リアルな3次元室内モデルを提供することによって,最先端のパノラマ法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-07-06T17:57:02Z)
• Spherical Space Feature Decomposition for Guided Depth Map Super-Resolution [123.04455334124188]
  誘導深度マップ超解像(GDSR)は、低解像度(LR)深度マップに高解像度(HR)RGB画像を含む追加情報を加えることを目的としている。 本稿では,この問題を解決するために,Spherical Space Feature Decomposition Network (SSDNet)を提案する。 提案手法は,4つのテストデータセットの最先端結果と実世界のシーンへの一般化を実現する。
  論文  参考訳（メタデータ） (2023-03-15T21:22:21Z)
• Beyond Visual Field of View: Perceiving 3D Environment with Echoes and Vision [51.385731364529306]
  本稿では,エコーとRGB画像を用いた3次元環境の知覚とナビゲーションに焦点を当てた。 特に、複数の方向から受信したエコーでRGB画像を融合して深度推定を行う。 本稿では,RGB像を補完する3次元構造について,エコーが包括的かつ包括的情報を提供することを示す。
  論文  参考訳（メタデータ） (2022-07-03T22:31:47Z)
• Urban Radiance Fields [77.43604458481637]
  本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。 提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。 これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2021-11-29T15:58:16Z)
• Deep Multi Depth Panoramas for View Synthesis [70.9125433400375]
  本稿では,複数のRGBD$alpha$panoramasからなる新しいシーン表現であるMultiple Depth Panorama(MDP)を提案する。 MDPは従来の3Dシーン表現よりもコンパクトであり、高品質で効率的な新しいビューレンダリングを可能にする。
  論文  参考訳（メタデータ） (2020-08-04T20:29:15Z)
• NormalGAN: Learning Detailed 3D Human from a Single RGB-D Image [34.79657678041356]
  本稿では,1枚のRGB-D画像から完全かつ詳細な3次元人間を再構築する高速対角学習法を提案する。 一般消費者のRGB-Dセンサーを使用すれば、NurmalGANは20fpsで完全な3D人間の再構築結果を生成することができる。
  論文  参考訳（メタデータ） (2020-07-30T09:35:46Z)
• Synergistic saliency and depth prediction for RGB-D saliency detection [76.27406945671379]
  既存のRGB-Dサリエンシデータセットは小さく、多様なシナリオに対して過度に適合し、限定的な一般化につながる可能性がある。 そこで本研究では,RGB-Dサリエンシ検出のための半教師付きシステムを提案する。
  論文  参考訳（メタデータ） (2020-07-03T14:24:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。