論文の概要: IPO-LDM: Depth-aided 360-degree Indoor RGB Panorama Outpainting via Latent Diffusion Model

• arxiv url: http://arxiv.org/abs/2307.03177v2
• Date: Fri, 7 Jul 2023 04:37:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 14:26:08.546920
• Title: IPO-LDM: Depth-aided 360-degree Indoor RGB Panorama Outpainting via Latent Diffusion Model
• Title（参考訳）: IPO-LDM:潜伏拡散モデルによる深度360度の室内RGBパノラマ画
• Authors: Tianhao Wu, Chuanxia Zheng, Tat-Jen Cham
• Abstract要約: 本稿では,潜伏拡散モデル (LDM) を用いた360度室内RGBパノラマ露光モデルであるIPO-LDMを提案する。 トレーニング中にRGBと深度パノラマデータの両方を利用する新しいバイモーダル潜伏拡散構造を導入するが、推定時に正常な深度のないRGB画像よりも驚くほどよく機能する。 その結果、当社のIPO-LDMは、RGBパノラマのパノラマ画における最先端の手法よりも優れており、さまざまな種類のマスクに対して、多様かつ多様に構造化された結果を得ることができることがわかった。
• 参考スコア（独自算出の注目度）: 25.230648370800044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating complete 360-degree panoramas from narrow field of view images is ongoing research as omnidirectional RGB data is not readily available. Existing GAN-based approaches face some barriers to achieving higher quality output, and have poor generalization performance over different mask types. In this paper, we present our 360-degree indoor RGB panorama outpainting model using latent diffusion models (LDM), called IPO-LDM. We introduce a new bi-modal latent diffusion structure that utilizes both RGB and depth panoramic data during training, but works surprisingly well to outpaint normal depth-free RGB images during inference. We further propose a novel technique of introducing progressive camera rotations during each diffusion denoising step, which leads to substantial improvement in achieving panorama wraparound consistency. Results show that our IPO-LDM not only significantly outperforms state-of-the-art methods on RGB panorama outpainting, but can also produce multiple and diverse well-structured results for different types of masks.
• Abstract（参考訳）: 狭視野画像から完全な360度パノラマを生成することは、全方位RGBデータが容易に利用できないため、現在進行中である。 既存のGANベースのアプローチは、高品質な出力を実現するための障壁に直面し、異なるマスクタイプに対する一般化性能が劣る。 本稿では,潜伏拡散モデル (LDM) を用いた360度室内RGBパノラマ露光モデルであるIPO-LDMを提案する。 トレーニング中にRGBと深度パノラマデータの両方を利用する新しいバイモーダル潜伏拡散構造を導入するが、推定時に正常な深度のないRGB画像よりも驚くほどよく機能する。 さらに,拡散分別ステップ毎にプログレッシブカメラ回転を導入する新しい手法を提案する。 その結果、当社のIPO-LDMは、RGBパノラマのパノラマ画における最先端の手法よりも優れており、さまざまな種類のマスクに対して、多様かつ多様に構造化された結果を得ることができることがわかった。

関連論文リスト

• DiffPano: Scalable and Consistent Text to Panorama Generation with Spherical Epipolar-Aware Diffusion [60.45000652592418]
  本稿では,テキスト駆動型パノラマ生成フレームワークDiffPanoを提案し,拡張性,一貫性,多様なパノラマシーン生成を実現する。 DiffPanoは、不明瞭なテキスト記述とカメラのポーズによって、一貫した多様なパノラマ画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:57:02Z)
• Towards Robust Monocular Depth Estimation in Non-Lambertian Surfaces [12.241301077789235]
  単分子深度推定のための非ランベルト表面の局所的ガイダンスを提案する。 トレーニング中にランダムなトーン・マッピングを用いて、異なる照明入力に対してネットワークが正しい結果を予測できるようにする。 本手法は,BoosterとMirror3Dデータセットのゼロショットテストにおいて,33.39%と5.21%の精度向上を実現する。
  論文  参考訳（メタデータ） (2024-08-12T11:58:45Z)
• MVD-Fusion: Single-view 3D via Depth-consistent Multi-view Generation [54.27399121779011]
  本稿では,多視点RGB-D画像の生成モデルを用いて,単視点3次元推論を行うMVD-Fusionを提案する。 提案手法は,蒸留に基づく3D推論や先行多視点生成手法など,最近の最先端技術と比較して,より正確な合成を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-04-04T17:59:57Z)
• PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
  PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。 本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。 PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
  論文  参考訳（メタデータ） (2023-10-25T17:59:01Z)
• PanoGRF: Generalizable Spherical Radiance Fields for Wide-baseline Panoramas [54.4948540627471]
  広帯域パノラマのための一般化可能な球面放射場パノGRFを提案する。 パノGRFは、視線画像に基づいて訓練された一般化可能な放射場とは異なり、パノラマからパースペクティブへの変換から情報損失を回避する。 複数のパノラマデータセットの結果は、パノGRFが最先端の一般化可能なビュー合成法よりも著しく優れていることを示している。
  論文  参考訳（メタデータ） (2023-06-02T13:35:07Z)
• BIPS: Bi-modal Indoor Panorama Synthesis via Residual Depth-aided Adversarial Learning [26.24526760567159]
  本稿では,新しいバイモーダル(RGB-D)パノラマ合成フレームワークを提案する。 我々は、RGB-Dパノラマが多くのアプリケーションに完全な3Dモデルを提供できる屋内環境に焦点を当てる。 本手法は,高品質な室内RGB-Dパノラマを合成し,リアルな室内3次元モデルを提供する。
  論文  参考訳（メタデータ） (2021-12-12T08:20:01Z)
• Urban Radiance Fields [77.43604458481637]
  本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。 提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。 これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2021-11-29T15:58:16Z)
• Deep Multi Depth Panoramas for View Synthesis [70.9125433400375]
  本稿では,複数のRGBD$alpha$panoramasからなる新しいシーン表現であるMultiple Depth Panorama(MDP)を提案する。 MDPは従来の3Dシーン表現よりもコンパクトであり、高品質で効率的な新しいビューレンダリングを可能にする。
  論文  参考訳（メタデータ） (2020-08-04T20:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。