論文の概要: Local-to-Global Panorama Inpainting for Locale-Aware Indoor Lighting Prediction

• arxiv url: http://arxiv.org/abs/2303.10344v1
• Date: Sat, 18 Mar 2023 06:18:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 19:54:22.744012
• Title: Local-to-Global Panorama Inpainting for Locale-Aware Indoor Lighting Prediction
• Title（参考訳）: 局所-グローバルパノラマ塗布による室内照明予測
• Authors: Jiayang Bai, Zhen He, Shan Yang, Jie Guo, Zhenyu Chen, Yan Zhang, Yanwen Guo
• Abstract要約: 単一視点の画像からパノラマ的な室内照明を予測することは、コンピュータビジョンとグラフィックスの基本的な問題である。 最近の手法は主に、ワープされたパノラマの不足した内容を満たすために畳み込みニューラルネットワーク(CNN)に依存している。 大規模パノラマ塗布における局所的・言語的戦略を提案する。
• 参考スコア（独自算出の注目度）: 28.180205012351802
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Predicting panoramic indoor lighting from a single perspective image is a fundamental but highly ill-posed problem in computer vision and graphics. To achieve locale-aware and robust prediction, this problem can be decomposed into three sub-tasks: depth-based image warping, panorama inpainting and high-dynamic-range (HDR) reconstruction, among which the success of panorama inpainting plays a key role. Recent methods mostly rely on convolutional neural networks (CNNs) to fill the missing contents in the warped panorama. However, they usually achieve suboptimal performance since the missing contents occupy a very large portion in the panoramic space while CNNs are plagued by limited receptive fields. The spatially-varying distortion in the spherical signals further increases the difficulty for conventional CNNs. To address these issues, we propose a local-to-global strategy for large-scale panorama inpainting. In our method, a depth-guided local inpainting is first applied on the warped panorama to fill small but dense holes. Then, a transformer-based network, dubbed PanoTransformer, is designed to hallucinate reasonable global structures in the large holes. To avoid distortion, we further employ cubemap projection in our design of PanoTransformer. The high-quality panorama recovered at any locale helps us to capture spatially-varying indoor illumination with physically-plausible global structures and fine details.
• Abstract（参考訳）: 単一視点の画像からパノラマ的な室内照明を予測することは、コンピュータビジョンとグラフィックスの基本的な問題である。 局所認識とロバストな予測を実現するために,この問題を3つのサブタスクに分解することができる。深度ベースの画像ワープ,パノラマ塗布,高ダイナミックレンジ(HDR)再構築。 最近の手法は主に、ワープされたパノラマの不足した内容を満たすために畳み込みニューラルネットワーク(CNN)に依存している。 しかし,CNNは限られた受容野に悩まされているのに対し,パノラマ領域の非常に大きな部分を占めるため,通常は準最適性能が得られる。 球面信号の空間的変動は従来のcnnの難易度をさらに高める。 これらの問題に対処するため,我々は大規模パノラマ塗装のための局所的対グローバル戦略を提案する。 本手法では, 加工されたパノラマに局所塗布を施し, 小だが高密度な穴を埋める。 そして、PanoTransformerと呼ばれるトランスフォーマーベースのネットワークは、大きな穴の中の合理的なグローバル構造を幻覚させるように設計されている。 歪みを避けるため、我々はさらにパノトランスフォーマの設計にキューブマップ投影を用いる。 あらゆる場所で回収された高品質なパノラマは、空間的に変化する屋内照明を物理的に解明可能なグローバルな構造と細部で捉えるのに役立ちます。

関連論文リスト

• Scaled 360 layouts: Revisiting non-central panoramas [5.2178708158547025]
  非中央パノラマを用いた室内環境の3次元レイアウト復元手法を提案する。 我々は、新しい幾何学的処理において、非中央プロジェクションシステムの特性を利用して、スケールしたレイアウトを復元する。
  論文  参考訳（メタデータ） (2024-02-02T14:55:36Z)
• PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
  PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。 本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。 PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
  論文  参考訳（メタデータ） (2023-10-25T17:59:01Z)
• Low-Light Image Enhancement with Illumination-Aware Gamma Correction and Complete Image Modelling Network [69.96295927854042]
  低照度環境は通常、情報の少ない大規模な暗黒地帯に繋がる。 本稿では,ガンマ補正の有効性を深層ネットワークのモデリング能力と統合することを提案する。 指数関数演算は高い計算複雑性をもたらすので、Taylor Series を用いてガンマ補正を近似することを提案する。
  論文  参考訳（メタデータ） (2023-08-16T08:46:51Z)
• PanoGRF: Generalizable Spherical Radiance Fields for Wide-baseline Panoramas [54.4948540627471]
  広帯域パノラマのための一般化可能な球面放射場パノGRFを提案する。 パノGRFは、視線画像に基づいて訓練された一般化可能な放射場とは異なり、パノラマからパースペクティブへの変換から情報損失を回避する。 複数のパノラマデータセットの結果は、パノGRFが最先端の一般化可能なビュー合成法よりも著しく優れていることを示している。
  論文  参考訳（メタデータ） (2023-06-02T13:35:07Z)
• Panoramic Image-to-Image Translation [37.9486466936501]
  パノラマ画像変換(Pano-I2I)の課題に初めて取り組む。 この課題は、パノラマ画像の幾何学的歪みと、天候や時間といった様々な条件のパノラマ画像データセットが欠如しているために困難である。 ピンホール画像から参照するグローバルなスタイルを一貫して翻訳しながらパノラマ画像の構造を保存するパノラマ歪み認識型I2Iモデルを提案する。
  論文  参考訳（メタデータ） (2023-04-11T04:08:58Z)
• Layout-guided Indoor Panorama Inpainting with Plane-aware Normalization [10.721512251097606]
  室内パノラマ画像インペイントのためのエンドツーエンドのディープラーニングフレームワークを提案する。 室内パノラマの塗布過程における世界的・地域的文脈を生かした。 実験の結果,我々の研究はパノラマデータセット上での最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-01-13T15:48:40Z)
• GLPanoDepth: Global-to-Local Panoramic Depth Estimation [18.06592473599777]
  単眼全方位画像からシーンの深度を推定する学習手法を提案する。 球面信号に対するグローバルなコヒーレントな予測が可能であることを示す。 このグローバル・ローカル戦略により、パノラマにおける有用なグローバル・ローカル機能を完全に活用し、パノラマ深度推定における最先端の性能を達成することができる。
  論文  参考訳（メタデータ） (2022-02-06T15:11:58Z)
• Z2P: Instant Rendering of Point Clouds [104.1186026323896]
  ニューラルネットワークを用いて点雲をレンダリングする手法を提案する。 既存のポイントレンダリング技術は、スプレイティングを使用するか、最初にレンダリング可能な表面メッシュを再構築する。
  論文  参考訳（メタデータ） (2021-05-30T13:58:24Z)
• Perspective Plane Program Induction from a Single Image [85.28956922100305]
  本研究では,自然画像の全体像を推定する逆グラフ問題について検討する。 我々は、この問題を、入力画像の最もよく記述されたカメラポーズとシーン構造を共同で発見するものとして定式化する。 提案するフレームワークであるP3Iは,探索に基づくアルゴリズムと勾配に基づくアルゴリズムを組み合わせて効率よく問題を解く。
  論文  参考訳（メタデータ） (2020-06-25T21:18:58Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。