論文の概要: 360U-Former: HDR Illumination Estimation with Panoramic Adapted Vision Transformers

• arxiv url: http://arxiv.org/abs/2410.13566v1
• Date: Thu, 17 Oct 2024 14:03:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:18:28.691029
• Title: 360U-Former: HDR Illumination Estimation with Panoramic Adapted Vision Transformers
• Title（参考訳）: 360U-Former:パノラマ適応型視覚変換器を用いたHDR照明推定
• Authors: Jack Hilliard, Adrian Hilton, Jean-Yves Guillemaut,
• Abstract要約: 我々はGANとして360U-Formerを訓練し、限られた視野低ダイナミックレンジ画像(LDRI)からHDRIを生成する。 提案手法は,現在の照明推定プロトコルとデータセットを用いて評価する。
• 参考スコア（独自算出の注目度）: 21.393389135740712
• License:
• Abstract: Recent illumination estimation methods have focused on enhancing the resolution and improving the quality and diversity of the generated textures. However, few have explored tailoring the neural network architecture to the Equirectangular Panorama (ERP) format utilised in image-based lighting. Consequently, high dynamic range images (HDRI) results usually exhibit a seam at the side borders and textures or objects that are warped at the poles. To address this shortcoming we propose a novel architecture, 360U-Former, based on a U-Net style Vision-Transformer which leverages the work of PanoSWIN, an adapted shifted window attention tailored to the ERP format. To the best of our knowledge, this is the first purely Vision-Transformer model used in the field of illumination estimation. We train 360U-Former as a GAN to generate HDRI from a limited field of view low dynamic range image (LDRI). We evaluate our method using current illumination estimation evaluation protocols and datasets, demonstrating that our approach outperforms existing and state-of-the-art methods without the artefacts typically associated with the use of the ERP format.
• Abstract（参考訳）: 近年の照明推定法は、解像度の向上と、生成したテクスチャの品質と多様性の向上に重点を置いている。 しかし、画像ベースの照明で使用されるEquirectangular Panorama(ERP)フォーマットにニューラルネットワークアーキテクチャを適合させる検討は、ほとんど行われていない。 その結果、高ダイナミックレンジ画像(HDRI)の結果は、通常、側縁にシームと、極に歪められたテクスチャや物体が現れる。 この欠点に対処するために、我々は、ERPフォーマットに適合したシフトウィンドウアテンションであるPanoSWINの作業を活用するU-Netスタイルの視覚変換器をベースとした、新しいアーキテクチャである360U-Formerを提案する。 我々の知る限りでは、これは照明推定の分野で使われる最初の純粋視覚変換器モデルである。 GANとして360U-Formerをトレーニングし、限られた視野の低ダイナミックレンジ画像(LDRI)からHDRIを生成する。 提案手法は,現在の照明推定プロトコルとデータセットを用いて評価し,ERPフォーマットの使用に関連するアーティファクトを伴わずに,既存および最先端の手法よりも優れていることを示す。

関連論文リスト

• $R^2$-Mesh: Reinforcement Learning Powered Mesh Reconstruction via Geometry and Appearance Refinement [5.810659946867557]
  Neural Radiance Fields (NeRF)に基づくメッシュ再構成は、コンピュータグラフィックス、仮想現実、医療画像などの様々なアプリケーションで人気がある。 マルチビュー画像からメッシュを段階的に生成し,最適化する新しいアルゴリズムを提案する。 本手法は,メッシュレンダリングの品質と幾何学的品質の両方において,高い競争力とロバストな性能を提供する。
  論文  参考訳（メタデータ） (2024-08-19T16:33:17Z)
• Fast Context-Based Low-Light Image Enhancement via Neural Implicit Representations [6.113035634680655]
  現在のディープラーニングベースの低照度画像強調手法は高解像度画像としばしば競合する。 我々は、未露出画像の2次元座標を照明成分にマッピングすることで、拡張過程を再定義する、CoLIEと呼ばれる新しいアプローチを導入する。
  論文  参考訳（メタデータ） (2024-07-17T11:51:52Z)
• GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
  マルチビュー画像から3次元メッシュを再構成する手法を提案する。 提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
  論文  参考訳（メタデータ） (2024-06-09T05:19:24Z)
• Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
  本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。 このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。 本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-10T07:53:06Z)
• TensoIR: Tensorial Inverse Rendering [51.57268311847087]
  テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。 TensoRFは、放射場モデリングのための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-04-24T21:39:13Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Guided Co-Modulated GAN for 360{\deg} Field of View Extrapolation [15.850166450573756]
  一つの画像から360度視野を抽出する手法を提案する。 提案手法は, 従来の画像品質指標よりも高い精度で, 最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-04-15T01:48:35Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。