論文の概要: Camera Relocalization in Shadow-free Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2405.14824v1
• Date: Thu, 23 May 2024 17:41:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 13:37:09.727968
• Title: Camera Relocalization in Shadow-free Neural Radiance Fields
• Title（参考訳）: シャドウフリー神経放射場におけるカメラ再局在
• Authors: Shiyao Xu, Caiyun Liu, Yuantao Chen, Zhenxin Zhu, Zike Yan, Yongliang Shi, Hao Zhao, Guyue Zhou,
• Abstract要約: カメラのリローカライゼーションはコンピュータビジョンとロボティクスにおいて重要な問題である。 ニューラルレイディアンスフィールド(NeRF)の最近の進歩は、フォトリアリスティック画像において有望であることを示している。 照明条件や影条件の異なる画像を正規化してカメラ再配置を改善する2段パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 16.359064848532483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Camera relocalization is a crucial problem in computer vision and robotics. Recent advancements in neural radiance fields (NeRFs) have shown promise in synthesizing photo-realistic images. Several works have utilized NeRFs for refining camera poses, but they do not account for lighting changes that can affect scene appearance and shadow regions, causing a degraded pose optimization process. In this paper, we propose a two-staged pipeline that normalizes images with varying lighting and shadow conditions to improve camera relocalization. We implement our scene representation upon a hash-encoded NeRF which significantly boosts up the pose optimization process. To account for the noisy image gradient computing problem in grid-based NeRFs, we further propose a re-devised truncated dynamic low-pass filter (TDLF) and a numerical gradient averaging technique to smoothen the process. Experimental results on several datasets with varying lighting conditions demonstrate that our method achieves state-of-the-art results in camera relocalization under varying lighting conditions. Code and data will be made publicly available.
• Abstract（参考訳）: カメラのリローカライゼーションはコンピュータビジョンとロボティクスにおいて重要な問題である。 ニューラルレイディアンスフィールド(NeRF)の最近の進歩は、光リアル画像の合成において有望であることを示している。 カメラポーズの精細化にNeRFを使用している作品もいくつかあるが、シーンの外観や影の領域に影響を及ぼすような照明変更を考慮せず、劣化したポーズ最適化プロセスを引き起こしている。 本稿では,照明条件や影条件の異なる画像を正規化し,カメラ再配置を改善するための2段パイプラインを提案する。 我々は,ハッシュ符号化されたNeRF上にシーン表現を実装し,ポーズ最適化プロセスを大幅に向上させる。 格子型NeRFのノイズ画像勾配計算問題として,TDLF (Truncated dynamic Low-pass filter) と数値勾配平均化法を提案する。 照明条件の異なる複数のデータセットに対する実験結果から, 本手法は, 照明条件の異なるカメラ再配置において, 最先端の成果を達成できることが示唆された。 コードとデータは公開されます。

関連論文リスト

• Retinex-RAWMamba: Bridging Demosaicing and Denoising for Low-Light RAW Image Enhancement [71.13353154514418]
  低照度画像の強化、特に生ドメインからsRGBドメインへのマッピングのようなクロスドメインタスクは、依然として大きな課題である。 RAWMambaと呼ばれる新しいMambaスキャニング機構を提案する。 また,Retinex の先行したRetinex Decomposition Module (RDM) も提案する。
  論文  参考訳（メタデータ） (2024-09-11T06:12:03Z)
• LidaRF: Delving into Lidar for Neural Radiance Field on Street Scenes [73.65115834242866]
  光リアリスティックシミュレーションは、自律運転のようなアプリケーションにおいて重要な役割を果たす。 しかし, コリニアカメラの動作やスペーサーのサンプリングにより, 街路景観の再現性は低下する。 街路面のNeRF品質を改善するために,Lidarデータのより優れた利用を可能にするいくつかの知見を提案する。
  論文  参考訳（メタデータ） (2024-05-01T23:07:12Z)
• Lighting up NeRF via Unsupervised Decomposition and Enhancement [40.89359754872889]
  そこで我々は,Low-Light NeRF(LLNeRF)と呼ばれる新しい手法を提案し,シーン表現を強化し,sRGB低照度画像から直接ノーマルライトノベルビューを合成する。 低照度シーンからの低ダイナミックレンジ(8ビット/チャネル)画像の集合を考慮し、適切な照明と鮮明な色と細部を持つ新しいビュー画像を作成することができる。
  論文  参考訳（メタデータ） (2023-07-20T07:46:34Z)
• Optical Aberration Correction in Postprocessing using Imaging Simulation [17.331939025195478]
  モバイル写真の人気は増え続けている。 最近のカメラは、これらの修正作業の一部を光学設計から後処理システムに移行した。 光学収差による劣化を回復するための実用的手法を提案する。
  論文  参考訳（メタデータ） (2023-05-10T03:20:39Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• Progressively Optimized Local Radiance Fields for Robust View Synthesis [76.55036080270347]
  本稿では,1つのカジュアルな映像から大規模シーンのラディアンス場を再構成するアルゴリズムを提案する。 未知のポーズを扱うために、カメラのポーズと放射場を漸進的に推定する。 大規模な非有界シーンを扱うために、時間窓内にフレームで訓練された新しい局所放射場を動的に割り当てる。
  論文  参考訳（メタデータ） (2023-03-24T04:03:55Z)
• INFWIDE: Image and Feature Space Wiener Deconvolution Network for Non-blind Image Deblurring in Low-Light Conditions [32.35378513394865]
  画像と特徴空間Wener deconvolution Network (INFWIDE) と呼ばれる新しい非盲点分解法を提案する。 INFWIDEは、画像空間におけるノイズを除去し、飽和領域を幻覚し、特徴空間におけるリングアーティファクトを抑制する。 合成データと実データを用いた実験は,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-17T15:22:31Z)
• Lightweight HDR Camera ISP for Robust Perception in Dynamic Illumination Conditions via Fourier Adversarial Networks [35.532434169432776]
  照明とノイズ除去の逐次的バランスをとる軽量な2段階画像強調アルゴリズムを提案する。 また、異なる照明条件下での一貫した画像強調のためのフーリエスペクトルベース対向フレームワーク(AFNet)を提案する。 また,定量的および定性的な評価に基づいて,画像強調技術が共通認識タスクの性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2022-04-04T18:48:51Z)
• Spatio-Temporal Outdoor Lighting Aggregation on Image Sequences using Transformer Networks [23.6427456783115]
  本研究は,画像からのノイズ推定を集約した屋外照明推定に焦点をあてる。 ディープニューラルネットワークに基づく最近の研究は、単一画像の照明推定に有望な結果を示しているが、堅牢性に悩まされている。 画像シーケンスの角領域と時間領域でサンプリングされた複数の画像ビューからの照明推定値を組み合わせることで、この問題に対処する。
  論文  参考訳（メタデータ） (2022-02-18T14:11:16Z)
• GNeRF: GAN-based Neural Radiance Field without Posed Camera [67.80805274569354]
  gnerf(generative adversarial networks (gan) とニューラルネットワークのラジアンスフィールド再構成を組み合わせるためのフレームワーク)を,未知のカメラポーズでさえも複雑なシナリオで導入する。 提案手法は, 従来は非常に難易度の高い, 繰り返しパターンや低テクスチャの場面において, ベースラインを良好に向上させる。
  論文  参考訳（メタデータ） (2021-03-29T13:36:38Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。