論文の概要: DarkGS: Learning Neural Illumination and 3D Gaussians Relighting for Robotic Exploration in the Dark

• arxiv url: http://arxiv.org/abs/2403.10814v1
• Date: Sat, 16 Mar 2024 05:21:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 21:35:15.011343
• Title: DarkGS: Learning Neural Illumination and 3D Gaussians Relighting for Robotic Exploration in the Dark
• Title（参考訳）: DarkGS: 暗黒でのロボット探査をめざす3Dガウスとニューラル照明の学習
• Authors: Tianyi Zhang, Kaining Huang, Weiming Zhi, Matthew Johnson-Roberson,
• Abstract要約: 照明条件が悪く、かつ移動光源で光リアルなシーン表現を構築するという課題に挑戦する。 我々は,Neural Light Simulator (NeLiS) を用いて,カメラライトシステムのモデル化とキャリブレーションを行う革新的なフレームワークを提案する。 本研究では,様々な実環境におけるシミュレータとシステムの適用性およびロバスト性を示す。
• 参考スコア（独自算出の注目度）: 14.47850251126128
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans have the remarkable ability to construct consistent mental models of an environment, even under limited or varying levels of illumination. We wish to endow robots with this same capability. In this paper, we tackle the challenge of constructing a photorealistic scene representation under poorly illuminated conditions and with a moving light source. We approach the task of modeling illumination as a learning problem, and utilize the developed illumination model to aid in scene reconstruction. We introduce an innovative framework that uses a data-driven approach, Neural Light Simulators (NeLiS), to model and calibrate the camera-light system. Furthermore, we present DarkGS, a method that applies NeLiS to create a relightable 3D Gaussian scene model capable of real-time, photorealistic rendering from novel viewpoints. We show the applicability and robustness of our proposed simulator and system in a variety of real-world environments.
• Abstract（参考訳）: 人間は、限られた、あるいは様々なレベルの照明の下でも、環境の一貫性のある精神モデルを構築することができる。 私たちは同じ能力でロボットを養うことを望んでいます。 本稿では, 照明条件が悪く, 移動光源で光写実的シーン表現を構築することの課題に対処する。 我々は,照明を学習問題としてモデル化する作業にアプローチし,シーン再構築を支援するために開発した照明モデルを利用する。 我々は,Neural Light Simulator (NeLiS) を用いて,カメラライトシステムのモデル化とキャリブレーションを行う革新的なフレームワークを提案する。 さらに,新しい視点からリアルタイムで光リアルなレンダリングが可能な3次元ガウスシーンモデルを作成するためにNeLiSを応用したDarkGSを提案する。 本研究では,様々な実環境におけるシミュレータとシステムの適用性およびロバスト性を示す。

関連論文リスト

• LumiGauss: High-Fidelity Outdoor Relighting with 2D Gaussian Splatting [15.11759492990967]
  LumiGaussは,2次元ガウススプラッティングによるシーンの3次元再構成と環境照明を実現する技術である。 提案手法は高品質なシーン再構成を実現し,新しい環境マップ下でのリアルな照明合成を実現する。
  論文  参考訳（メタデータ） (2024-08-06T23:41:57Z)
• GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis [63.5925701087252]
  本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。 Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。 照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T13:48:54Z)
• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• LightSim: Neural Lighting Simulation for Urban Scenes [42.84064522536041]
  異なる屋外照明条件は都市景観の外観を大きく変え、画像に基づくロボット認識システムの性能を損なう可能性がある。 カメラシミュレーションは、異なる照明条件下で撮影された画像の大規模なデータセットを作成するためのコスト効率の良いソリューションを提供する。 我々は,多種多様で現実的で制御可能なデータ生成を可能にする,ニューラルライティングカメラシミュレーションシステムであるLightSimを提案する。
  論文  参考訳（メタデータ） (2023-12-11T18:59:13Z)
• FaceLit: Neural 3D Relightable Faces [28.0806453092185]
  FaceLitは、ユーザーが定義した様々な照明条件やビューでレンダリングできる3D顔を生成することができる。 FFHQデータセット上での3次元認識GANのFIDスコア3.5。
  論文  参考訳（メタデータ） (2023-03-27T17:59:10Z)
• RANA: Relightable Articulated Neural Avatars [83.60081895984634]
  本稿では,ヒトの光合成のための光合成アバターであるRANAを提案する。 モノクラーRGBビデオの幾何学、テクスチャ、照明環境を両立させながら、人間をモデル化する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-12-06T18:59:31Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Texture Generation Using Graph Generative Adversarial Network And Differentiable Rendering [0.6439285904756329]
  既存の3次元メッシュモデルのための新しいテクスチャ合成は、シミュレータのフォトリアルアセット生成に向けた重要なステップである。 既存の手法は、カメラの観点からの3次元空間の投影である2次元画像空間で本質的に機能する。 本稿では,BlenderやUnreal Engineといったツールを用いて,与えられた3Dメッシュモデルに直接統合可能なテクスチャを生成可能なGGAN(Graph Generative Adversarial Network)という新しいシステムを提案する。
  論文  参考訳（メタデータ） (2022-06-17T04:56:03Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。