論文の概要: Gated Fields: Learning Scene Reconstruction from Gated Videos

• arxiv url: http://arxiv.org/abs/2405.19819v1
• Date: Thu, 30 May 2024 08:26:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 15:18:46.727592
• Title: Gated Fields: Learning Scene Reconstruction from Gated Videos
• Title（参考訳）: ゲーテッドフィールド:ゲーテッドビデオからシーン再構築を学ぶ
• Authors: Andrea Ramazzina, Stefanie Walz, Pragyan Dahal, Mario Bijelic, Felix Heide,
• Abstract要約: ゲーテッド・フィールズ(Gated Fields)は、能動ゲートビデオシーケンスを利用するニューラルシーン再構成法である。 本手法は, ゲート映像の固有深度を生かし, 周囲の照明条件によらず, 精密かつ高密度な幾何再構成を実現する。
• 参考スコア（独自算出の注目度）: 31.985878910201546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing outdoor 3D scenes from temporal observations is a challenge that recent work on neural fields has offered a new avenue for. However, existing methods that recover scene properties, such as geometry, appearance, or radiance, solely from RGB captures often fail when handling poorly-lit or texture-deficient regions. Similarly, recovering scenes with scanning LiDAR sensors is also difficult due to their low angular sampling rate which makes recovering expansive real-world scenes difficult. Tackling these gaps, we introduce Gated Fields - a neural scene reconstruction method that utilizes active gated video sequences. To this end, we propose a neural rendering approach that seamlessly incorporates time-gated capture and illumination. Our method exploits the intrinsic depth cues in the gated videos, achieving precise and dense geometry reconstruction irrespective of ambient illumination conditions. We validate the method across day and night scenarios and find that Gated Fields compares favorably to RGB and LiDAR reconstruction methods. Our code and datasets are available at https://light.princeton.edu/gatedfields/.
• Abstract（参考訳）: 時間的観測から屋外の3Dシーンを再構築することは、最近のニューラルフィールドの研究が新しい道を提供してきた課題である。 しかし、RGBキャプチャからのみ、幾何学、外観、放射といったシーン特性を回復する既存の手法は、低照度またはテクスチャ不足の領域を扱う際に失敗することが多い。 同様に、LiDARセンサーをスキャンすることでシーンの復元も困難である。 これらのギャップに対処するため,能動ゲート映像シーケンスを利用したニューラルシーン再構成手法であるGated Fieldsを導入する。 この目的のために,時間付きキャプチャと照明をシームレスに組み込むニューラルレンダリング手法を提案する。 本手法は, ゲート映像の固有深度を生かし, 周囲の照明条件によらず, 精密かつ高密度な幾何再構成を実現する。 Gated Fields は RGB と LiDAR の再構成法とよく比較できる。 私たちのコードとデータセットはhttps://light.princeton.edu/gatedfields/で公開されています。

関連論文リスト

• Gaussian Scenes: Pose-Free Sparse-View Scene Reconstruction using Depth-Enhanced Diffusion Priors [5.407319151576265]
  限られた数の2D画像から360ドル(約3,600円)のポーズのないシーンを再現するための生成的アプローチを提案する。 本稿では,3次元シーンの描画や深度マップに欠落した細部を描画し,アーティファクトを除去するインストラクション追従RGBD拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-11-24T19:34:58Z)
• LumiGauss: Relightable Gaussian Splatting in the Wild [15.11759492990967]
  本稿では,LumiGaussについて紹介する。LumiGaussは2次元ガウススプラッティングによるシーンの3次元再構成と環境照明を実現する技術である。 提案手法は高品質なシーン再構成を実現し,新しい環境マップ下でのリアルな照明合成を実現する。 提案手法をNeRF-OSRデータセット上で検証し,ベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-06T23:41:57Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
  本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。 その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。 提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
  論文  参考訳（メタデータ） (2022-06-23T17:59:53Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)
• Space-time Neural Irradiance Fields for Free-Viewpoint Video [54.436478702701244]
  本稿では,1つのビデオから動的シーンのニューラル照度場を学習する手法を提案する。 私たちの学習した表現は、入力ビデオのフリービューレンダリングを可能にします。
  論文  参考訳（メタデータ） (2020-11-25T18:59:28Z)
• Neural Sparse Voxel Fields [151.20366604586403]
  高速かつ高品質な自由視点レンダリングのためのニューラルシーン表現であるNeural Sparse Voxel Fields (NSVF)を紹介する。 NSVFは、各細胞の局所特性をモデル化するために、スパース・ボクセル・オクツリーで組織された、ボクセルに結合した暗黙のフィールドのセットを定義する。 提案手法は, 高い品質を達成しつつ, 推論時の最先端技術(NeRF(Mildenhall et al., 2020))よりも10倍以上高速である。
  論文  参考訳（メタデータ） (2020-07-22T17:51:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。