論文の概要: G3R: Gradient Guided Generalizable Reconstruction

• arxiv url: http://arxiv.org/abs/2409.19405v1
• Date: Sat, 28 Sep 2024 16:54:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 23:29:10.332200
• Title: G3R: Gradient Guided Generalizable Reconstruction
• Title（参考訳）: G3R: グラディエントガイドによる一般化可能な再構築
• Authors: Yun Chen, Jingkang Wang, Ze Yang, Sivabalan Manivasagam, Raquel Urtasun,
• Abstract要約: 大規模シーンにおける高品質な3Dシーン表現を効率よく予測できる一般化可能な再構成手法であるG3Rを導入する。 都市走行とドローンのデータセットの実験では、G3Rは様々な大きなシーンをまたがって一般化し、再建プロセスを少なくとも10倍加速している。
• 参考スコア（独自算出の注目度）: 39.198327570559684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large scale 3D scene reconstruction is important for applications such as virtual reality and simulation. Existing neural rendering approaches (e.g., NeRF, 3DGS) have achieved realistic reconstructions on large scenes, but optimize per scene, which is expensive and slow, and exhibit noticeable artifacts under large view changes due to overfitting. Generalizable approaches or large reconstruction models are fast, but primarily work for small scenes/objects and often produce lower quality rendering results. In this work, we introduce G3R, a generalizable reconstruction approach that can efficiently predict high-quality 3D scene representations for large scenes. We propose to learn a reconstruction network that takes the gradient feedback signals from differentiable rendering to iteratively update a 3D scene representation, combining the benefits of high photorealism from per-scene optimization with data-driven priors from fast feed-forward prediction methods. Experiments on urban-driving and drone datasets show that G3R generalizes across diverse large scenes and accelerates the reconstruction process by at least 10x while achieving comparable or better realism compared to 3DGS, and also being more robust to large view changes.
• Abstract（参考訳）: 仮想現実やシミュレーションなどのアプリケーションでは,大規模な3Dシーン再構成が重要である。 既存のニューラルレンダリングアプローチ(例えば、NeRF、3DGS)は、大きなシーンで現実的な再構築を実現しているが、シーンごとの最適化は高価で遅い。 一般化可能なアプローチや大規模な再構築モデルは高速だが、主に小さなシーンやオブジェクトに向いており、しばしば低い品質のレンダリング結果を生成する。 本稿では,大規模シーンにおける高品質な3Dシーン表現を効率よく予測できる一般化可能な再構成手法であるG3Rを紹介する。 本稿では,3次元シーン表現を反復的に更新する,微分可能なレンダリングからの勾配フィードバック信号を学習し,シーンごとの最適化による高光写実性と高速フィードフォワード予測手法によるデータ駆動事前処理の利点を組み合わせた再構成ネットワークを提案する。 都市走行とドローンのデータセットの実験では、G3Rは様々な大きなシーンをまたいで一般化し、少なくとも10倍の再現プロセスを加速し、3DGSと同等またはより良いリアリズムを実現し、大きなビューの変更に対してより堅牢であることが示されている。

関連論文リスト

• LM-Gaussian: Boost Sparse-view 3D Gaussian Splatting with Large Model Priors [34.91966359570867]
  スパースビューの再構築は本質的に不適切であり、制約を受けていない。 本稿では,限られた画像から高品質な再構成を生成できるLM-Gaussianを紹介する。 提案手法は,従来の3DGS法と比較してデータ取得要求を大幅に削減する。
  論文  参考訳（メタデータ） (2024-09-05T12:09:02Z)
• ReconX: Reconstruct Any Scene from Sparse Views with Video Diffusion Model [16.14713604672497]
  ReconXは、時間生成タスクとして曖昧な再構築課題を再編成する、新しい3Dシーン再構築パラダイムである。 提案したReconXはまずグローバルポイントクラウドを構築し、3D構造条件としてコンテキスト空間にエンコードする。 この条件に導かれ、ビデオ拡散モデルは、ディテール保存され、高い3D一貫性を示すビデオフレームを合成する。
  論文  参考訳（メタデータ） (2024-08-29T17:59:40Z)
• Enhancement of 3D Gaussian Splatting using Raw Mesh for Photorealistic Recreation of Architectures [12.96911281844627]
  本研究では,3次元ガウスモデルを用いて建物の基本形状を抽出する手法を提案する。 この調査は,建築設計分野における3次元再構築技術の有効性を向上する新たな可能性を開くものである。
  論文  参考訳（メタデータ） (2024-07-22T07:29:38Z)
• Event3DGS: Event-Based 3D Gaussian Splatting for High-Speed Robot Egomotion [54.197343533492486]
  Event3DGSは高速移動下で高忠実度3D構造と外観を再構築することができる。 複数の合成および実世界のデータセットの実験は、既存のイベントベースの高密度な3Dシーン再構築フレームワークと比較して、Event3DGSの優位性を示している。 また, 構造的精度を損なうことなく, 外観の忠実度をより高められるように, フレームベースで数回の動特性測定を再構成プロセスに組み込むことも可能である。
  論文  参考訳（メタデータ） (2024-06-05T06:06:03Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
  本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。 提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。 本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
  論文  参考訳（メタデータ） (2023-12-05T18:59:58Z)
• NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
  我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。 我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
  論文  参考訳（メタデータ） (2022-03-21T18:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。