論文の概要: PhotoReg: Photometrically Registering 3D Gaussian Splatting Models

• arxiv url: http://arxiv.org/abs/2410.05044v1
• Date: Mon, 7 Oct 2024 13:58:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 00:38:19.133841
• Title: PhotoReg: Photometrically Registering 3D Gaussian Splatting Models
• Title（参考訳）: PhotoReg:3Dガウス模型の撮影記録
• Authors: Ziwen Yuan, Tianyi Zhang, Matthew Johnson-Roberson, Weiming Zhi,
• Abstract要約: 環境の正確な表現を構築することは、インテリジェントなロボットがデプロイメント中に決定を下す上で非常に重要です。 PhotoRegは、複数のフォトリアリスティックac3DGSモデルを3Dファウンデーションモデルで登録するフレームワークである。
• 参考スコア（独自算出の注目度）: 13.58353565350936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Building accurate representations of the environment is critical for intelligent robots to make decisions during deployment. Advances in photorealistic environment models have enabled robots to develop hyper-realistic reconstructions, which can be used to generate images that are intuitive for human inspection. In particular, the recently introduced \ac{3DGS}, which describes the scene with up to millions of primitive ellipsoids, can be rendered in real time. \ac{3DGS} has rapidly gained prominence. However, a critical unsolved problem persists: how can we fuse multiple \ac{3DGS} into a single coherent model? Solving this problem will enable robot teams to jointly build \ac{3DGS} models of their surroundings. A key insight of this work is to leverage the {duality} between photorealistic reconstructions, which render realistic 2D images from 3D structure, and \emph{3D foundation models}, which predict 3D structure from image pairs. To this end, we develop PhotoReg, a framework to register multiple photorealistic \ac{3DGS} models with 3D foundation models. As \ac{3DGS} models are generally built from monocular camera images, they have \emph{arbitrary scale}. To resolve this, PhotoReg actively enforces scale consistency among the different \ac{3DGS} models by considering depth estimates within these models. Then, the alignment is iteratively refined with fine-grained photometric losses to produce high-quality fused \ac{3DGS} models. We rigorously evaluate PhotoReg on both standard benchmark datasets and our custom-collected datasets, including with two quadruped robots. The code is released at \url{ziweny11.github.io/photoreg}.
• Abstract（参考訳）: 環境の正確な表現を構築することは、インテリジェントなロボットがデプロイメント中に決定を下す上で非常に重要です。 フォトリアリスティック環境モデルの進歩により、ロボットは人間の検査に直感的な画像を生成することができる超現実的再構成を開発できるようになった。 特に、数百万の原始楕円体を持つシーンを記述した最近導入された \ac{3DGS} は、リアルタイムでレンダリングできる。 \ac{3DGS} は急速に有名になった。 しかし、重要な未解決問題は、どのようにして複数の \ac{3DGS} を単一のコヒーレントモデルに融合できるのか? この問題を解決することで、ロボットチームは周囲の \ac{3DGS} モデルを共同で構築できる。 この研究の重要な洞察は、3D構造から現実的な2D画像をレンダリングするフォトリアリスティックな再構成と、画像ペアから3D構造を予測する「emph{3D foundation model}」の間の「二重性」を活用することである。 この目的のために,3次元基礎モデルを用いた複数のフォトリアリスティック \ac{3DGS} モデルを登録するフレームワークである PhotoReg を開発した。 \ac{3DGS} モデルは一般に単眼カメラ画像から構築されるため、それらは \emph{arbitrary scale} を持つ。 これを解決するためにPhotoRegは、これらのモデル内の深さ推定を考慮し、異なる \ac{3DGS} モデルのスケール一貫性を積極的に強化する。 次に、アライメントは微細な光度損失で反復的に洗練され、高品質な融合 \ac{3DGS} モデルを生成する。 2つの四足歩行ロボットを含む、標準ベンチマークデータセットとカスタムコンパイルデータセットの両方で、PhotoRegを厳格に評価しています。 コードは \url{ziweny11.github.io/photoreg} でリリースされる。

関連論文リスト

• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• Probing the 3D Awareness of Visual Foundation Models [56.68380136809413]
  視覚基礎モデルの3次元認識を解析する。 凍結した特徴に対するタスク固有プローブとゼロショット推論手法を用いて実験を行う。
  論文  参考訳（メタデータ） (2024-04-12T17:58:04Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• Visual Localization using Imperfect 3D Models from the Internet [54.731309449883284]
  本稿では,3次元モデルにおける欠陥が局所化精度に与える影響について検討する。 インターネットから得られる3Dモデルは、容易に表現できるシーン表現として有望であることを示す。
  論文  参考訳（メタデータ） (2023-04-12T16:15:05Z)
• CAMPARI: Camera-Aware Decomposed Generative Neural Radiance Fields [67.76151996543588]
  画像だけでなく,カメラデータ分布を忠実に復元する3次元およびカメラ認識生成モデルについて検討した。 テスト時に、私たちのモデルは、カメラを明示的に制御し、シーンの形状と外観で画像を生成します。
  論文  参考訳（メタデータ） (2021-03-31T17:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。