論文の概要: Hybrid bundle-adjusting 3D Gaussians for view consistent rendering with pose optimization

• arxiv url: http://arxiv.org/abs/2410.13280v1
• Date: Thu, 17 Oct 2024 07:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:19:47.187680
• Title: Hybrid bundle-adjusting 3D Gaussians for view consistent rendering with pose optimization
• Title（参考訳）: ポーズ最適化を用いたビュー一貫したレンダリングのためのハイブリッドバンドル調整3次元ガウス
• Authors: Yanan Guo, Ying Xie, Ying Chang, Benkui Zhang, Bo Jia, Lin Cao,
• Abstract要約: 本稿では,ポーズ最適化によるビュー一貫性レンダリングを実現するハイブリッドなバンドル調整3Dガウスモデルを提案する。 このモデルは、画像ベースとニューラルな3D表現を共同で抽出し、前方のシーン内でビュー一貫性のある画像とカメラのポーズを同時に生成する。
• 参考スコア（独自算出の注目度）: 2.8990883469500286
• License:
• Abstract: Novel view synthesis has made significant progress in the field of 3D computer vision. However, the rendering of view-consistent novel views from imperfect camera poses remains challenging. In this paper, we introduce a hybrid bundle-adjusting 3D Gaussians model that enables view-consistent rendering with pose optimization. This model jointly extract image-based and neural 3D representations to simultaneously generate view-consistent images and camera poses within forward-facing scenes. The effective of our model is demonstrated through extensive experiments conducted on both real and synthetic datasets. These experiments clearly illustrate that our model can effectively optimize neural scene representations while simultaneously resolving significant camera pose misalignments. The source code is available at https://github.com/Bistu3DV/hybridBA.
• Abstract（参考訳）: 新しいビュー合成は3Dコンピュータビジョンの分野で大きな進歩を遂げた。 しかし、不完全なカメラポーズによるビュー一貫性のある新しいビューのレンダリングは依然として困難である。 本稿では,ポーズ最適化によるビュー一貫性レンダリングを実現するハイブリッドなバンドル調整3Dガウスモデルを提案する。 このモデルは、画像ベースとニューラルな3D表現を共同で抽出し、前方のシーン内でビュー一貫性のある画像とカメラのポーズを同時に生成する。 本モデルの有効性は,実データと合成データの両方を用いた広範囲な実験によって実証された。 これらの実験は、重要なカメラの配置ミスを解消しながら、ニューラルネットワークのシーン表現を効果的に最適化できることを明確に示している。 ソースコードはhttps://github.com/Bistu3DV/hybridBAで入手できる。

関連論文リスト

• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• BAA-NGP: Bundle-Adjusting Accelerated Neural Graphics Primitives [6.431806897364565]
  ロボットは2D画像から3D環境を理解することができる。 本稿では,バンドル調整型高速化ニューラルネットワークプリミティブ(BAA-NGP)というフレームワークを提案する。 その結果,他の束調整型ニューラルラジアンスフィールド法と比較して10～20倍の速度向上が得られた。
  論文  参考訳（メタデータ） (2023-06-07T05:36:45Z)
• DreamSparse: Escaping from Plato's Cave with 2D Frozen Diffusion Model Given Sparse Views [20.685453627120832]
  既存の手法では、品質の高い結果を生成するのに苦労したり、オブジェクトごとの最適化が必要な場合が少なくない。 DreamSparseは、オブジェクトレベルの画像とシーンレベルの画像の両方に対して高品質なノベルビューを合成することができる。
  論文  参考訳（メタデータ） (2023-06-06T05:26:26Z)
• Novel View Synthesis with Diffusion Models [56.55571338854636]
  本稿では,3Dノベルビュー合成のための拡散モデルである3DiMを提案する。 単一のインプットビューを多くのビューで一貫したシャープな補完に変換することができる。 3DiMは、条件付けと呼ばれる新しい技術を使って、3D一貫性のある複数のビューを生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T16:59:56Z)
• PixelSynth: Generating a 3D-Consistent Experience from a Single Image [30.64117903216323]
  本稿では, 自己回帰モデルを用いて3次元推論を融合させ, 大規模視界変化を3次元連続的に表現する手法を提案する。 本研究では,多種多様な方法と可能な変種と比較して,単一画像大角ビュー合成結果の大幅な改善を示す。
  論文  参考訳（メタデータ） (2021-08-12T17:59:31Z)
• CAMPARI: Camera-Aware Decomposed Generative Neural Radiance Fields [67.76151996543588]
  画像だけでなく,カメラデータ分布を忠実に復元する3次元およびカメラ認識生成モデルについて検討した。 テスト時に、私たちのモデルは、カメラを明示的に制御し、シーンの形状と外観で画像を生成します。
  論文  参考訳（メタデータ） (2021-03-31T17:59:24Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。