論文の概要: PixelGaussian: Generalizable 3D Gaussian Reconstruction from Arbitrary Views

• arxiv url: http://arxiv.org/abs/2410.18979v1
• Date: Thu, 24 Oct 2024 17:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:51:43.210303
• Title: PixelGaussian: Generalizable 3D Gaussian Reconstruction from Arbitrary Views
• Title（参考訳）: PixelGaussian: 任意視点からの3Dガウス再構成
• Authors: Xin Fei, Wenzhao Zheng, Yueqi Duan, Wei Zhan, Masayoshi Tomizuka, Kurt Keutzer, Jiwen Lu,
• Abstract要約: PixelGaussianは、任意の視点から一般化可能な3Dガウス再構成を学習するための効率的なフレームワークである。 提案手法は,様々な視点によく一般化した最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 116.10577967146762
• License:
• Abstract: We propose PixelGaussian, an efficient feed-forward framework for learning generalizable 3D Gaussian reconstruction from arbitrary views. Most existing methods rely on uniform pixel-wise Gaussian representations, which learn a fixed number of 3D Gaussians for each view and cannot generalize well to more input views. Differently, our PixelGaussian dynamically adapts both the Gaussian distribution and quantity based on geometric complexity, leading to more efficient representations and significant improvements in reconstruction quality. Specifically, we introduce a Cascade Gaussian Adapter to adjust Gaussian distribution according to local geometry complexity identified by a keypoint scorer. CGA leverages deformable attention in context-aware hypernetworks to guide Gaussian pruning and splitting, ensuring accurate representation in complex regions while reducing redundancy. Furthermore, we design a transformer-based Iterative Gaussian Refiner module that refines Gaussian representations through direct image-Gaussian interactions. Our PixelGaussian can effectively reduce Gaussian redundancy as input views increase. We conduct extensive experiments on the large-scale ACID and RealEstate10K datasets, where our method achieves state-of-the-art performance with good generalization to various numbers of views. Code: https://github.com/Barrybarry-Smith/PixelGaussian.
• Abstract（参考訳）: 任意の視点から一般化可能な3次元ガウス再構成を学習するための効率的なフィードフォワードフレームワークであるPixelGaussianを提案する。 既存の方法の多くは、一様画素のガウス表現に依存しており、各ビューに対して固定数の3Dガウス表現を学習し、より多くのインプットビューに対してうまく一般化できない。 異なることに、我々のPixelGaussianは幾何学的複雑さに基づいてガウス分布と量の両方を動的に適応させ、より効率的な表現と再構築品質の大幅な改善をもたらす。 具体的には、キーポイントスコアラーによって同定される局所幾何学的複雑性に応じてガウス分布を調整するカスケードガウス適応器を提案する。 CGAは、コンテキスト対応のハイパーネットワークにおける変形可能な注意力を活用して、ガウスの刈り取りと分割をガイドし、冗長性を低減しつつ複雑な領域における正確な表現を保証する。 さらに,変換器をベースとしたIterative Gaussian Refinerモジュールを設計し,直接画像-ガウス相互作用によりガウス表現を洗練する。 入力ビューの増加に伴い,PixelGaussianはガウスの冗長性を効果的に低減できる。 我々は大規模なACIDとRealEstate10Kデータセットについて広範な実験を行い、そこでは様々なビューに対して高い一般化を行い、最先端の性能を実現する。 コード:https://github.com/Barrybarry-Smith/PixelGaussian

関連論文リスト

• HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction [46.269350101349715]
  HiSplatは、一般化可能な3Dガウススプラッティングのための新しいフレームワークである。 階層的な3Dガウスを粗大な戦略で生成する。 これにより、再構築品質とデータセット間の一般化が大幅に向上する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:32Z)
• GaussianForest: Hierarchical-Hybrid 3D Gaussian Splatting for Compressed Scene Modeling [40.743135560583816]
  本稿では,ハイブリッド3Dガウスの森として景観を階層的に表現するガウス・フォレスト・モデリング・フレームワークを紹介する。 実験により、ガウス・フォレストは同等の速度と品質を維持するだけでなく、圧縮速度が10倍を超えることが示されている。
  論文  参考訳（メタデータ） (2024-06-13T02:41:11Z)
• R$^2$-Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction [53.19869886963333]
  3次元ガウススプラッティング(3DGS)は画像のレンダリングと表面再構成において有望な結果を示した。 本稿では,Sparse-viewトモグラフィ再構成のための3DGSベースのフレームワークであるR2$-Gaussianを紹介する。
  論文  参考訳（メタデータ） (2024-05-31T08:39:02Z)
• RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting [51.51310922527121]
  ガウススプラッティングを用いた大規模環境のためのRGBDカメラを用いたリアルタイム3D再構成システムを提案する。 それぞれのガウス語は不透明かほぼ透明で、不透明なものは表面色と支配的な色に、透明なものは残留色に適合する。 様々な大きなシーンをリアルタイムに再現し、新しいビュー合成とカメラトラッキングの精度のリアリズムにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-30T16:54:59Z)
• CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
  2次元画像空間で制御できる構造付きガウス表現を導入する。 次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。 我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
  論文  参考訳（メタデータ） (2024-03-28T15:27:13Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
  ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。 我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。 提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
  論文  参考訳（メタデータ） (2024-02-07T12:36:54Z)
• LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS [55.85673901231235]
  光ガウシアン(LightGaussian)は、3次元ガウシアンをより効率的でコンパクトなフォーマットに変換する新しい方法である。 ネットワーク・プルーニング(Network Pruning)の概念からインスピレーションを得たLightGaussianは、シーンの再構築に貢献するに足りていないガウシアンを特定する。 本稿では,全ての属性を量子化するハイブリッド方式であるVecTree Quantizationを提案する。
  論文  参考訳（メタデータ） (2023-11-28T21:39:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。