論文の概要: Coca-Splat: Collaborative Optimization for Camera Parameters and 3D Gaussians
- arxiv url: http://arxiv.org/abs/2504.00639v1
- Date: Tue, 01 Apr 2025 10:48:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-03 15:43:09.045037
- Title: Coca-Splat: Collaborative Optimization for Camera Parameters and 3D Gaussians
- Title（参考訳）: Coca-Splat: カメラパラメータと3次元ガウスの協調最適化
- Authors: Jiamin Wu, Hongyang Li, Xiaoke Jiang, Yuan Yao, Lei Zhang,
- Abstract要約: Coca-Splatは、スパースビューのポーズレスシーン再構築と新規ビュー合成(NVS)の課題に対処する新しいアプローチである
変形検出TRansformerにインスパイアされ、3次元ガウスおよびカメラパラメータの別クエリを設計する。
変形可能なトランスフォーマー層を通じて層ごとにレイヤを更新し、単一のネットワークで共同最適化を可能にする。
- 参考スコア（独自算出の注目度）: 26.3996055215988
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we introduce Coca-Splat, a novel approach to addressing the challenges of sparse view pose-free scene reconstruction and novel view synthesis (NVS) by jointly optimizing camera parameters with 3D Gaussians. Inspired by deformable DEtection TRansformer, we design separate queries for 3D Gaussians and camera parameters and update them layer by layer through deformable Transformer layers, enabling joint optimization in a single network. This design demonstrates better performance because to accurately render views that closely approximate ground-truth images relies on precise estimation of both 3D Gaussians and camera parameters. In such a design, the centers of 3D Gaussians are projected onto each view by camera parameters to get projected points, which are regarded as 2D reference points in deformable cross-attention. With camera-aware multi-view deformable cross-attention (CaMDFA), 3D Gaussians and camera parameters are intrinsically connected by sharing the 2D reference points. Additionally, 2D reference point determined rays (RayRef) defined from camera centers to the reference points assist in modeling relationship between 3D Gaussians and camera parameters through RQ-decomposition on an overdetermined system of equations derived from the rays, enhancing the relationship between 3D Gaussians and camera parameters. Extensive evaluation shows that our approach outperforms previous methods, both pose-required and pose-free, on RealEstate10K and ACID within the same pose-free setting.
- Abstract（参考訳）: 本研究では,3次元ガウスアンとカメラパラメータを協調的に最適化することにより,ポーズレスシーン再構築と新規ビュー合成(NVS)の課題に対処する新しいアプローチであるCoca-Splatを紹介する。
変形検出TRansformerにインスパイアされ、3次元ガウスおよびカメラパラメータの別々のクエリを設計し、変形可能なトランスフォーマー層を通じて層ごとに更新し、単一のネットワークで共同最適化を可能にする。
この設計は、3次元ガウス像とカメラパラメータの両方の正確な推定に依拠し、接地真実像を正確に描画するので、より良い性能を示す。
このような設計では、3Dガウスの中心はカメラパラメータによって各ビューに投影され、変形可能なクロスアテンションにおいて2D参照ポイントと見なされる投影点を得る。
カメラ対応多視点変形型クロスアテンション(CaMDFA)では、2D参照ポイントを共有することで3Dガウスとカメラパラメータを本質的に接続する。
さらに、カメラ中心から基準点まで定義された2次元基準点決定線(RayRef)は、3次元ガウスとカメラパラメータの関係をRQ分解によりモデル化し、3次元ガウスとカメラパラメータの関係を高める。
提案手法は,RealEstate10KとACIDにおいて,ポーズ要求条件とポーズ不要条件の両方において,従来手法よりも優れていた。
関連論文リスト
- 3R-GS: Best Practice in Optimizing Camera Poses Along with 3DGS [36.48425755917156]
3D Gaussian Splatting (3DGS)はその効率と品質でニューラルレンダリングに革命をもたらした。
これはStructure-from-Motion (SfM)システムからの正確なカメラのポーズに大きく依存する。
このギャップを埋める3Dガウススプレイティングフレームワークである3R-GSを提案する。
論文 参考訳（メタデータ） (2025-04-05T22:31:08Z) - GaussRender: Learning 3D Occupancy with Gaussian Rendering [86.89653628311565]
GaussRenderは、投影的一貫性を強制することによって3D占有学習を改善するモジュールである。
提案手法は,不整合な2次元プロジェクションを生成する3次元構成をペナライズすることにより,より一貫性のある3次元構造を実現する。
論文 参考訳（メタデータ） (2025-02-07T16:07:51Z) - GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。
我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。
いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-11-18T08:18:44Z) - No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。
提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。
この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:58:22Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization [1.4466437171584356]
軽量なXFeat特徴抽出器から高密度かつ堅牢なキーポイント記述器を3DGSに統合する2段階の手順を提案する。
第2段階では、レンダリングベースの光度ワープ損失を最小限に抑え、初期ポーズ推定を洗練させる。
広く使われている屋内および屋外データセットのベンチマークは、最近のニューラルレンダリングベースのローカライゼーション手法よりも改善されていることを示している。
論文 参考訳（メタデータ） (2024-09-24T23:18:32Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本研究では,視覚的忠実度と前景の細部を高い圧縮比で保持する原理的感度プルーニングスコアを提案する。
また,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能な複数ラウンドプルーファインパイプラインを提案する。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - InstantSplat: Sparse-view Gaussian Splatting in Seconds [91.77050739918037]
InstantSplatは,光速でスパークビュー3Dシーンを再現する新しい手法である。
InstantSplatでは,3Dシーン表現とカメラポーズを最適化する,自己管理フレームワークを採用している。
3D-GSの従来のSfMと比較して、30倍以上の再現を達成し、視覚的品質(SSIM)を0.3755から0.7624に改善する。
論文 参考訳（メタデータ） (2024-03-29T17:29:58Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳（メタデータ） (2024-03-26T17:21:24Z) - Ray3D: ray-based 3D human pose estimation for monocular absolute 3D
localization [3.5379706873065917]
キャリブレーションカメラを用いた一眼レフ3D(Ray3D)絶対姿勢推定法を提案する。
我々の手法は既存の最先端モデルよりも大幅に優れている。
論文 参考訳（メタデータ） (2022-03-22T05:42:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。