論文の概要: Coca-Splat: Collaborative Optimization for Camera Parameters and 3D Gaussians

• arxiv url: http://arxiv.org/abs/2504.00639v1
• Date: Tue, 01 Apr 2025 10:48:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:21:58.343219
• Title: Coca-Splat: Collaborative Optimization for Camera Parameters and 3D Gaussians
• Title（参考訳）: Coca-Splat: カメラパラメータと3次元ガウスの協調最適化
• Authors: Jiamin Wu, Hongyang Li, Xiaoke Jiang, Yuan Yao, Lei Zhang,
• Abstract要約: Coca-Splatは、スパースビューのポーズレスシーン再構築と新規ビュー合成(NVS)の課題に対処する新しいアプローチである 変形検出TRansformerにインスパイアされ、3次元ガウスおよびカメラパラメータの別クエリを設計する。 変形可能なトランスフォーマー層を通じて層ごとにレイヤを更新し、単一のネットワークで共同最適化を可能にする。
• 参考スコア（独自算出の注目度）: 26.3996055215988
• License:
• Abstract: In this work, we introduce Coca-Splat, a novel approach to addressing the challenges of sparse view pose-free scene reconstruction and novel view synthesis (NVS) by jointly optimizing camera parameters with 3D Gaussians. Inspired by deformable DEtection TRansformer, we design separate queries for 3D Gaussians and camera parameters and update them layer by layer through deformable Transformer layers, enabling joint optimization in a single network. This design demonstrates better performance because to accurately render views that closely approximate ground-truth images relies on precise estimation of both 3D Gaussians and camera parameters. In such a design, the centers of 3D Gaussians are projected onto each view by camera parameters to get projected points, which are regarded as 2D reference points in deformable cross-attention. With camera-aware multi-view deformable cross-attention (CaMDFA), 3D Gaussians and camera parameters are intrinsically connected by sharing the 2D reference points. Additionally, 2D reference point determined rays (RayRef) defined from camera centers to the reference points assist in modeling relationship between 3D Gaussians and camera parameters through RQ-decomposition on an overdetermined system of equations derived from the rays, enhancing the relationship between 3D Gaussians and camera parameters. Extensive evaluation shows that our approach outperforms previous methods, both pose-required and pose-free, on RealEstate10K and ACID within the same pose-free setting.
• Abstract（参考訳）: 本研究では,3次元ガウスアンとカメラパラメータを協調的に最適化することにより,ポーズレスシーン再構築と新規ビュー合成(NVS)の課題に対処する新しいアプローチであるCoca-Splatを紹介する。 変形検出TRansformerにインスパイアされ、3次元ガウスおよびカメラパラメータの別々のクエリを設計し、変形可能なトランスフォーマー層を通じて層ごとに更新し、単一のネットワークで共同最適化を可能にする。 この設計は、3次元ガウス像とカメラパラメータの両方の正確な推定に依拠し、接地真実像を正確に描画するので、より良い性能を示す。 このような設計では、3Dガウスの中心はカメラパラメータによって各ビューに投影され、変形可能なクロスアテンションにおいて2D参照ポイントと見なされる投影点を得る。 カメラ対応多視点変形型クロスアテンション(CaMDFA)では、2D参照ポイントを共有することで3Dガウスとカメラパラメータを本質的に接続する。 さらに、カメラ中心から基準点まで定義された2次元基準点決定線(RayRef)は、3次元ガウスとカメラパラメータの関係をRQ分解によりモデル化し、3次元ガウスとカメラパラメータの関係を高める。 提案手法は,RealEstate10KとACIDにおいて,ポーズ要求条件とポーズ不要条件の両方において,従来手法よりも優れていた。

関連論文リスト

• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• EVA-Gaussian: 3D Gaussian-based Real-time Human Novel View Synthesis under Diverse Multi-view Camera Settings [11.248908608011941]
  3次元ガウス散乱法は、人間のモデルに対するリアルタイムな新しいビュー合成において、例外的な能力を示した。 本研究では,多様なマルチビューカメラ設定にまたがる3次元新規ビュー合成のためのEVA-Gaussianという新しいパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-02T11:23:08Z)
• Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis [11.236094544193605]
  従来の幾何学に基づくSLAMシステムは、密度の高い3D再構成機能を持たない。 本稿では,新しいビュー合成技術である3次元ガウススプラッティングを組み込んだリアルタイムRGB-D SLAMシステムを提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:23:08Z)
• PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
  本研究では,視覚的忠実度と前景の細部を高い圧縮比で保持する原理的感度プルーニングスコアを提案する。 また,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能な複数ラウンドプルーファインパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-14T17:53:55Z)
• 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
  3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。 多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。 競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:21:24Z)
• Ray3D: ray-based 3D human pose estimation for monocular absolute 3D localization [3.5379706873065917]
  キャリブレーションカメラを用いた一眼レフ3D(Ray3D)絶対姿勢推定法を提案する。 我々の手法は既存の最先端モデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2022-03-22T05:42:31Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。