論文の概要: JOintGS: Joint Optimization of Cameras, Bodies and 3D Gaussians for In-the-Wild Monocular Reconstruction

• arxiv url: http://arxiv.org/abs/2602.04317v1
• Date: Wed, 04 Feb 2026 08:33:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.435553
• Title: JOintGS: Joint Optimization of Cameras, Bodies and 3D Gaussians for In-the-Wild Monocular Reconstruction
• Title（参考訳）: JOintGS: カメラ, ボディ, 3Dガウスアンの共同最適化
• Authors: Zihan Lou, Jinlong Fan, Sihan Ma, Yuxiang Yang, Jing Zhang,
• Abstract要約: JOintGSは、カメラ外在物、人間のポーズ、および3Dガウス表現を協調的に最適化する統合フレームワークである。 NeuManとEMDBデータセットの実験は、JOintGSが優れた再構築品質を達成することを示した。
• 参考スコア（独自算出の注目度）: 18.636227266388218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing high-fidelity animatable 3D human avatars from monocular RGB videos remains challenging, particularly in unconstrained in-the-wild scenarios where camera parameters and human poses from off-the-shelf methods (e.g., COLMAP, HMR2.0) are often inaccurate. Splatting (3DGS) advances demonstrate impressive rendering quality and real-time performance, they critically depend on precise camera calibration and pose annotations, limiting their applicability in real-world settings. We present JOintGS, a unified framework that jointly optimizes camera extrinsics, human poses, and 3D Gaussian representations from coarse initialization through a synergistic refinement mechanism. Our key insight is that explicit foreground-background disentanglement enables mutual reinforcement: static background Gaussians anchor camera estimation via multi-view consistency; refined cameras improve human body alignment through accurate temporal correspondence; optimized human poses enhance scene reconstruction by removing dynamic artifacts from static constraints. We further introduce a temporal dynamics module to capture fine-grained pose-dependent deformations and a residual color field to model illumination variations. Extensive experiments on NeuMan and EMDB datasets demonstrate that JOintGS achieves superior reconstruction quality, with 2.1~dB PSNR improvement over state-of-the-art methods on NeuMan dataset, while maintaining real-time rendering. Notably, our method shows significantly enhanced robustness to noisy initialization compared to the baseline.Our source code is available at https://github.com/MiliLab/JOintGS.
• Abstract（参考訳）: モノクルなRGBビデオから高忠実なアニマタブルな3Dアバターを再構築することは、特にカメラパラメータと人間のポーズがオフザシェルフ(例えば、COLMAP、HMR2.0)の手法で不正確な場合において、依然として困難である。 Splatting (3DGS)の進歩は、印象的なレンダリング品質とリアルタイムのパフォーマンスを示し、それらは正確なカメラキャリブレーションとアノテーションのポーズに依存し、現実の環境での適用性を制限する。 本稿では,カメラの外因性,人間のポーズ,および3次元ガウス表現を協調的に最適化する統合フレームワークJOintGSについて述べる。 我々の重要な洞察は、露骨な前景のゆがみが相互強化を可能にすることである: 静的背景ガウスアンは、マルチビューの一貫性によってカメラ推定をアンカーし、改良されたカメラは、正確な時間的対応を通して人間の身体のアライメントを改善し、最適化された人間のポーズは、静的制約から動的アーティファクトを除去することで、シーン再構築を強化する。 さらに、微粒なポーズ依存の変形を捉えるための時間動的モジュールと、照明変動をモデル化するための残留色場も導入する。 NeuManデータセットとEMDBデータセットの大規模な実験により、JOintGSは、リアルタイムレンダリングを維持しながら、NeuManデータセットの最先端の手法よりも2.1〜dB PSNRの改善により、より優れた再構築品質を実現することが示された。 我々のソースコードはhttps://github.com/MiliLab/JOintGSで公開されている。

関連論文リスト

• UPGS: Unified Pose-aware Gaussian Splatting for Dynamic Scene Deblurring [31.35713139629235]
  モノクロ映像から3Dシーンを再構成することは、カメラや物体の動きによる激しい動きのぼけによってしばしば失敗する。 学習可能なパラメータとしてカメラポーズを組み込むことにより、統一的な最適化フレームワークを導入する。 提案手法は, 従来の動的デブロアリング法に比べて, 復元品質が大きく向上し, 推定精度が向上する。
  論文  参考訳（メタデータ） (2025-08-31T13:01:03Z)
• GaVS: 3D-Grounded Video Stabilization via Temporally-Consistent Local Reconstruction and Rendering [54.489285024494855]
  ビデオの安定化は、元のユーザの動きの意図を保ちながら、望ましくないシャキネスを除去するので、ビデオ処理に欠かせない。 既存のアプローチは、運用するドメインによって、ユーザエクスペリエンスを低下させるいくつかの問題に悩まされます。 ビデオの安定化を時間的に一貫性のある局所的再構成とレンダリングのパラダイムとして再構成する,新しい3Dグラウンドアプローチである textbfGaVS を紹介する。
  論文  参考訳（メタデータ） (2025-06-30T15:24:27Z)
• FreeSplatter: Pose-free Gaussian Splatting for Sparse-view 3D Reconstruction [69.63414788486578]
  FreeSplatterはスケーラブルなフィードフォワードフレームワークで、キャリブレーションされていないスパースビュー画像から高品質な3Dガウシアンを生成する。 当社のアプローチでは,自己注意ブロックが情報交換を容易にする合理化トランスフォーマーアーキテクチャを採用している。 包括的データセットに基づいて,オブジェクト中心とシーンレベルの再構築のための2つの特殊な変種を開発する。
  論文  参考訳（メタデータ） (2024-12-12T18:52:53Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
  本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。 合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
  論文  参考訳（メタデータ） (2024-03-20T06:19:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。