論文の概要: RoGSplat: Learning Robust Generalizable Human Gaussian Splatting from Sparse Multi-View Images

• arxiv url: http://arxiv.org/abs/2503.14198v1
• Date: Tue, 18 Mar 2025 12:18:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:15:49.174711
• Title: RoGSplat: Learning Robust Generalizable Human Gaussian Splatting from Sparse Multi-View Images
• Title（参考訳）: RoGSplat: スパースマルチビュー画像から、ロバストな一般化可能な人間のガウススプレイティングを学習する
• Authors: Junjin Xiao, Qing Zhang, Yonewei Nie, Lei Zhu, Wei-Shi Zheng,
• Abstract要約: RoGSplatは、スパースマルチビュー画像から見えない人間の高忠実な新しいビューを合成するための新しいアプローチである。 提案手法は,新しいビュー合成とクロスデータセットの一般化において,最先端の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 39.03889696169877
• License:
• Abstract: This paper presents RoGSplat, a novel approach for synthesizing high-fidelity novel views of unseen human from sparse multi-view images, while requiring no cumbersome per-subject optimization. Unlike previous methods that typically struggle with sparse views with few overlappings and are less effective in reconstructing complex human geometry, the proposed method enables robust reconstruction in such challenging conditions. Our key idea is to lift SMPL vertices to dense and reliable 3D prior points representing accurate human body geometry, and then regress human Gaussian parameters based on the points. To account for possible misalignment between SMPL model and images, we propose to predict image-aligned 3D prior points by leveraging both pixel-level features and voxel-level features, from which we regress the coarse Gaussians. To enhance the ability to capture high-frequency details, we further render depth maps from the coarse 3D Gaussians to help regress fine-grained pixel-wise Gaussians. Experiments on several benchmark datasets demonstrate that our method outperforms state-of-the-art methods in novel view synthesis and cross-dataset generalization. Our code is available at https://github.com/iSEE-Laboratory/RoGSplat.
• Abstract（参考訳）: 本稿では,多視点画像から不鮮明な人物を合成する新しい手法であるRoGSplatについて述べる。 オーバーラップが少ないスパースビューに苦しむ従来の手法とは異なり、提案手法は複雑な人体形状の再構築に効果が低いため、このような困難な状況下で頑健な再構築を可能にする。 私たちのキーとなるアイデアは、SMPLの頂点を、正確な人体形状を表す高密度で信頼性の高い3D先行点に引き上げ、その点に基づいて人間のガウスパラメータを回帰させることです。 SMPLモデルと画像の相違を考慮し,画素レベルの特徴とボクセルレベルの特徴を両立させて画像整列3Dの先行点を推定し,粗いガウスを退避させる手法を提案する。 高周波の細部を捉える能力を高めるため、粗い3Dガウスの奥行きマップを描画し、微細なピクセルワイドガウスの補正に役立てる。 いくつかのベンチマークデータセットの実験により,本手法は新規なビュー合成とクロスデータセットの一般化において最先端の手法より優れていることが示された。 私たちのコードはhttps://github.com/iSEE-Laboratory/RoGSplatで利用可能です。

関連論文リスト

• NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
  NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。 我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
  論文  参考訳（メタデータ） (2024-11-25T07:57:17Z)
• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• EVA-Gaussian: 3D Gaussian-based Real-time Human Novel View Synthesis under Diverse Multi-view Camera Settings [11.248908608011941]
  3次元ガウス散乱法は、人間のモデルに対するリアルタイムな新しいビュー合成において、例外的な能力を示した。 本研究では,多様なマルチビューカメラ設定にまたがる3次元新規ビュー合成のためのEVA-Gaussianという新しいパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-02T11:23:08Z)
• Generalizable Human Gaussians from Single-View Image [52.100234836129786]
  単視点一般化可能なHuman Gaussian Model(HGM)を導入する。 提案手法では, 粗い予測されたヒトガウスの背景画像を改良するために, ControlNet を用いる。 非現実的な人間のポーズや形状の潜在的な発生を緩和するために、SMPL-Xモデルからの人間の先行を二重分岐として組み込む。
  論文  参考訳（メタデータ） (2024-06-10T06:38:11Z)
• GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
  我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。 提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
  論文  参考訳（メタデータ） (2023-12-04T18:59:55Z)
• Depth-Regularized Optimization for 3D Gaussian Splatting in Few-Shot Images [47.14713579719103]
  オーバーフィッティングを緩和するための幾何ガイドとして,密集深度マップを導入する。 調整された深度は3Dガウススプラッティングのカラーベース最適化に有効である。 提案手法は,NeRF-LLFFデータセット上で,少ない画像数で検証する。
  論文  参考訳（メタデータ） (2023-11-22T13:53:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。