論文の概要: Real-time High-fidelity Gaussian Human Avatars with Position-based Interpolation of Spatially Distributed MLPs

• arxiv url: http://arxiv.org/abs/2504.12909v1
• Date: Thu, 17 Apr 2025 12:57:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:35:42.721694
• Title: Real-time High-fidelity Gaussian Human Avatars with Position-based Interpolation of Spatially Distributed MLPs
• Title（参考訳）: 空間分布型MLPの位置補間を用いたリアルタイム高忠実なガウス人アバター
• Authors: Youyi Zhan, Tianjia Shao, Yin Yang, Kun Zhou,
• Abstract要約: 本研究では,高忠実度ポーズ依存性を細部で再現し,リアルタイムにレンダリングできるガウス人アバターの表現を提案する。 提案手法は,より細部で外観品質が向上する一方,新規なビューや新しいポーズでは速度が著しく向上する。
• 参考スコア（独自算出の注目度）: 33.97051798405167
• License:
• Abstract: Many works have succeeded in reconstructing Gaussian human avatars from multi-view videos. However, they either struggle to capture pose-dependent appearance details with a single MLP, or rely on a computationally intensive neural network to reconstruct high-fidelity appearance but with rendering performance degraded to non-real-time. We propose a novel Gaussian human avatar representation that can reconstruct high-fidelity pose-dependence appearance with details and meanwhile can be rendered in real time. Our Gaussian avatar is empowered by spatially distributed MLPs which are explicitly located on different positions on human body. The parameters stored in each Gaussian are obtained by interpolating from the outputs of its nearby MLPs based on their distances. To avoid undesired smooth Gaussian property changing during interpolation, for each Gaussian we define a set of Gaussian offset basis, and a linear combination of basis represents the Gaussian property offsets relative to the neutral properties. Then we propose to let the MLPs output a set of coefficients corresponding to the basis. In this way, although Gaussian coefficients are derived from interpolation and change smoothly, the Gaussian offset basis is learned freely without constraints. The smoothly varying coefficients combined with freely learned basis can still produce distinctly different Gaussian property offsets, allowing the ability to learn high-frequency spatial signals. We further use control points to constrain the Gaussians distributed on a surface layer rather than allowing them to be irregularly distributed inside the body, to help the human avatar generalize better when animated under novel poses. Compared to the state-of-the-art method, our method achieves better appearance quality with finer details while the rendering speed is significantly faster under novel views and novel poses.
• Abstract（参考訳）: 多くの作品が多視点ビデオからガウス人のアバターを再構築することに成功している。 しかし、単一のMLPでポーズ依存の外観の詳細を捉えるのに苦労するか、あるいは高忠実さの外観を再構築するために計算集約的なニューラルネットワークに依存するが、レンダリング性能は非リアルタイムに低下する。 本研究では,高忠実度ポーズ依存の外観を細部で再現し,同時にリアルタイムに表現できる新しいガウス人アバター表現を提案する。 我々のガウスアバターは、人体上の異なる位置にある空間分布のMLPによって強化されている。 各ガウスアンに格納されているパラメータは、その距離に基づいて、その近傍のMLPの出力から補間することによって得られる。 補間中に変化する望ましくない滑らかなガウス的性質を避けるために、各ガウス的オフセット基底の集合を定義し、基底の線形結合は中立性に対してガウス的オフセットを表す。 次に, MLP が基底に対応する係数の集合を出力することを提案する。 このように、ガウス係数は補間から導かれ、滑らかに変化するが、ガウスオフセット基底は制約なしで自由に学習される。 滑らかに変化する係数と自由学習ベースを組み合わせることで、異なるガウス特性のオフセットを生成できるため、高周波空間信号の学習が可能になる。 我々はさらにコントロールポイントを用いて、ガウスを体中に不規則に分散させるのではなく、表面層上に分散させるように拘束する。 提案手法は最先端の手法と比較して細部で外観品質が向上し,新規なビューや新規ポーズではレンダリング速度が大幅に向上する。

関連論文リスト

• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• PixelGaussian: Generalizable 3D Gaussian Reconstruction from Arbitrary Views [116.10577967146762]
  PixelGaussianは、任意の視点から一般化可能な3Dガウス再構成を学習するための効率的なフレームワークである。 提案手法は,様々な視点によく一般化した最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-10-24T17:59:58Z)
• EVA-Gaussian: 3D Gaussian-based Real-time Human Novel View Synthesis under Diverse Multi-view Camera Settings [11.248908608011941]
  3次元ガウス散乱法は、人間のモデルに対するリアルタイムな新しいビュー合成において、例外的な能力を示した。 本研究では,多様なマルチビューカメラ設定にまたがる3次元新規ビュー合成のためのEVA-Gaussianという新しいパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-02T11:23:08Z)
• Gaussian Eigen Models for Human Heads [28.49783203616257]
  現在のパーソナライズされたニューラルヘッドアバターはトレードオフに直面している。軽量モデルは詳細とリアリズムを欠いているが、高品質でアニマタブルなアバターは計算資源がかなり必要である。 本稿では,高品質で軽量で制御しやすい頭部アバターを提供するガウス固有モデル(GEM)を紹介する。
  論文  参考訳（メタデータ） (2024-07-05T14:30:24Z)
• Generalizable Human Gaussians from Single-View Image [52.100234836129786]
  単視点一般化可能なHuman Gaussian Model(HGM)を導入する。 提案手法では, 粗い予測されたヒトガウスの背景画像を改良するために, ControlNet を用いる。 非現実的な人間のポーズや形状の潜在的な発生を緩和するために、SMPL-Xモデルからの人間の先行を二重分岐として組み込む。
  論文  参考訳（メタデータ） (2024-06-10T06:38:11Z)
• Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
  ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。 我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。 提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
  論文  参考訳（メタデータ） (2024-02-07T12:36:54Z)
• GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
  ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。 本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。 提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
  論文  参考訳（メタデータ） (2023-12-18T18:59:12Z)
• Animatable 3D Gaussians for High-fidelity Synthesis of Human Motions [37.50707388577952]
  本稿では,高忠実度自由視点人間の動きをリアルタイムにレンダリングするための,アニマタブルな3次元ガウスモデルを提案する。 既存のNeRFベースの手法と比較して、このモデルはビデオフレーム間のジッタリングの問題なく、高周波の詳細で優れた能力を持っている。
  論文  参考訳（メタデータ） (2023-11-22T14:00:23Z)
• SplatArmor: Articulated Gaussian splatting for animatable humans from monocular RGB videos [15.74530749823217]
  SplatArmorは, 3次元ガウスモデルを用いたパラメータ化ボディモデルの装甲により, 詳細かつアニマタブルな人体モデルを復元する新しい手法である。 我々のアプローチは、人間を標準空間内の3次元ガウスの集合として表現し、その記述は、下層のSMPL幾何学のスキン化を拡張することによって定義される。 ZJU MoCap と People Snapshot のデータセットに魅力的な結果が得られた。
  論文  参考訳（メタデータ） (2023-11-17T18:47:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。