論文の概要: GASPACHO: Gaussian Splatting for Controllable Humans and Objects
- arxiv url: http://arxiv.org/abs/2503.09342v1
- Date: Wed, 12 Mar 2025 12:38:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-13 21:17:52.757071
- Title: GASPACHO: Gaussian Splatting for Controllable Humans and Objects
- Title（参考訳）: GASPACHO: 制御可能な人間と物体のためのガウススプレイティング
- Authors: Aymen Mir, Arthur Moreau, Helisa Dhamo, Zhensong Zhang, Eduardo Pérez-Pellitero,
- Abstract要約: 本稿では,人間と物体の相互作用の制御可能なレンダリングを生成する手法を提案する。
ヒトと物体の相互作用の多視点RGB画像が与えられた場合、本手法は人間と物体のアニマタブルテンプレートをガウスの別集合として再構成する。
- 参考スコア（独自算出の注目度）: 10.340305052839856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present GASPACHO: a method for generating photorealistic controllable renderings of human-object interactions. Given a set of multi-view RGB images of human-object interactions, our method reconstructs animatable templates of the human and object as separate sets of Gaussians simultaneously. Different from existing work, which focuses on human reconstruction and ignores objects as background, our method explicitly reconstructs both humans and objects, thereby allowing for controllable renderings of novel human object interactions in different poses from novel-camera viewpoints. During reconstruction, we constrain the Gaussians that generate rendered images to be a linear function of a set of canonical Gaussians. By simply changing the parameters of the linear deformation functions after training, our method can generate renderings of novel human-object interaction in novel poses from novel camera viewpoints. We learn the 3D Gaussian properties of the canonical Gaussians on the underlying 2D manifold of the canonical human and object templates. This in turns requires a canonical object template with a fixed UV unwrapping. To define such an object template, we use a feature based representation to track the object across the multi-view sequence. We further propose an occlusion aware photometric loss that allows for reconstructions under significant occlusions. Several experiments on two human-object datasets - BEHAVE and DNA-Rendering - demonstrate that our method allows for high-quality reconstruction of human and object templates under significant occlusion and the synthesis of controllable renderings of novel human-object interactions in novel human poses from novel camera views.
- Abstract（参考訳）: 本稿では,人間と物体の相互作用を写実的に制御可能なレンダリングを生成するGASPACHOを提案する。
ヒトと物体の相互作用の多視点RGB画像の集合を与えられた場合、本手法は、人間と物体のアニマタブルテンプレートをガウスの別個の集合として同時に再構成する。
対象を背景として再現・無視する既存の作業とは違い,本手法は人間と物体の両方を明示的に再構成し,新規なカメラ視点から異なるポーズにおける新規な物体相互作用の制御可能なレンダリングを可能にする。
再構成の際には、描画された画像を生成するガウス人は、正準ガウスの集合の線型関数となるよう制約する。
トレーニング後の線形変形関数のパラメータを単純に変更することで、新しいカメラ視点から、新しいポーズにおける人間と物体の相互作用のレンダリングを生成することができる。
正準人および対象テンプレートの基礎となる2次元多様体上で、正準ガウス多様体の3次元ガウス的性質を学習する。
これにより、固定されたUVアンラッピングを備えた標準オブジェクトテンプレートが必要になる。
このようなオブジェクトテンプレートを定義するために、マルチビューシーケンスでオブジェクトを追跡するために特徴ベースの表現を使用します。
また,重要な閉塞下での再建を可能にする光線量損失を意識したオクルージョンを新たに提案する。
BEHAVE と DNA-Rendering という2つのオブジェクト・データセットに関するいくつかの実験により,本手法が人間とオブジェクトのテンプレートを高い閉塞下で高画質に再構築し,新規なカメラビューから新規なオブジェクト・インタラクションの制御可能なレンダリングを合成できることが実証された。
関連論文リスト
- ODHSR: Online Dense 3D Reconstruction of Humans and Scenes from Monocular Videos [18.73641648585445]
最近のニューラルレンダリングの進歩により、全体的人間シーンの再構築が可能になったが、事前に校正されたカメラと人間のポーズが必要である。
本稿では,オンライン形式でカメラトラッキング,ポーズ推定,ヒューマンシーン再構築を同時に行う新しい統合フレームワークを提案する。
具体的には,人間の変形モジュールを設計し,細部を再構築し,分布外への一般化性を高める。
論文 参考訳（メタデータ） (2025-04-17T17:59:02Z) - Zero-Shot Human-Object Interaction Synthesis with Multimodal Priors [31.277540988829976]
本稿では,現在限定されている3次元HOIデータセットのエンドツーエンドトレーニングに頼ることなく,新しいゼロショットHOI合成フレームワークを提案する。
我々は、事前訓練された人間のポーズ推定モデルを用いて、人間のポーズを抽出し、一般化可能なカテゴリレベルの6-DoF推定手法を導入し、2次元HOI画像からオブジェクトポーズを求める。
論文 参考訳（メタデータ） (2025-03-25T23:55:47Z) - Realistic Clothed Human and Object Joint Reconstruction from a Single Image [26.57698106821237]
モノクラービューからリアルな3D衣服と物体を共同で再構築するための新しい暗黙のアプローチを導入する。
初めて、私たちは暗黙の表現で人間と物体の両方をモデル化し、衣服のようなより現実的な詳細を捉えます。
論文 参考訳（メタデータ） (2025-02-25T12:26:36Z) - WonderHuman: Hallucinating Unseen Parts in Dynamic 3D Human Reconstruction [51.22641018932625]
我々はWonderHumanをモノクラービデオから再構成し、高忠実なノベルビューの合成を行う。
提案手法は,与えられたモノクロ映像からフォトリアリスティックなレンダリングを生成する場合のSOTA性能を実現する。
論文 参考訳（メタデータ） (2025-02-03T04:43:41Z) - StackFLOW: Monocular Human-Object Reconstruction by Stacked Normalizing Flow with Offset [56.71580976007712]
本研究では,人間のメッシュと物体メッシュの表面から密にサンプリングされたアンカー間の人物体オフセットを用いて,人物体空間関係を表現することを提案する。
この表現に基づいて、画像から人・物間の空間関係の後方分布を推定するスタック正規化フロー(StackFLOW)を提案する。
最適化段階では、サンプルの可能性を最大化することにより、人体ポーズと物体6Dポーズを微調整する。
論文 参考訳（メタデータ） (2024-07-30T04:57:21Z) - Generalizable Human Gaussians from Single-View Image [52.100234836129786]
単視点一般化可能なHuman Gaussian Model(HGM)を導入する。
提案手法では, 粗い予測されたヒトガウスの背景画像を改良するために, ControlNet を用いる。
非現実的な人間のポーズや形状の潜在的な発生を緩和するために、SMPL-Xモデルからの人間の先行を二重分岐として組み込む。
論文 参考訳（メタデータ） (2024-06-10T06:38:11Z) - Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。
ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。
当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
論文 参考訳（メタデータ） (2023-12-22T20:56:46Z) - Novel View Synthesis of Humans using Differentiable Rendering [50.57718384229912]
我々は新しいポーズで人々の新しい視点を合成するための新しいアプローチを提案する。
我々の合成はヒトの骨格構造を表す拡散ガウス原始体を用いる。
これらのプリミティブをレンダリングすると、高次元の潜像が得られ、デコーダネットワークによってRGBイメージに変換される。
論文 参考訳（メタデータ） (2023-03-28T10:48:33Z) - Neural Novel Actor: Learning a Generalized Animatable Neural
Representation for Human Actors [98.24047528960406]
本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。
学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
論文 参考訳（メタデータ） (2022-08-25T07:36:46Z) - CHORE: Contact, Human and Object REconstruction from a single RGB image [40.817960406002506]
CHOREは、1枚のRGB画像から人間と物体を共同で再構築する方法である。
2つの符号のない距離場で暗黙的に表現された人間と物体の神経再構成を計算する。
提案手法で得られた共同再建がSOTAを著しく上回ることを示す実験を行った。
論文 参考訳（メタデータ） (2022-04-05T18:38:06Z) - Human Pose Manipulation and Novel View Synthesis using Differentiable
Rendering [46.04980667824064]
我々は新しいポーズで人々の新しい視点を合成するための新しいアプローチを提案する。
我々の合成はヒトの骨格構造を表す拡散ガウス原始体を用いる。
これらのプリミティブをレンダリングすると、高次元の潜像が得られ、デコーダネットワークによってRGBイメージに変換される。
論文 参考訳（メタデータ） (2021-11-24T19:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。