論文の概要: JADE: Joint-aware Latent Diffusion for 3D Human Generative Modeling

• arxiv url: http://arxiv.org/abs/2412.20470v1
• Date: Sun, 29 Dec 2024 14:18:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:06:19.262682
• Title: JADE: Joint-aware Latent Diffusion for 3D Human Generative Modeling
• Title（参考訳）: JADE:3次元人為的生成モデリングのための関節認識潜在拡散
• Authors: Haorui Ji, Rong Wang, Taojun Lin, Hongdong Li,
• Abstract要約: JADEは人体形状の変化を微粒化制御で学習する生成フレームワークである。 私たちの重要な洞察は、人体を骨格構造に分解する共同認識の潜伏表現です。 提案した分解条件下でのコヒーレントで可塑性な人体形状を生成するため,カスケードパイプラインも提案する。
• 参考スコア（独自算出の注目度）: 62.77347895550087
• License:
• Abstract: Generative modeling of 3D human bodies have been studied extensively in computer vision. The core is to design a compact latent representation that is both expressive and semantically interpretable, yet existing approaches struggle to achieve both requirements. In this work, we introduce JADE, a generative framework that learns the variations of human shapes with fined-grained control. Our key insight is a joint-aware latent representation that decomposes human bodies into skeleton structures, modeled by joint positions, and local surface geometries, characterized by features attached to each joint. This disentangled latent space design enables geometric and semantic interpretation, facilitating users with flexible controllability. To generate coherent and plausible human shapes under our proposed decomposition, we also present a cascaded pipeline where two diffusions are employed to model the distribution of skeleton structures and local surface geometries respectively. Extensive experiments are conducted on public datasets, where we demonstrate the effectiveness of JADE framework in multiple tasks in terms of autoencoding reconstruction accuracy, editing controllability and generation quality compared with existing methods.
• Abstract（参考訳）: 3次元人体の生成モデリングはコンピュータビジョンにおいて広く研究されている。 コアとなるのは、表現的かつ意味論的に解釈可能なコンパクトな潜在表現を設計することだが、既存のアプローチは両方の要件を達成するのに苦労している。 本研究では,人体形状の変化を微粒化制御で学習する生成フレームワークであるJADEを紹介する。 我々の重要な洞察は、人体を骨格構造に分解し、関節の位置をモデル化し、各関節に付着した特徴を特徴付ける、関節対応の潜伏表現である。 このゆがみのない空間設計は、幾何学的および意味論的解釈を可能にし、フレキシブルな制御性を持つユーザを容易にする。 提案した分解条件下でのコヒーレントな人体形状と可塑性な人体形状を生成するために,骨格構造と局所表面形状の分布をモデル化するために2つの拡散を用いたカスケードパイプラインを提案する。 複数のタスクにおいてJADEフレームワークの有効性を, 自動符号化の精度, 制御可能性の編集, 生成品質の観点から検証した。

関連論文リスト

• GEAL: Generalizable 3D Affordance Learning with Cross-Modal Consistency [50.11520458252128]
  既存の3Dアベイランス学習手法は、注釈付きデータに制限があるため、一般化と堅牢性に苦慮している。 本稿では,大規模事前学習型2Dモデルを活用することで,3次元アベイランス学習の一般化と堅牢性を高めるための新しいフレームワークであるGEALを提案する。 GEALは、既存のメソッドと、新しいオブジェクトカテゴリ、および破損したデータにおいて、一貫して優れています。
  論文  参考訳（メタデータ） (2024-12-12T17:59:03Z)
• DiHuR: Diffusion-Guided Generalizable Human Reconstruction [51.31232435994026]
  一般化可能なヒト3次元再構成のための拡散誘導モデルであるDiHuRを導入し,スパース・ミニマル・オーバーラップ画像からのビュー合成について述べる。 提案手法は, 一般化可能なフィードフォワードモデルと2次元拡散モデルとの2つのキー前処理をコヒーレントな方法で統合する。
  論文  参考訳（メタデータ） (2024-11-16T03:52:23Z)
• StructLDM: Structured Latent Diffusion for 3D Human Generation [45.51684124904457]
  StructLDMは2次元画像から学習した拡散に基づく非条件の人間の生成モデルである。 ポーズ/ビュー/シェイプコントロールや、合成世代、部品認識の衣服編集、3Dバーチャルトライオンなどのハイレベルなタスクなど、さまざまなレベルのコントロール可能な3Dヒューマン生成と編集を可能にする。
  論文  参考訳（メタデータ） (2024-04-01T17:00:18Z)
• An End-to-End Deep Learning Generative Framework for Refinable Shape Matching and Generation [45.820901263103806]
  In-Silico Clinical Trials (ISCTs) の必要条件としての形状生成モデルの構築 本研究では,非教師なしの幾何学的深層学習モデルを構築し,潜在空間における補修可能な形状対応を確立する。 提案するベースモデルを,より可変性を高めるために,結合形状生成クラスタリングマルチアトラスフレームワークに拡張する。
  論文  参考訳（メタデータ） (2024-03-10T21:33:53Z)
• SPAMs: Structured Implicit Parametric Models [30.19414242608965]
  本研究では,非剛体物体の動きを形状とポーズの部分的不整合表現に構造的に分解する変形可能なオブジェクト表現として,構造化単純パラメトリックモデル(SPAM)を学習する。 複雑な変形物体の動きの深度配列の復元と追跡において、我々の部分認識形状とポーズ理解が最先端のパフォーマンスに繋がることを示す実験を行った。
  論文  参考訳（メタデータ） (2022-01-20T12:33:46Z)
• 3D Shape Variational Autoencoder Latent Disentanglement via Mini-Batch Feature Swapping for Bodies and Faces [12.114711258010367]
  本稿では,3次元形状変化型オートエンコーダを訓練する自己教師型アプローチを提案する。 3Dメッシュで行った実験結果から,潜伏不整合に対する最先端の手法では顔と身体の同一性を取り除けないことが明らかとなった。
  論文  参考訳（メタデータ） (2021-11-24T11:53:33Z)
• THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers [67.8628917474705]
  THUNDRは、人の3Dポーズと形状を再構築するトランスフォーマーベースのディープニューラルネットワーク手法である。 完全教師付きモデルと自己教師型モデルの両方に対して,Human3.6Mと3DPWの最先端結果を示す。 野生で収集された難易度の高い人間のポーズに対して, 非常に堅固な3次元再構成性能を観察した。
  論文  参考訳（メタデータ） (2021-06-17T09:09:24Z)
• What and Where: Modeling Skeletons from Semantic and Spatial Perspectives for Action Recognition [46.836815779215456]
  本研究では,新しい空間的視点から骨格をモデル化することを提案する。 意味論的観点から,共同関係のモデル化に熟練したトランスフォーマー型ネットワークを提案する。 空間的観点から,スケルトンデータをスパース形式に変換し,効率的な特徴抽出を行う。
  論文  参考訳（メタデータ） (2020-04-07T10:53:45Z)
• Learning 3D Human Shape and Pose from Dense Body Parts [117.46290013548533]
  本研究では,3次元の人体形状を学習し,身体部分の密接な対応からポーズをとるために,分解・集約ネットワーク(DaNet)を提案する。 ローカルストリームからのメッセージは集約され、回転ベースのポーズの堅牢な予測が強化される。 提案手法は,Human3.6M,UP3D,COCO,3DPWを含む屋内および実世界のデータセットで検証される。
  論文  参考訳（メタデータ） (2019-12-31T15:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。