論文の概要: DRiVE: Diffusion-based Rigging Empowers Generation of Versatile and Expressive Characters

• arxiv url: http://arxiv.org/abs/2411.17423v1
• Date: Tue, 26 Nov 2024 13:30:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:34:51.744999
• Title: DRiVE: Diffusion-based Rigging Empowers Generation of Versatile and Expressive Characters
• Title（参考訳）: DRiVE: 浮動小数点と表現的文字を生成する拡散型リグ
• Authors: Mingze Sun, Junhao Chen, Junting Dong, Yurun Chen, Xinyu Jiang, Shiwei Mao, Puhua Jiang, Jingbo Wang, Bo Dai, Ruqi Huang,
• Abstract要約: DRiVEは複雑な構造を持つ3Dヒューマンキャラクタの生成とリグのための新しいフレームワークである。 コードとデータセットは受理後、学術的利用のために公開される。
• 参考スコア（独自算出の注目度）: 15.626704323367983
• License:
• Abstract: Recent advances in generative models have enabled high-quality 3D character reconstruction from multi-modal. However, animating these generated characters remains a challenging task, especially for complex elements like garments and hair, due to the lack of large-scale datasets and effective rigging methods. To address this gap, we curate AnimeRig, a large-scale dataset with detailed skeleton and skinning annotations. Building upon this, we propose DRiVE, a novel framework for generating and rigging 3D human characters with intricate structures. Unlike existing methods, DRiVE utilizes a 3D Gaussian representation, facilitating efficient animation and high-quality rendering. We further introduce GSDiff, a 3D Gaussian-based diffusion module that predicts joint positions as spatial distributions, overcoming the limitations of regression-based approaches. Extensive experiments demonstrate that DRiVE achieves precise rigging results, enabling realistic dynamics for clothing and hair, and surpassing previous methods in both quality and versatility. The code and dataset will be made public for academic use upon acceptance.
• Abstract（参考訳）: 生成モデルの最近の進歩は、マルチモーダルからの高品質な3D文字再構成を可能にしている。 しかし、これらの生成された文字をアニメーションすることは、特に衣服や毛髪のような複雑な要素にとって、大規模なデータセットや効果的なリギング方法が欠如しているため、依然として難しい課題である。 このギャップに対処するため、詳細なスケルトンとスキンアノテーションを備えた大規模なデータセットであるAnimeRigをキュレートする。 そこで本研究では,複雑な構造を持つ3次元人物の生成とリグのための新しいフレームワークであるDRiVEを提案する。 既存の方法とは異なり、DRiVEは3Dガウス表現を使用し、効率的なアニメーションと高品質なレンダリングを容易にする。 さらに,空間分布としての関節位置を予測し,回帰に基づくアプローチの限界を克服する3次元ガウス拡散モジュールであるGSDiffを導入する。 大規模な実験により、DRiVEは正確なリグの結果を達成し、衣服と毛髪の現実的なダイナミックスを可能にし、品質と汎用性の両方において以前の方法を上回ることを実証した。 コードとデータセットは受理後、学術的利用のために公開される。

関連論文リスト

• MagicArticulate: Make Your 3D Models Articulation-Ready [109.35703811628045]
  静的な3Dモデルを自動的に調音可能なアセットに変換する効果的なフレームワークであるMagicArticulateを提案する。 まず,高品質な調音アノテーションを備えた33k以上の3Dモデルを含むArticulation-averseベンチマークを紹介し,XL-XLから慎重にキュレートする。 大規模な実験では、MagicArticulateはさまざまなオブジェクトカテゴリで既存のメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-02-17T18:53:27Z)
• GaussRender: Learning 3D Occupancy with Gaussian Rendering [84.60008381280286]
  GaussRenderは、Voxelベースの監視を強化する3Dから2Dへのプラグアンドプレイのリジェクション損失である。 提案手法は, 任意の2次元視点に3次元ボクセル表現を投影し, ガウススプラッティングをボクセルの効率的かつ微分可能なレンダリングプロキシとして活用する。
  論文  参考訳（メタデータ） (2025-02-07T16:07:51Z)
• DiffSplat: Repurposing Image Diffusion Models for Scalable Gaussian Splat Generation [33.62074896816882]
  DiffSplatは,大規模テキスト・画像拡散モデルを用いて3次元ガウススプラットを生成する新しい3次元生成フレームワークである。 従来の3D生成モデルと異なり、Webスケールの2D事前を効果的に活用しつつ、統一モデルにおける3D一貫性を維持している。 これらの格子上の正規拡散損失と合わせて、3Dレンダリング損失を導入し、任意のビューの3Dコヒーレンスを促進する。
  論文  参考訳（メタデータ） (2025-01-28T07:38:59Z)
• DSplats: 3D Generation by Denoising Splats-Based Multiview Diffusion Models [67.50989119438508]
  本稿では,ガウスをベースとしたレコンストラクタを用いて,リアルな3Dアセットを生成することで,マルチビュー画像を直接認識するDSplatを紹介した。 実験の結果,DSplatsは高品質で空間的に一貫した出力を生成できるだけでなく,単一画像から3次元再構成への新たな標準も設定できることがわかった。
  論文  参考訳（メタデータ） (2024-12-11T07:32:17Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• DiffTF++: 3D-aware Diffusion Transformer for Large-Vocabulary 3D Generation [53.20147419879056]
  拡散型フィードフォワードフレームワークを導入し,単一モデルで課題に対処する。 TransFormerを用いた3D対応拡散モデルを構築し,より強力な3D生成,すなわちDiffTF++を提案する。 ShapeNetとOmniObject3Dの実験は、提案したモジュールの有効性を確実に実証している。
  論文  参考訳（メタデータ） (2024-05-13T17:59:51Z)
• HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions [68.28684509445529]
  HandBoosterは、データの多様性を向上し、3Dハンド・ミーシュ・リコンストラクションのパフォーマンスを向上する新しいアプローチである。 まず,多様な手やポーズ,ビュー,背景を持つリアルな画像を生成するために,拡散モデルを誘導する多目的コンテンツ認識条件を構築した。 そこで我々は,我々の類似性を考慮した分布サンプリング戦略に基づく新しい条件作成手法を設計し,トレーニングセットとは異なる,斬新で現実的なインタラクションのポーズを意図的に見つける。
  論文  参考訳（メタデータ） (2024-03-27T13:56:08Z)
• latentSplat: Autoencoding Variational Gaussians for Fast Generalizable 3D Reconstruction [48.86083272054711]
  latentSplatは3D潜在空間における意味ガウスを予測し、軽量な生成型2Dアーキテクチャで切り落としてデコードする手法である。 latentSplatは、高速でスケーラブルで高解像度なデータでありながら、復元品質と一般化におけるこれまでの成果よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-24T20:48:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。