論文の概要: Hyper Diffusion Avatars: Dynamic Human Avatar Generation using Network Weight Space Diffusion

• arxiv url: http://arxiv.org/abs/2509.04145v2
• Date: Mon, 08 Sep 2025 08:40:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.38387
• Title: Hyper Diffusion Avatars: Dynamic Human Avatar Generation using Network Weight Space Diffusion
• Title（参考訳）: ハイパー拡散アバター:ネットワーク重み空間拡散を用いた動的ヒトアバター生成
• Authors: Dongliang Cao, Guoxing Sun, Marc Habermann, Florian Bernard,
• Abstract要約: 個人固有のレンダリングと拡散に基づく生成モデリングの長所を一体化する新しい手法を提案する。 まず、人間固有のUNETの集合を最適化し、各ネットワークは動的な人間のアバターを表す。 提案手法は,動的アバターのリアルタイムかつ制御可能なレンダリングのためのネットワーク重みを生成する。
• 参考スコア（独自算出の注目度）: 45.88321772203678
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Creating human avatars is a highly desirable yet challenging task. Recent advancements in radiance field rendering have achieved unprecedented photorealism and real-time performance for personalized dynamic human avatars. However, these approaches are typically limited to person-specific rendering models trained on multi-view video data for a single individual, limiting their ability to generalize across different identities. On the other hand, generative approaches leveraging prior knowledge from pre-trained 2D diffusion models can produce cartoonish, static human avatars, which are animated through simple skeleton-based articulation. Therefore, the avatars generated by these methods suffer from lower rendering quality compared to person-specific rendering methods and fail to capture pose-dependent deformations such as cloth wrinkles. In this paper, we propose a novel approach that unites the strengths of person-specific rendering and diffusion-based generative modeling to enable dynamic human avatar generation with both high photorealism and realistic pose-dependent deformations. Our method follows a two-stage pipeline: first, we optimize a set of person-specific UNets, with each network representing a dynamic human avatar that captures intricate pose-dependent deformations. In the second stage, we train a hyper diffusion model over the optimized network weights. During inference, our method generates network weights for real-time, controllable rendering of dynamic human avatars. Using a large-scale, cross-identity, multi-view video dataset, we demonstrate that our approach outperforms state-of-the-art human avatar generation methods.
• Abstract（参考訳）: 人間のアバターを作るのは、非常に望ましいが難しい仕事だ。 近年の放射場レンダリングの進歩は、パーソナライズされた動的アバターのための前例のないフォトリアリズムとリアルタイムパフォーマンスを実現している。 しかしながら、これらのアプローチは一般的に、単一の個人に対してマルチビュービデオデータに基づいて訓練された個人固有のレンダリングモデルに限定され、異なるアイデンティティをまたいで一般化する能力を制限する。 一方、事前学習された2次元拡散モデルからの事前知識を生かした生成的アプローチは、単純な骨格に基づく調音によってアニメーションされる、漫画的で静的な人間のアバターを生み出すことができる。 そのため、これらの手法によって生成されたアバターは、人ごとのレンダリング法に比べてレンダリング品質が低く、布のしわのようなポーズ依存の変形を捉えることができない。 本稿では,人固有のレンダリングと拡散に基づく生成モデリングの長所を一体化して,高光写実性とリアルなポーズ依存変形とを併用した動的アバター生成を実現する手法を提案する。 まず、複雑なポーズ依存の変形をキャプチャする動的な人間のアバターを表すネットワークを用いて、個人固有のUNetsのセットを最適化する。 第2段階では、最適化されたネットワーク重みに対して超拡散モデルを訓練する。 提案手法は,動的アバターのリアルタイムかつ制御可能なレンダリングのためのネットワーク重みを生成する。 大規模、クロスアイデンティティ、マルチビュービデオデータセットを用いて、我々のアプローチが最先端の人間のアバター生成方法より優れていることを実証する。

関連論文リスト

• PERSONA: Personalized Whole-Body 3D Avatar with Pose-Driven Deformations from a Single Image [17.76649311703262]
  アニマタブルなヒトアバターを作るための2つの主要なアプローチが存在する。 3Dベースのアプローチは、非絡み合ったアイデンティティ表現を通じてパーソナライズを実現する。 拡散に基づくアプローチは、大規模なインザワイルドビデオからポーズ駆動変形を学ぶが、アイデンティティ保存に苦慮する。 本稿では,2つのアプローチの長所を組み合わせて,パーソナをパーソナライズした3Dアバターを提案する。
  論文  参考訳（メタデータ） (2025-08-13T17:40:48Z)
• EVA: Expressive Virtual Avatars from Multi-view Videos [51.33851869426057]
  本稿では,アクター固有の,完全に制御可能な,表現力のある人間のアバターフレームワークであるExpressive Virtual Avatars (EVA)を紹介する。 EVAは、表情、身体の動き、手の動きの独立的な制御を可能にしながら、高忠実でライフライクなレンダリングをリアルタイムで実現している。 この研究は、完全に乾燥可能なデジタル人間モデルに向けた大きな進歩を示している。
  論文  参考訳（メタデータ） (2025-05-21T11:22:52Z)
• Multimodal Generation of Animatable 3D Human Models with AvatarForge [67.31920821192323]
  AvatarForgeはAI駆動の手続き生成を使用してテキストや画像入力からアニマタブルな3Dアバターを生成するフレームワークである。 評価の結果、AvatarForgeはテキストと画像とアバターの生成において最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-03-11T08:29:18Z)
• GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
  一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。 GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
  論文  参考訳（メタデータ） (2023-12-04T18:55:45Z)
• AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。 非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。 提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-08-01T01:27:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。