論文の概要: R3-Avatar: Record and Retrieve Temporal Codebook for Reconstructing Photorealistic Human Avatars

• arxiv url: http://arxiv.org/abs/2503.12751v1
• Date: Mon, 17 Mar 2025 02:38:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:30:46.215155
• Title: R3-Avatar: Record and Retrieve Temporal Codebook for Reconstructing Photorealistic Human Avatars
• Title（参考訳）: R3-Avatar:フォトリアリスティックな人間のアバターを再構築するためのテンポラルコードブックの記録と検索
• Authors: Yifan Zhan, Wangze Xu, Qingtian Zhu, Muyao Niu, Mingze Ma, Yifei Liu, Zhihang Zhong, Xiao Sun, Yinqiang Zheng,
• Abstract要約: R3-アバターは、人間のアバターがアニマタブルで高忠実なレンダリング品質を持つことができないことを克服する。 我々は,新しいポーズの劣化を軽減しつつ,新しい視点から高忠実なレンダリングを実現する「レコーディ・リトリーブ・リコンストラクション」戦略を採用する。
• 参考スコア（独自算出の注目度）: 28.13595266126147
• License:
• Abstract: We present R3-Avatar, incorporating a temporal codebook, to overcome the inability of human avatars to be both animatable and of high-fidelity rendering quality. Existing video-based reconstruction of 3D human avatars either focuses solely on rendering, lacking animation support, or learns a pose-appearance mapping for animating, which degrades under limited training poses or complex clothing. In this paper, we adopt a "record-retrieve-reconstruct" strategy that ensures high-quality rendering from novel views while mitigating degradation in novel poses. Specifically, disambiguating timestamps record temporal appearance variations in a codebook, ensuring high-fidelity novel-view rendering, while novel poses retrieve corresponding timestamps by matching the most similar training poses for augmented appearance. Our R3-Avatar outperforms cutting-edge video-based human avatar reconstruction, particularly in overcoming visual quality degradation in extreme scenarios with limited training human poses and complex clothing.
• Abstract（参考訳）: 本稿では,時間的コードブックを取り入れたR3-Avatarを提案する。 既存の3D人間のアバターの映像ベースの再構築は、レンダリングのみに焦点を当て、アニメーションサポートを欠いているか、あるいはアニメーションのためのポーズ-外観マッピングを学ぶ。 本稿では,新しいポーズの劣化を緩和しつつ,新しい視点から高品質なレンダリングを実現する「レコーディ・リトリーブ・リコンストラクション」戦略を採用する。 具体的には、曖昧なタイムスタンプは、コードブックに時間変動を記録し、高忠実なノベルビューレンダリングを保証し、一方、新規ポーズは、最も類似したトレーニングポーズと組み合わせて、対応するタイムスタンプを検索する。 我々のR3-Avatarは、最先端のビデオベースの人間のアバター再構成よりも優れています。

関連論文リスト

• WonderHuman: Hallucinating Unseen Parts in Dynamic 3D Human Reconstruction [51.22641018932625]
  我々はWonderHumanをモノクラービデオから再構成し、高忠実なノベルビューの合成を行う。 提案手法は,与えられたモノクロ映像からフォトリアリスティックなレンダリングを生成する場合のSOTA性能を実現する。
  論文  参考訳（メタデータ） (2025-02-03T04:43:41Z)
• AniGS: Animatable Gaussian Avatar from a Single Image with Inconsistent Gaussian Reconstruction [26.82525451095629]
  本稿では,不整合画像の3次元再構成のためのロバストな手法を提案し,推論中のリアルタイムレンダリングを実現する。 再建問題を4次元課題として再検討し, 4次元ガウススプラッティングを用いた効率的な3次元モデリング手法を提案する。 実験により,本手法は3次元人体アバターの光実写・リアルタイムアニメーションを実現する。
  論文  参考訳（メタデータ） (2024-12-03T18:55:39Z)
• Human Gaussian Splatting: Real-time Rendering of Animatable Avatars [8.719797382786464]
  この研究は、マルチビュービデオから得られたフォトリアリスティックな人体アバターのリアルタイムレンダリングの問題に対処する。 本稿では,3次元ガウススプラッティングに基づくアニマタブルな人体モデルを提案する。 提案手法は, THuman4データセット上での最先端PSNRの改善を1.5dBで実現し, リアルタイムにレンダリングできる(512x512の80 fps)。
  論文  参考訳（メタデータ） (2023-11-28T12:05:41Z)
• Animatable 3D Gaussian: Fast and High-Quality Reconstruction of Multiple Human Avatars [18.55354901614876]
  入力画像とポーズから人間のアバターを学習するAnimatable 3D Gaussianを提案する。 新規なビュー合成と新規ポーズ合成の両タスクにおいて,本手法はトレーニング時間を短縮したInstantAvatarよりも高い再現性を実現する。 本手法は,25秒のトレーニングで10人のシーンにおいて,複数のシーンに容易に拡張可能であり,それと同等の新規なビュー合成結果が得られる。
  論文  参考訳（メタデータ） (2023-11-27T08:17:09Z)
• DreamWaltz: Make a Scene with Complex 3D Animatable Avatars [68.49935994384047]
  本稿では,テキストガイダンスとパラメトリック人体を用いた複雑な3Dアバターの生成とアニメーションを行う新しいフレームワークであるDreamWaltzを紹介する。 アニメーションでは,様々なポーズに条件付き拡散モデルの豊富な画像から,アニマタブルな3次元アバター表現を学習する。
  論文  参考訳（メタデータ） (2023-05-21T17:59:39Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)
• AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。 非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。 提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-08-01T01:27:02Z)
• MVP-Human Dataset for 3D Human Avatar Reconstruction from Unconstrained Frames [59.37430649840777]
  野生(Arwild)における3次元アバター再構成を行い,まず暗黙のスキンフィールドを多段階的に再構成する。 大規模なデータセットであるMVP-Humanには400人の被験者が参加し、それぞれ異なるポーズで15のスキャンを行います。 全体として、特定のネットワークアーキテクチャと多様なデータにより、トレーニングされたモデルは、制約のないフレームから3Dアバターを再構築することができる。
  論文  参考訳（メタデータ） (2022-04-24T03:57:59Z)
• ARCH++: Animation-Ready Clothed Human Reconstruction Revisited [82.83445332309238]
  任意の服装スタイルで3Dアバターを再構成する画像ベースARCH++を提案する。 再建されたアバターは、入力ビューから見える領域と見えない領域の両方において、アニメーションに対応しており、非常にリアルである。
  論文  参考訳（メタデータ） (2021-08-17T19:27:12Z)
• ARCH: Animatable Reconstruction of Clothed Humans [27.849315613277724]
  ARCH(Animatable Reconstruction of Clothed Humans)は、モノクロ画像からアニメーション可能な3D衣服を正確に再構築するためのエンドツーエンドのフレームワークである。 ARCHは、単一の制約のないRGB画像から、詳細な3Dリップされたフルボディアバターを生成する、学習されたポーズ認識モデルである。
  論文  参考訳（メタデータ） (2020-04-08T14:23:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。