論文の概要: MaintaAvatar: A Maintainable Avatar Based on Neural Radiance Fields by Continual Learning

• arxiv url: http://arxiv.org/abs/2502.02372v1
• Date: Tue, 04 Feb 2025 14:52:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:03:18.048748
• Title: MaintaAvatar: A Maintainable Avatar Based on Neural Radiance Fields by Continual Learning
• Title（参考訳）: MaintaAvatar:連続学習によるニューラルラジアンス場に基づく保守可能なアバター
• Authors: Shengbo Gu, Yu-Kun Qiu, Yu-Ming Tang, Ancong Wu, Wei-Shi Zheng,
• Abstract要約: 連続学習によるニューラルラジアンス場に基づく保守可能なアバターを提案する。 我々のモデルは、モデルを素早く微調整するために限られたデータ収集しか必要としません。
• 参考スコア（独自算出の注目度）: 35.95916601030043
• License:
• Abstract: The generation of a virtual digital avatar is a crucial research topic in the field of computer vision. Many existing works utilize Neural Radiance Fields (NeRF) to address this issue and have achieved impressive results. However, previous works assume the images of the training person are available and fixed while the appearances and poses of a subject could constantly change and increase in real-world scenarios. How to update the human avatar but also maintain the ability to render the old appearance of the person is a practical challenge. One trivial solution is to combine the existing virtual avatar models based on NeRF with continual learning methods. However, there are some critical issues in this approach: learning new appearances and poses can cause the model to forget past information, which in turn leads to a degradation in the rendering quality of past appearances, especially color bleeding issues, and incorrect human body poses. In this work, we propose a maintainable avatar (MaintaAvatar) based on neural radiance fields by continual learning, which resolves the issues by utilizing a Global-Local Joint Storage Module and a Pose Distillation Module. Overall, our model requires only limited data collection to quickly fine-tune the model while avoiding catastrophic forgetting, thus achieving a maintainable virtual avatar. The experimental results validate the effectiveness of our MaintaAvatar model.
• Abstract（参考訳）: 仮想デジタルアバターの生成はコンピュータビジョンの分野で重要な研究課題である。 既存の多くの研究では、この問題に対処するためにNeural Radiance Fields(NeRF)を使用しており、素晴らしい成果を上げている。 しかし、以前の研究では、トレーニング対象のイメージが利用可能であり、固定されていると仮定する一方で、被験者の外観やポーズが常に変化し、現実のシナリオが増加する可能性があると想定していた。 人間のアバターの更新方法だけでなく、人の古い外観をレンダリングする能力も維持することは、現実的な課題である。 簡単な解決策の1つは、NeRFに基づく既存の仮想アバターモデルと連続学習法を組み合わせることである。 しかし、このアプローチにはいくつかの重要な問題がある:新しい外観やポーズを学ぶと、モデルが過去の情報を忘れてしまう可能性がある。 本研究では, 連続学習によるニューラルラジアンス場に基づく保守可能なアバター(MaintaAvatar)を提案する。 全体として、我々のモデルは、破滅的な忘れを回避しつつ、モデルの微調整を迅速に行うために限られたデータ収集しか必要とせず、維持可能な仮想アバターを実現する。 実験の結果,マインタアバターモデルの有効性が検証された。

関連論文リスト

• LightAvatar: Efficient Head Avatar as Dynamic Neural Light Field [58.93692943064746]
  ニューラル光場(NeLF)に基づく最初の頭部アバターモデルであるLightAvatarを紹介する。 LightAvatarは3DMMパラメータから画像をレンダリングし、メッシュやボリュームレンダリングを使わずに、単一のネットワークフォワードパスを介してカメラがポーズする。
  論文  参考訳（メタデータ） (2024-09-26T17:00:02Z)
• GenCA: A Text-conditioned Generative Model for Realistic and Drivable Codec Avatars [44.8290935585746]
  フォトリアリスティックでコントロール可能な3Dアバターは、バーチャルリアリティー(VR/MR)、テレプレゼンス、ゲーム、映画制作など、様々な用途に欠かせない。 アバター作成の伝統的な方法は、しばしば各アバターのスキャンと再構築に時間を要する。 本稿では,多彩なアイデンティティを持つ写真リアルな顔アバターを生成可能なテキスト条件生成モデルを提案する。
  論文  参考訳（メタデータ） (2024-08-24T21:25:22Z)
• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• Text-Conditional Contextualized Avatars For Zero-Shot Personalization [47.85747039373798]
  本研究では,アバターによる画像生成のパーソナライズを可能にするパイプラインを提案する。 私たちのパイプラインはゼロショット、アバターテクスチャ、スタイル非依存で、アバターのトレーニングは一切必要ありません。 大規模な画像データセットを利用して人間の3Dポーズパラメータを学習する方法を初めて示す。
  論文  参考訳（メタデータ） (2023-04-14T22:00:44Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)
• DINAR: Diffusion Inpainting of Neural Textures for One-Shot Human Avatars [7.777410338143783]
  本稿では,1枚のRGB画像からリアルなフルボディアバターを作成するためのアプローチを提案する。 本手法は, SMPL-Xボディーモデルと組み合わせた神経テクスチャを用いて, アバターのフォトリアリスティックな品質を実現する。 実験では、最新のレンダリング品質と、新しいポーズや視点への優れた一般化を実現する。
  論文  参考訳（メタデータ） (2023-03-16T15:04:10Z)
• AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。 非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。 提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-08-01T01:27:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。