論文の概要: Pose Modulated Avatars from Video

• arxiv url: http://arxiv.org/abs/2308.11951v3
• Date: Fri, 29 Sep 2023 15:03:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 17:48:24.041152
• Title: Pose Modulated Avatars from Video
• Title（参考訳）: ビデオからのポーズ変調アバター
• Authors: Chunjin Song, Bastian Wandt, Helge Rhodin
• Abstract要約: 周波数領域において適応的かつ明示的な2分岐ニューラルネットワークを開発する。 最初のブランチは、体の部分間の相関を局所的にモデル化するグラフニューラルネットワークである。 第2のブランチは、これらの相関特徴を大域周波数のセットと組み合わせて、特徴符号化を変調する。
• 参考スコア（独自算出の注目度）: 22.395774558845336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is now possible to reconstruct dynamic human motion and shape from a sparse set of cameras using Neural Radiance Fields (NeRF) driven by an underlying skeleton. However, a challenge remains to model the deformation of cloth and skin in relation to skeleton pose. Unlike existing avatar models that are learned implicitly or rely on a proxy surface, our approach is motivated by the observation that different poses necessitate unique frequency assignments. Neglecting this distinction yields noisy artifacts in smooth areas or blurs fine-grained texture and shape details in sharp regions. We develop a two-branch neural network that is adaptive and explicit in the frequency domain. The first branch is a graph neural network that models correlations among body parts locally, taking skeleton pose as input. The second branch combines these correlation features to a set of global frequencies and then modulates the feature encoding. Our experiments demonstrate that our network outperforms state-of-the-art methods in terms of preserving details and generalization capabilities.
• Abstract（参考訳）: 基礎となる骨格によって駆動されるニューラル・レージアンス・フィールド(Near Radiance Fields,NeRF)を用いて、スパース・カメラ群から人間の動と形状を再構築することができる。 しかし、スケルトンポーズによる布や肌の変形をモデル化することが課題となっている。 暗黙的に学習したり、プロキシサーフェスに依存したりする既存のアバターモデルとは異なり、我々のアプローチは、異なるポーズがユニークな周波数割り当てを必要とするという観察によって動機づけられる。 この区別を無視すると、滑らかな領域でノイズの多いアーティファクトや、鋭い領域できめ細かいテクスチャや形状の詳細がぼやけてしまう。 周波数領域において適応的かつ明示的な2分岐ニューラルネットワークを開発する。 最初のブランチはグラフニューラルネットワークで、体の部分間の相関を局所的にモデル化し、骨格を入力とする。 第2のブランチは、これらの相関機能を一連のグローバル周波数に結合し、特徴エンコーディングを変調する。 実験により,ネットワークが最先端の手法よりも詳細保持と一般化能力の面で優れていることを実証した。

関連論文リスト

• Representing Animatable Avatar via Factorized Neural Fields [39.95141875395775]
  フレーム毎のレンダリング結果は、フレームの一貫性を促進するために、ポーズ非依存のコンポーネントと対応するポーズ依存のコンポーネントに分解することができる。 入力ビデオ全体の粗い体輪郭のコヒーレントな保存を実現する。 我々のネットワークは、高周波の詳細を保存し、一貫した体輪郭を確保するために、NeRF(Near Radiance Field)に基づく最先端の手法を超越している。
  論文  参考訳（メタデータ） (2024-06-02T06:45:38Z)
• MonoHuman: Animatable Human Neural Field from Monocular Video [30.113937856494726]
  そこで我々は,任意のポーズの下で,ビュー一貫性と高忠実度アバターを強固に描画する新しいフレームワークMonoHumanを提案する。 我々のキーとなる洞察は、変形場を双方向の制約でモデル化し、オフザペグ情報を明示的に活用して、特徴を一貫性のある結果の推論を行うことである。
  論文  参考訳（メタデータ） (2023-04-04T17:55:03Z)
• DANBO: Disentangled Articulated Neural Body Representations via Graph Neural Networks [12.132886846993108]
  高解像度モデルは、写真リアリスティックなアバターを可能にするが、エンドユーザーには利用できないスタジオ設定を必要とするコストがかかる。 私たちのゴールは、高価なスタジオのセットアップや表面追跡に頼ることなく、生画像から直接アバターを作ることです。 本稿では,2つの帰納バイアスを誘導する3段階の手法を提案する。
  論文  参考訳（メタデータ） (2022-05-03T17:56:46Z)
• Neural Rendering of Humans in Novel View and Pose from Monocular Video [68.37767099240236]
  本稿では,新しい視点下で写真リアルな人間を生成し,モノクロ映像を入力として提示する新しい手法を提案する。 提案手法は,モノクラー映像を入力として,見知らぬポーズや新しい視点下での既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-04T03:09:20Z)
• Hierarchical Neural Implicit Pose Network for Animation and Motion Retargeting [66.69067601079706]
  HIPNetは、複数のポーズで訓練された暗黙のポーズネットワークである。 階層的な骨格に基づく表現を用いて、正準非正則空間上の符号付き距離関数を学習する。 種々の単目的および多目的のベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-12-02T03:25:46Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• Learning Skeletal Articulations with Neural Blend Shapes [57.879030623284216]
  あらかじめ定義された骨格構造を有するエンベロープを用いて3次元文字を表現できるニューラルテクニックを開発している。 我々のフレームワークは、同じ調音構造を持つリグとスキンキャラクタを学習する。 関節領域の変形品質を向上させるニューラルブレンディング形状を提案します。
  論文  参考訳（メタデータ） (2021-05-06T05:58:13Z)
• SCALE: Modeling Clothed Humans with a Surface Codec of Articulated Local Elements [62.652588951757764]
  衣服のモデル化と再構成は、調音性、非剛性変形、衣服の種類や地形の変化などにより困難である。 最近の研究では、ニューラルネットワークを使ってローカルな表面要素をパラメータ化している。 まず、人間の体モデルに基づいて表面要素を変形させます。 第2に,局所的な特徴から局所的な幾何学を回帰させることにより,既存の神経表面要素の制限を解消する。
  論文  参考訳（メタデータ） (2021-04-15T17:59:39Z)
• Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
  本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
  論文  参考訳（メタデータ） (2021-01-11T18:53:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。