論文の概要: CAT-NeRF: Constancy-Aware Tx$^2$Former for Dynamic Body Modeling
- arxiv url: http://arxiv.org/abs/2304.07915v1
- Date: Sun, 16 Apr 2023 23:24:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 16:53:08.594424
- Title: CAT-NeRF: Constancy-Aware Tx$^2$Former for Dynamic Body Modeling
- Title（参考訳）: cat-nerf:tx$^2$formerによる動的身体モデリング
- Authors: Haidong Zhu, Zhaoheng Zheng, Wanrong Zheng, Ram Nevatia
- Abstract要約: 本稿では,2つのトランスフォーマー層を組み合わせた新しい手法であるTx$2$Formerを用いた外観コンステランシーの自己認識のためのCAT-NeRFを提案する。
本手法はH36MとZJU-MoCapに実装し,最先端性能を示す。
- 参考スコア（独自算出の注目度）: 20.778107966302116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses the problem of human rendering in the video with
temporal appearance constancy. Reconstructing dynamic body shapes with
volumetric neural rendering methods, such as NeRF, requires finding the
correspondence of the points in the canonical and observation space, which
demands understanding human body shape and motion. Some methods use rigid
transformation, such as SE(3), which cannot precisely model each frame's unique
motion and muscle movements. Others generate the transformation for each frame
with a trainable network, such as neural blend weight field or translation
vector field, which does not consider the appearance constancy of general body
shape. In this paper, we propose CAT-NeRF for self-awareness of appearance
constancy with Tx$^2$Former, a novel way to combine two Transformer layers, to
separate appearance constancy and uniqueness. Appearance constancy models the
general shape across the video, and uniqueness models the unique patterns for
each frame. We further introduce a novel Covariance Loss to limit the
correlation between each pair of appearance uniquenesses to ensure the
frame-unique pattern is maximally captured in appearance uniqueness. We assess
our method on H36M and ZJU-MoCap and show state-of-the-art performance.
- Abstract（参考訳）: 本稿では,映像における人体レンダリングの問題点を時間的視点で論じる。
ダイナミックボディ形状を、NeRFのような体積神経レンダリング法で再構成するには、人体形状や動きを理解する必要がある正準および観測空間の点の対応を見つける必要がある。
いくつかの方法は、各フレームのユニークな動きや筋肉の動きを正確にモデル化できないse(3)のような剛体変換を用いる。
他の者は、神経ブレンド重み場や翻訳ベクトル場などの訓練可能なネットワークを持つ各フレームの変換を生成し、一般的なボディ形状の外観構成を考慮しない。
本稿では,2つのトランスフォーマー層を組み合わせる新しい手法であるTx$^2$Formerを用いて,外観コンステランスの自己認識のためのCAT-NeRFを提案する。
外観コンテンシーはビデオ全体の一般的な形状をモデル化し、一意性は各フレームのユニークなパターンをモデル化する。
さらに,各一対の外観特異性間の相関を制限し,フレーム・一様パターンが外観特異性において最大に捉えられるようにするために,新しい共分散損失を導入する。
本手法はH36MとZJU-MoCapで評価し,最先端性能を示す。
関連論文リスト
- Pose Modulated Avatars from Video [22.395774558845336]
周波数領域において適応的かつ明示的な2分岐ニューラルネットワークを開発する。
最初のブランチは、体の部分間の相関を局所的にモデル化するグラフニューラルネットワークである。
第2のブランチは、これらの相関特徴を大域周波数のセットと組み合わせて、特徴符号化を変調する。
論文 参考訳（メタデータ） (2023-08-23T06:49:07Z) - MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。
異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。
本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
論文 参考訳（メタデータ） (2023-04-17T13:49:04Z) - MonoHuman: Animatable Human Neural Field from Monocular Video [30.113937856494726]
そこで我々は,任意のポーズの下で,ビュー一貫性と高忠実度アバターを強固に描画する新しいフレームワークMonoHumanを提案する。
我々のキーとなる洞察は、変形場を双方向の制約でモデル化し、オフザペグ情報を明示的に活用して、特徴を一貫性のある結果の推論を行うことである。
論文 参考訳（メタデータ） (2023-04-04T17:55:03Z) - Generalizable Neural Performer: Learning Robust Radiance Fields for
Human Novel View Synthesis [52.720314035084215]
この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。
我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。
GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
論文 参考訳（メタデータ） (2022-04-25T17:14:22Z) - Neural Rendering of Humans in Novel View and Pose from Monocular Video [68.37767099240236]
本稿では,新しい視点下で写真リアルな人間を生成し,モノクロ映像を入力として提示する新しい手法を提案する。
提案手法は,モノクラー映像を入力として,見知らぬポーズや新しい視点下での既存手法よりも優れていた。
論文 参考訳（メタデータ） (2022-04-04T03:09:20Z) - Learning Motion-Dependent Appearance for High-Fidelity Rendering of
Dynamic Humans from a Single Camera [49.357174195542854]
外観のダイナミクスを学ぶ上で重要な課題は、違法に大量の観測を必要とすることである。
本手法は,1つの視点映像から,身体のポーズや新しいビューを時間的に協調的に生成できることを示す。
論文 参考訳（メタデータ） (2022-03-24T00:22:03Z) - Creating and Reenacting Controllable 3D Humans with Differentiable
Rendering [3.079885946230076]
本稿では,人間アクターの外観を伝達し再現する,エンドツーエンドのニューラルレンダリングアーキテクチャを提案する。
提案手法は、人体多様体構造をモデル化するために、慎重に設計されたグラフ畳み込みネットワーク(GCN)を利用する。
合成可能レンダリングと3次元パラメトリックモデルの両方の利点を生かして,本手法は完全に制御可能である。
論文 参考訳（メタデータ） (2021-10-22T12:40:09Z) - Learning Local Recurrent Models for Human Mesh Recovery [50.85467243778406]
本稿では,人間のメッシュを標準的な骨格モデルに従って複数の局所的に分割するビデオメッシュ復元手法を提案する。
次に、各局所部分の力学を別個のリカレントモデルでモデル化し、各モデルは、人体の既知の運動構造に基づいて適切に条件付けする。
これにより、構造的インフォームドな局所的再帰学習アーキテクチャが実現され、アノテーションを使ってエンドツーエンドでトレーニングすることができる。
論文 参考訳（メタデータ） (2021-07-27T14:30:33Z) - NeuroMorph: Unsupervised Shape Interpolation and Correspondence in One
Go [109.88509362837475]
入力2つの3次元形状を考慮したニューラルネットワークアーキテクチャであるNeuroMorphを提案する。
NeuroMorphはそれらの間のスムーズかつポイントツーポイント対応を生成する。
異なる対象カテゴリの非等尺性ペアを含む、さまざまな入力形状に対してうまく機能する。
論文 参考訳（メタデータ） (2021-06-17T12:25:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。