論文の概要: Going beyond Free Viewpoint: Creating Animatable Volumetric Video of
Human Performances
- arxiv url: http://arxiv.org/abs/2009.00922v1
- Date: Wed, 2 Sep 2020 09:46:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-22 19:20:03.256682
- Title: Going beyond Free Viewpoint: Creating Animatable Volumetric Video of
Human Performances
- Title（参考訳）: 無料の視点を超えて:人間のパフォーマンスのアニメーションビデオを作る
- Authors: Anna Hilsmann, Philipp Fechteler, Wieland Morgenstern, Wolfgang Paier,
Ingo Feldmann, Oliver Schreer, Peter Eisert
- Abstract要約: 本稿では,人間の演奏の高品質な映像コンテンツ作成のためのエンドツーエンドパイプラインを提案する。
セマンティックエンリッチメントと幾何学的アニメーション能力は、3Dデータに時間的一貫性を確立することによって達成される。
ポーズ編集では、キャプチャしたデータを可能な限り活用し、キャプチャしたフレームをキネマティックに変形して所望のポーズに適合させる。
- 参考スコア（独自算出の注目度）: 7.7824496657259665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present an end-to-end pipeline for the creation of
high-quality animatable volumetric video content of human performances. Going
beyond the application of free-viewpoint volumetric video, we allow
re-animation and alteration of an actor's performance through (i) the
enrichment of the captured data with semantics and animation properties and
(ii) applying hybrid geometry- and video-based animation methods that allow a
direct animation of the high-quality data itself instead of creating an
animatable model that resembles the captured data. Semantic enrichment and
geometric animation ability are achieved by establishing temporal consistency
in the 3D data, followed by an automatic rigging of each frame using a
parametric shape-adaptive full human body model. Our hybrid geometry- and
video-based animation approaches combine the flexibility of classical CG
animation with the realism of real captured data. For pose editing, we exploit
the captured data as much as possible and kinematically deform the captured
frames to fit a desired pose. Further, we treat the face differently from the
body in a hybrid geometry- and video-based animation approach where coarse
movements and poses are modeled in the geometry only, while very fine and
subtle details in the face, often lacking in purely geometric methods, are
captured in video-based textures. These are processed to be interactively
combined to form new facial expressions. On top of that, we learn the
appearance of regions that are challenging to synthesize, such as the teeth or
the eyes, and fill in missing regions realistically in an autoencoder-based
approach. This paper covers the full pipeline from capturing and producing
high-quality video content, over the enrichment with semantics and deformation
properties for re-animation and processing of the data for the final hybrid
animation.
- Abstract（参考訳）: 本稿では,人間の演奏の高品質な映像コンテンツ作成のためのエンドツーエンドパイプラインを提案する。
自由視点ボリュームビデオの応用を超えて,俳優の演技のアニメーション化と変更を可能にする。
一 キャプチャーされたデータのセマンティクス及びアニメーション特性による豊か化
二 キャプチャーされたデータに類似したアニマタブルモデルを作成するのではなく、高品質なデータを直接アニメーションできるハイブリッド幾何およびビデオベースのアニメーション手法を適用する。
セマンティックエンリッチメントと幾何学的アニメーション能力は、3dデータに時間的一貫性を確立し、パラメトリック形状適応フル人体モデルを用いて各フレームを自動的に配置することで達成される。
我々のハイブリッド幾何とビデオに基づくアニメーションアプローチは、古典的なCGアニメーションの柔軟性と実際のキャプチャーデータのリアリズムを組み合わせたものである。
ポーズ編集では、キャプチャしたデータを可能な限り活用し、キャプチャしたフレームをキネマティックに変形して所望のポーズに適合させる。
さらに, 顔の粗い動きやポーズを図形のみにモデル化するハイブリッドな幾何学的・映像的アニメーション手法において, 顔と身体を異なる方法で扱う一方で, 純幾何学的手法に欠ける顔の細部や微妙な細部をビデオベーステクスチャで捉えた。
これらは対話的に組み合わされ、新しい表情を形成する。
その上で, 歯や目などの合成が困難な領域の出現を学習し, オートエンコーダをベースとしたアプローチで, 行方不明領域を現実的に埋める。
本稿では,ハイクオリティな映像コンテンツのキャプチャと生成,セマンティクスと変形特性によるエンリッチメント,最終ハイブリッドアニメーションのためのデータの再アニメーションと処理の全パイプラインについて述べる。
関連論文リスト
- PhysAnimator: Physics-Guided Generative Cartoon Animation [19.124321553546242]
我々は、静的アニメイラストからアニメスタイライズされたアニメーションを生成する新しいアプローチであるPhysAnimatorを紹介する。
アニメの流動性と誇張特性を捉えるため,抽出したメッシュ地形上で画像空間の変形可能な物体シミュレーションを行った。
シミュレーションシーケンスからスケッチを抽出し、テクスチャに依存しない表現を生成し、スケッチ誘導映像拡散モデルを用いて高品質なアニメーションフレームを合成する。
論文 参考訳（メタデータ） (2025-01-27T22:48:36Z) - CFSynthesis: Controllable and Free-view 3D Human Video Synthesis [57.561237409603066]
CFSynthesisは、カスタマイズ可能な属性で高品質なヒューマンビデオを生成するための新しいフレームワークである。
本手法はテクスチャ-SMPLに基づく表現を利用して,自由視点における一貫した,安定したキャラクタの出現を保証する。
複数のデータセットの結果から,複雑な人間のアニメーションにおいて,CFS合成が最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2024-12-15T05:57:36Z) - Gaussians-to-Life: Text-Driven Animation of 3D Gaussian Splatting Scenes [49.26872036160368]
ガウススティング表現における高品質な3Dシーンの一部をアニメーションする手法を提案する。
従来の作業とは対照的に、複雑な既存の3Dシーンのリアルなアニメーションを可能にする。
論文 参考訳（メタデータ） (2024-11-28T16:01:58Z) - Make-It-Animatable: An Efficient Framework for Authoring Animation-Ready 3D Characters [86.13319549186959]
我々は3次元ヒューマノイドモデルを1秒未満でキャラクターアニメーションに対応させる新しいデータ駆動方式であるMake-It-Animatableを提案する。
我々のフレームワークは、高品質なブレンドウェイト、骨、ポーズトランスフォーメーションを生成します。
既存の手法と比較して,本手法は品質と速度の両方において著しく改善されている。
論文 参考訳（メタデータ） (2024-11-27T10:18:06Z) - Alignment is All You Need: A Training-free Augmentation Strategy for Pose-guided Video Generation [19.408715783816167]
生成された映像シーケンスが参照画像の微妙さを確実に保持する訓練不要のフレームワークを導入する。
我々は、骨格と動きの先行情報をポーズ情報から切り離し、アニメーション生成の正確な制御を可能にする。
提案手法は,大規模なデータセットや高価な計算資源を必要とせず,映像生成の質を大幅に向上させる。
論文 参考訳（メタデータ） (2024-08-29T13:08:12Z) - Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation [27.700371215886683]
拡散モデルは、その堅牢な生成能力のために、視覚世代研究の主流となっている。
本稿では,キャラクターアニメーションに適した新しいフレームワークを提案する。
トレーニングデータを拡張することにより、任意の文字をアニメーション化することが可能となり、他の画像とビデオの手法と比較して、文字アニメーションにおいて優れた結果が得られる。
論文 参考訳（メタデータ） (2023-11-28T12:27:15Z) - MagicAnimate: Temporally Consistent Human Image Animation using
Diffusion Model [74.84435399451573]
本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。
既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。
MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
論文 参考訳（メタデータ） (2023-11-27T18:32:31Z) - Unsupervised Learning of Style-Aware Facial Animation from Real Acting
Performances [3.95944314850151]
本稿では, ブレンド形状, 動的テクスチャ, ニューラルレンダリングに基づく写真リアルな頭部モデルのテキスト/音声駆動アニメーションのための新しい手法を提案する。
本手法は,テキストや音声をアニメーションパラメータの列に変換する条件付きCNNに基づいている。
リアルなリアルタイムレンダリングのために、私たちは、改良された色と前景マットを演算することで、ピクセル化ベースのレンダリングを洗練するU-Netを訓練します。
論文 参考訳（メタデータ） (2023-06-16T17:58:04Z) - Render In-between: Motion Guided Video Synthesis for Action
Interpolation [53.43607872972194]
本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。
大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。
私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
論文 参考訳（メタデータ） (2021-11-01T15:32:51Z) - Deep Animation Video Interpolation in the Wild [115.24454577119432]
本研究では,アニメーション・ビデオ・コードに関する問題を初めて形式的に定義・検討する。
効果的なフレームワークであるAnimeInterpを2つの専用モジュールで粗密に提案します。
特にAnimeInterpは、野生のアニメーションシナリオに良好な知覚品質と堅牢性を示します。
論文 参考訳（メタデータ） (2021-04-06T13:26:49Z) - A Robust Interactive Facial Animation Editing System [0.0]
直感的な制御パラメータの集合から顔のアニメーションを簡単に編集するための学習に基づく新しいアプローチを提案する。
我々は、制御パラメータを結合係数列にマップする分解能保存完全畳み込みニューラルネットワークを使用している。
提案システムは頑丈で,非専門ユーザからの粗大で誇張された編集を処理できる。
論文 参考訳（メタデータ） (2020-07-18T08:31:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。