論文の概要: Artemis: Articulated Neural Pets with Appearance and Motion synthesis
- arxiv url: http://arxiv.org/abs/2202.05628v1
- Date: Fri, 11 Feb 2022 14:07:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-14 16:06:56.758841
- Title: Artemis: Articulated Neural Pets with Appearance and Motion synthesis
- Title（参考訳）: Artemis: 外観と運動合成を備えた人工神経ペット
- Authors: Haimin Luo, Teng Xu, Yuheng Jiang, Chenglin Zhou, QIwei Qiu, Yingliang
Zhang, Wei Yang, Lan Xu, Jingyi Yu
- Abstract要約: 本稿では,Articulated Neural petsを生成するための新しいニューラルモデリングおよびレンダリングパイプラインARTEMISを提案する。
ARTEMISは、インタラクティブなモーションコントロール、リアルタイムアニメーション、毛皮のような動物のフォトリアリスティックレンダリングを可能にする。
- 参考スコア（独自算出の注目度）: 37.8975208667674
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We human are entering into a virtual era, and surely want to bring animals to
virtual world as well for companion. Yet, computer-generated (CGI) furry
animals is limited by tedious off-line rendering, let alone interactive motion
control. In this paper, we present ARTEMIS, a novel neural modeling and
rendering pipeline for generating ARTiculated neural pets with appEarance and
Motion synthesIS. Our ARTEMIS enables interactive motion control, real-time
animation and photo-realistic rendering of furry animals. The core of ARTEMIS
is a neural-generated (NGI) animal engine, which adopts an efficient octree
based representation for animal animation and fur rendering. The animation then
becomes equivalent to voxel level skeleton based deformation. We further use a
fast octree indexing, an efficient volumetric rendering scheme to generate
appearance and density features maps. Finally, we propose a novel shading
network to generate high-fidelity details of appearance and opacity under novel
poses. For the motion control module in ARTEMIS, we combine state-of-the-art
animal motion capture approach with neural character control scheme. We
introduce an effective optimization scheme to reconstruct skeletal motion of
real animals captured by a multi-view RGB and Vicon camera array. We feed the
captured motion into a neural character control scheme to generate abstract
control signals with motion styles. We further integrate ARTEMIS into existing
engines that support VR headsets, providing an unprecedented immersive
experience where a user can intimately interact with a variety of virtual
animals with vivid movements and photo-realistic appearance. Extensive
experiments and showcases demonstrate the effectiveness of our ARTEMIS system
to achieve highly realistic rendering of NGI animals in real-time, providing
daily immersive and interactive experience with digital animals unseen before.
- Abstract（参考訳）: 人間は今、仮想世界に入りつつあるし、動物を仮想世界に持ち込みたいのだ。
しかし、コンピュータ生成(CGI)ファリー動物は、インタラクティブなモーションコントロールだけでなく、退屈なオフラインレンダリングによって制限されている。
本稿では,appEarance と Motion SynthesIS を用いた人工神経ペット生成のための新しいニューラルモデリングおよびレンダリングパイプライン ARTEMIS を提案する。
我々のARTEMISは、野生動物のインタラクティブなモーションコントロール、リアルタイムアニメーション、写真リアルレンダリングを可能にする。
ARTEMISのコアはニューラル生成(NGI)動物エンジンであり、動物のアニメーションと毛皮のレンダリングに効率的なオクツリーベースの表現を採用する。
アニメーションはボクセルレベルの骨格に基づく変形と等価となる。
我々はさらに,高速なoctreeインデックス化,効率的なボリュームトリクスレンダリングスキームを用いて,外観と密度特徴マップを生成する。
最後に,新しいポーズ下での外観と不透明度を高忠実に表現するシェーディングネットワークを提案する。
ARTEMISのモーションコントロールモジュールでは、最先端の動物のモーションキャプチャーアプローチとニューラルキャラクタ制御手法を組み合わせる。
マルチビューRGBおよびViconカメラアレイで捉えた実際の動物の骨格運動を復元するための効果的な最適化手法を提案する。
キャプチャした動きをニューラルキャラクタ制御スキームに供給し,動作スタイルによる抽象的な制御信号を生成する。
われわれはARTEMISをさらにVRヘッドセットをサポートする既存のエンジンに統合し、ユーザーが鮮明な動きと写真リアリスティックな外観で様々な仮想動物と密に対話できるような、前例のない没入体験を提供する。
大規模実験や展示会では,ngi動物をリアルタイムにリアルに表現できるartemisシステムの有効性を実証し,これまでにない没入感とインタラクティブな体験をデジタル動物に提供した。
関連論文リスト
- Virtual Pets: Animatable Animal Generation in 3D Scenes [84.0990909455833]
仮想ペット(Virtual Pet)は、3次元環境下での標的動物種に対する現実的で多様な動きをモデル化するための新しいパイプラインである。
我々はモノクロインターネットビデオを活用し、背景と背景の静的なNeRF表現に対して変形可能なNeRF表現を抽出する。
我々は,種レベルの共有テンプレート学習とビデオ毎の微調整を含む再構築戦略を開発する。
論文 参考訳（メタデータ） (2023-12-21T18:59:30Z) - OmniMotionGPT: Animal Motion Generation with Limited Data [70.35662376853163]
最初のテキストアニマルモーションデータセットであるAnimalML3Dを紹介した。
我々は,動物データに基づくヒトの動き生成ベースラインのトレーニング結果よりも定量的かつ質的に,高い多様性と忠実さで動物の動きを生成することができる。
論文 参考訳（メタデータ） (2023-11-30T07:14:00Z) - AnimateAnything: Fine-Grained Open Domain Image Animation with Motion
Guidance [13.416296247896042]
本稿では,映像拡散モデルに先立って動きを利用するオープンドメイン画像アニメーション手法を提案する。
本手法では,移動領域の正確な制御と移動速度を実現するため,目標となる運動領域の誘導と運動強度の誘導を導入する。
オープンドメインデータセットを用いた厳密な実験により,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2023-11-21T03:47:54Z) - Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。
まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。
次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
論文 参考訳（メタデータ） (2023-10-06T20:48:43Z) - Instant-NVR: Instant Neural Volumetric Rendering for Human-object
Interactions from Monocular RGBD Stream [14.844982083586306]
Instant-NVRは,1台のRGBDカメラを用いて,物体追跡とレンダリングを瞬時に行うニューラルネットワークである。
トラッキングフロントエンドでは、十分な動作先を提供するために、頑健な人間オブジェクトキャプチャー方式を採用する。
また,移動優先探索による動的・静電放射場をオンザフライで再構築する手法も提案する。
論文 参考訳（メタデータ） (2023-04-06T16:09:51Z) - High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。
自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。
実験結果では,映像リアリズムの点で最先端を著しく上回っている。
論文 参考訳（メタデータ） (2020-12-20T16:54:38Z) - Learning Compositional Radiance Fields of Dynamic Human Heads [13.272666180264485]
従来の方法のベストを組み合わせ、高分解能と高速な結果の両方を生成する新しい合成3D表現を提案します。
異なるボリュームレンダリングを用いて、人間の頭部と上半身のフォトリアリスティックなノベルビューを計算する。
本研究は,人間の頭と上半身の新たな視線を合成する手法である。
論文 参考訳（メタデータ） (2020-12-17T22:19:27Z) - UniCon: Universal Neural Controller For Physics-based Character Motion [70.45421551688332]
大規模動作データセットから学習することで,異なるスタイルで数千の動作を習得する物理ベースのユニバーサルニューラルコントローラ(UniCon)を提案する。
UniConは、キーボード駆動制御をサポートし、ロコモーションとアクロバティックスキルの大きなプールから引き出されたモーションシーケンスを作成し、ビデオで撮影した人を物理ベースの仮想アバターにテレポートする。
論文 参考訳（メタデータ） (2020-11-30T18:51:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。