論文の概要: Virtual Pets: Animatable Animal Generation in 3D Scenes

• arxiv url: http://arxiv.org/abs/2312.14154v1
• Date: Thu, 21 Dec 2023 18:59:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 13:33:08.214562
• Title: Virtual Pets: Animatable Animal Generation in 3D Scenes
• Title（参考訳）: 仮想ペット:3Dシーンでアニマタブルな動物生成
• Authors: Yen-Chi Cheng, Chieh Hubert Lin, Chaoyang Wang, Yash Kant, Sergey Tulyakov, Alexander Schwing, Liangyan Gui, Hsin-Ying Lee
• Abstract要約: 仮想ペット(Virtual Pet)は、3次元環境下での標的動物種に対する現実的で多様な動きをモデル化するための新しいパイプラインである。 我々はモノクロインターネットビデオを活用し、背景と背景の静的なNeRF表現に対して変形可能なNeRF表現を抽出する。 我々は,種レベルの共有テンプレート学習とビデオ毎の微調整を含む再構築戦略を開発する。
• 参考スコア（独自算出の注目度）: 84.0990909455833
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Toward unlocking the potential of generative models in immersive 4D experiences, we introduce Virtual Pet, a novel pipeline to model realistic and diverse motions for target animal species within a 3D environment. To circumvent the limited availability of 3D motion data aligned with environmental geometry, we leverage monocular internet videos and extract deformable NeRF representations for the foreground and static NeRF representations for the background. For this, we develop a reconstruction strategy, encompassing species-level shared template learning and per-video fine-tuning. Utilizing the reconstructed data, we then train a conditional 3D motion model to learn the trajectory and articulation of foreground animals in the context of 3D backgrounds. We showcase the efficacy of our pipeline with comprehensive qualitative and quantitative evaluations using cat videos. We also demonstrate versatility across unseen cats and indoor environments, producing temporally coherent 4D outputs for enriched virtual experiences.
• Abstract（参考訳）: 没入型4d体験における生成モデルの可能性を解き放つために,3d環境での動物種に対する現実的な多様な動きをモデル化する新しいパイプラインであるvirtual petを導入する。 環境形状に整合した3次元モーションデータの限られた利用を回避するために,モノクラーインターネットビデオを活用し,背景の変形可能なNeRF表現と静的NeRF表現を抽出する。 そこで我々は,種レベルの共有テンプレート学習とビデオ毎の微調整を含む再構築戦略を開発した。 再構成データを用いて条件付き3次元運動モデルを訓練し,3次元背景における前景動物の軌跡と調音を学習する。 猫のビデオを用いた総合的質的,定量的評価によるパイプラインの有効性を示す。 また,猫や室内環境にまたがる汎用性を実証し,時間的にコヒーレントな4次元アウトプットを生成し,仮想体験を豊かにする。

関連論文リスト

• Animate3D: Animating Any 3D Model with Multi-view Video Diffusion [47.05131487114018]
  Animate3Dは静的な3Dモデルをアニメーションするための新しいフレームワークである。 本研究では,3Dオブジェクトのアニメーション化に多視点ビデオ拡散プリミティブを活用するために,再構成と4Dスコア蒸留サンプリング(4D-SDS)を組み合わせたフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T05:35:57Z)
• 4Real: Towards Photorealistic 4D Scene Generation via Video Diffusion Models [53.89348957053395]
  テキストから4Dシーン生成のための新しいパイプラインを提案する。 提案手法は,ビデオ生成モデルを用いて参照ビデオを生成することから始まる。 次に、凍結時間ビデオを用いて、ビデオの標準的な3D表現を学習する。
  論文  参考訳（メタデータ） (2024-06-11T17:19:26Z)
• TC4D: Trajectory-Conditioned Text-to-4D Generation [94.90700997568158]
  提案するTC4D: trajectory-conditioned text-to-4D 生成は,グローバルおよびローカルなコンポーネントへの移動を要因とする。 我々は,テキスト・ビデオ・モデルから,グローバルな軌跡に適合する局所的な変形を観察する。 提案手法は,任意の軌跡に沿ってアニメーションされたシーンの合成,構成シーンの生成,および生成した動きのリアリズムと量に対する大幅な改善を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:55:11Z)
• Learning the 3D Fauna of the Web [70.01196719128912]
  3D-Faunaは,100種以上の動物種を対象に,パンカテゴリーで変形可能な3D動物モデルを共同で学習する手法である。 動物モデリングにおける重要なボトルネックの1つは、トレーニングデータの可用性の制限である。 従来のカテゴリー固有の試みは,訓練画像に制限のある希少種への一般化に失敗することを示す。
  論文  参考訳（メタデータ） (2024-01-04T18:32:48Z)
• Reconstructing Animatable Categories from Videos [65.14948977749269]
  アニマタブルな3Dモデルの構築は、3Dスキャン、精巧な登録、手動リグの必要性のために難しい。 本稿では,一眼レフビデオからカテゴリ3Dモデルを構築するRACについて述べる。 私たちは、人間、猫、犬の3Dモデルが50-100のインターネットビデオから学習できることを示します。
  論文  参考訳（メタデータ） (2023-05-10T17:56:21Z)
• Common Pets in 3D: Dynamic New-View Synthesis of Real-Life Deformable Categories [80.30216777363057]
  コモンペットを3Dで紹介する(CoP3D)。 テスト時には、目に見えないオブジェクトの少数のビデオフレームが与えられたとき、Tracker-NeRFはその3Dポイントの軌跡を予測し、新しいビューを生成する。 CoP3Dの結果は、既存のベースラインよりも、厳密でない新規ビュー合成性能が著しく向上した。
  論文  参考訳（メタデータ） (2022-11-07T22:42:42Z)
• ZooBuilder: 2D and 3D Pose Estimation for Quadrupeds Using Synthetic Data [2.3661942553209236]
  2Dと3Dのポーズ推定モデルを合成データでトレーニングし、ZooBuilderと呼ばれるエンドツーエンドのパイプラインを配置します。 パイプラインは野生動物のビデオとして入力され、動物の骨格の各関節の対応する2Dと3D座標を生成する。
  論文  参考訳（メタデータ） (2020-09-01T07:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。