論文の概要: Unsupervised Volumetric Animation
- arxiv url: http://arxiv.org/abs/2301.11326v1
- Date: Thu, 26 Jan 2023 18:58:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-27 12:40:28.811927
- Title: Unsupervised Volumetric Animation
- Title(参考訳): 教師なしボリュームアニメーション
- Authors: Aliaksandr Siarohin, Willi Menapace, Ivan Skorokhodov, Kyle Olszewski,
Jian Ren, Hsin-Ying Lee, Menglei Chai, Sergey Tulyakov
- Abstract要約: 非剛性変形物体の教師なし3次元アニメーションのための新しい手法を提案する。
本手法は,RGBビデオのみからオブジェクトの3次元構造とダイナミックスを学習する。
我々は,本モデルを用いて,単一ボリュームまたは少数の画像からアニマタブルな3Dオブジェクトを得ることができることを示す。
- 参考スコア(独自算出の注目度): 54.52012366520807
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a novel approach for unsupervised 3D animation of non-rigid
deformable objects. Our method learns the 3D structure and dynamics of objects
solely from single-view RGB videos, and can decompose them into semantically
meaningful parts that can be tracked and animated. Using a 3D autodecoder
framework, paired with a keypoint estimator via a differentiable PnP algorithm,
our model learns the underlying object geometry and parts decomposition in an
entirely unsupervised manner. This allows it to perform 3D segmentation, 3D
keypoint estimation, novel view synthesis, and animation. We primarily evaluate
the framework on two video datasets: VoxCeleb $256^2$ and TEDXPeople $256^2$.
In addition, on the Cats $256^2$ image dataset, we show it even learns
compelling 3D geometry from still images. Finally, we show our model can obtain
animatable 3D objects from a single or few images. Code and visual results
available on our project website, see
https://snap-research.github.io/unsupervised-volumetric-animation .
- Abstract(参考訳): 非剛性変形物体の教師なし3次元アニメーションのための新しい手法を提案する。
本手法は,RGBビデオのみからオブジェクトの3次元構造とダイナミックスを学習し,それらを意味的に意味のある部分に分解し,追跡・アニメーションすることができる。
微分可能なPnPアルゴリズムを用いてキーポイント推定器と組み合わせた3Dオートデコーダフレームワークを用いて,本モデルでは基礎となるオブジェクト形状と部分分解を教師なしで学習する。
これにより、3Dセグメンテーション、3Dキーポイント推定、新しいビュー合成、アニメーションを実行できる。
VoxCeleb $256^2$ と TEDXPeople $256^2$ である。
さらに、Catsの256^2$イメージデータセットでは、静止画像から魅力的な3D幾何学を学ぶことも示しています。
最後に,本モデルを用いて,単一または少数の画像からアニマタブルな3Dオブジェクトが得られることを示す。
プロジェクトのWebサイトにあるコードとビジュアルの結果は、https://snap-research.github.io/unsupervised-volumetric-animation を参照してください。
関連論文リスト
- Disentangled 3D Scene Generation with Layout Learning [109.03233745767062]
本稿では,コンポーネントオブジェクトに絡み合った3Dシーンを生成する手法を提案する。
私たちの重要な洞察は、オブジェクトは空間的に再構成された場合、同じシーンの有効な構成を生成する3Dシーンの一部を見つけることで発見できるということです。
単純さにもかかわらず、我々のアプローチは個々のオブジェクトに3Dシーンを生成することに成功している。
論文 参考訳(メタデータ) (2024-02-26T18:54:15Z) - Uni3D: Exploring Unified 3D Representation at Scale [66.26710717073372]
大規模に統一された3次元表現を探索する3次元基礎モデルであるUni3Dを提案する。
Uni3Dは、事前にトレーニングされた2D ViTのエンドツーエンドを使用して、3Dポイントクラウド機能と画像テキスト整列機能とを一致させる。
強力なUni3D表現は、野生での3D絵画や検索などの応用を可能にする。
論文 参考訳(メタデータ) (2023-10-10T16:49:21Z) - CC3D: Layout-Conditioned Generation of Compositional 3D Scenes [49.281006972028194]
本稿では,複雑な3次元シーンを2次元セマンティックなシーンレイアウトで合成する条件生成モデルであるCC3Dを紹介する。
合成3D-FRONTと実世界のKITTI-360データセットに対する評価は、我々のモデルが視覚的および幾何学的品質を改善したシーンを生成することを示す。
論文 参考訳(メタデータ) (2023-03-21T17:59:02Z) - 3inGAN: Learning a 3D Generative Model from Images of a Self-similar
Scene [34.2144933185175]
3inGANは、単一の自己相似3Dシーンの2D画像から訓練された無条件3D生成モデルである。
実地および合成源から得られた,様々なスケールと複雑さの半確率的な場面での結果を示す。
論文 参考訳(メタデータ) (2022-11-27T18:03:21Z) - Learning 3D Scene Priors with 2D Supervision [37.79852635415233]
本研究では,3次元の地平を必要とせず,レイアウトや形状の3次元シーンを学習するための新しい手法を提案する。
提案手法は, 3次元シーンを潜在ベクトルとして表現し, クラスカテゴリを特徴とするオブジェクト列に段階的に復号化することができる。
3D-FRONT と ScanNet による実験により,本手法は単一視点再構成における技術状況よりも優れていた。
論文 参考訳(メタデータ) (2022-11-25T15:03:32Z) - DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to
the Third Dimension [71.71234436165255]
DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。
3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。
我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
論文 参考訳(メタデータ) (2021-08-31T18:33:55Z) - Interactive Annotation of 3D Object Geometry using 2D Scribbles [84.51514043814066]
本稿では,ポイントクラウドデータとRGB画像から3次元オブジェクト形状をアノテートする対話型フレームワークを提案する。
当社のフレームワークは,芸術的,グラフィック的専門知識のないナイーブユーザを対象としている。
論文 参考訳(メタデータ) (2020-08-24T21:51:29Z) - Unsupervised object-centric video generation and decomposition in 3D [36.08064849807464]
本研究では,複数の3Dオブジェクトと3D背景を持つシーンを移動しながら映像を映像としてモデル化することを提案する。
我々のモデルは、監督なしに単眼ビデオから訓練されるが、複数の動く物体を含むコヒーレントな3Dシーンを生成することを学ぶ。
論文 参考訳(メタデータ) (2020-07-07T18:01:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。