論文の概要: Reconstructing Animatable Categories from Videos

• arxiv url: http://arxiv.org/abs/2305.06351v1
• Date: Wed, 10 May 2023 17:56:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-11 11:57:31.758480
• Title: Reconstructing Animatable Categories from Videos
• Title（参考訳）: ビデオからアニマタブルなカテゴリを再構築する
• Authors: Gengshan Yang and Chaoyang Wang and N Dinesh Reddy and Deva Ramanan
• Abstract要約: アニマタブルな3Dモデルの構築は、3Dスキャン、精巧な登録、手動リグの必要性のために難しい。 本稿では,一眼レフビデオからカテゴリ3Dモデルを構築するRACについて述べる。 私たちは、人間、猫、犬の3Dモデルが50-100のインターネットビデオから学習できることを示します。
• 参考スコア（独自算出の注目度）: 65.14948977749269
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building animatable 3D models is challenging due to the need for 3D scans, laborious registration, and manual rigging, which are difficult to scale to arbitrary categories. Recently, differentiable rendering provides a pathway to obtain high-quality 3D models from monocular videos, but these are limited to rigid categories or single instances. We present RAC that builds category 3D models from monocular videos while disentangling variations over instances and motion over time. Three key ideas are introduced to solve this problem: (1) specializing a skeleton to instances via optimization, (2) a method for latent space regularization that encourages shared structure across a category while maintaining instance details, and (3) using 3D background models to disentangle objects from the background. We show that 3D models of humans, cats, and dogs can be learned from 50-100 internet videos.
• Abstract（参考訳）: アニマタブルな3Dモデルの構築は、3Dスキャン、精巧な登録、手動リギングを必要とするため困難であり、任意のカテゴリにスケールすることが難しい。 近年、微分可能レンダリングは単眼ビデオから高品質な3dモデルを得る経路を提供しているが、これらは厳格なカテゴリや単一インスタンスに限定されている。 本稿では,一眼レフビデオからカテゴリ3Dモデルを構築するRACについて述べる。 この問題を解決するために,(1)最適化によりスケルトンをインスタンスに特殊化すること,(2)インスタンスの詳細を維持しながらカテゴリ間の共有構造を促進する潜在空間正規化法,(3)背景からオブジェクトをアンタングルするために3次元背景モデルを使用する3つの主要なアイデアが紹介されている。 人間、猫、犬の3dモデルが、50～100本のインターネットビデオから学べることを示した。

関連論文リスト

• Generating 3D-Consistent Videos from Unposed Internet Photos [68.944029293283]
  カメラパラメータなどの3Dアノテーションを使わずに,スケーラブルな3D対応ビデオモデルをトレーニングする。 その結果,映像やマルチビューインターネット写真などの2次元データのみを用いて,シーンレベルの3D学習をスケールアップできることが示唆された。
  論文  参考訳（メタデータ） (2024-11-20T18:58:31Z)
• CAT3D: Create Anything in 3D with Multi-View Diffusion Models [87.80820708758317]
  CAT3D(CAT3D)は,この実世界のキャプチャプロセスを多視点拡散モデルでシミュレートし,任意のものを3Dで作成する手法である。 CAT3Dは1分で3Dシーン全体を作成できる。
  論文  参考訳（メタデータ） (2024-05-16T17:59:05Z)
• DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields [68.94868475824575]
  本稿では,無限で高品質な3Dアノテーションを3Dポイントクラウドセグメンテーションとともに生成できる新しいアプローチを提案する。 我々は3次元生成モデルに先立って強力なセマンティクスを活用してセマンティクスデコーダを訓練する。 トレーニングが完了すると、デコーダは遅延空間を効率よく一般化し、無限のデータの生成を可能にする。
  論文  参考訳（メタデータ） (2023-11-18T21:58:28Z)
• CAMM: Building Category-Agnostic and Animatable 3D Models from Monocular Videos [3.356334042188362]
  そこで本研究では,任意の対象に対してアニマタブルなキネマティックチェインを学習する手法を提案する。 本手法は,多種多様な対象カテゴリーにおける最先端の3次元表面再構成法と同等である。
  論文  参考訳（メタデータ） (2023-04-14T06:07:54Z)
• BANMo: Building Animatable 3D Neural Models from Many Casual Videos [135.64291166057373]
  本稿では,特殊なセンサや事前定義されたテンプレート形状を必要としないBANMoを提案する。 Banmoは、多くのモノクロカジュアルビデオから高忠実な3Dモデルを、差別化可能なレンダリングフレームワークで構築する。 実際のデータセットと合成データセットでは、BANMoは人間や動物の以前の研究よりも高忠実な3D再構成を示している。
  論文  参考訳（メタデータ） (2021-12-23T18:30:31Z)
• DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to the Third Dimension [71.71234436165255]
  DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。 3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。 我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
  論文  参考訳（メタデータ） (2021-08-31T18:33:55Z)
• Learning monocular 3D reconstruction of articulated categories from motion [39.811816510186475]
  ビデオの自己スーパービジョンは、動きに基づくサイクルロスによる連続した3次元再構成の一貫性を強要する。 少数の局所的学習可能なハンドルの変位を介して3D表面を制御する3Dテンプレート変形の解釈可能なモデルを紹介します。 多様な形状, 視点, テクスチャを具体化して, 複数の対象カテゴリーのテクスチャを再現する。
  論文  参考訳（メタデータ） (2021-03-30T13:50:27Z)
• A Convolutional Architecture for 3D Model Embedding [1.3858051019755282]
  入力として3Dモデルを扱うディープラーニングアーキテクチャを提案する。 埋め込み表現は3Dオブジェクトの類似性評価を扱うのに役立つセマンティック情報を伝えることを示した。
  論文  参考訳（メタデータ） (2021-03-05T15:46:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。