論文の概要: Common Pets in 3D: Dynamic New-View Synthesis of Real-Life Deformable Categories

• arxiv url: http://arxiv.org/abs/2211.03889v1
• Date: Mon, 7 Nov 2022 22:42:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 16:29:22.888273
• Title: Common Pets in 3D: Dynamic New-View Synthesis of Real-Life Deformable Categories
• Title（参考訳）: 3Dの共通ペット:リアルライフの変形可能なカテゴリの動的新ビュー合成
• Authors: Samarth Sinha, Roman Shapovalov, Jeremy Reizenstein, Ignacio Rocco, Natalia Neverova, Andrea Vedaldi, David Novotny
• Abstract要約: コモンペットを3Dで紹介する(CoP3D)。 テスト時には、目に見えないオブジェクトの少数のビデオフレームが与えられたとき、Tracker-NeRFはその3Dポイントの軌跡を予測し、新しいビューを生成する。 CoP3Dの結果は、既存のベースラインよりも、厳密でない新規ビュー合成性能が著しく向上した。
• 参考スコア（独自算出の注目度）: 80.30216777363057
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Obtaining photorealistic reconstructions of objects from sparse views is inherently ambiguous and can only be achieved by learning suitable reconstruction priors. Earlier works on sparse rigid object reconstruction successfully learned such priors from large datasets such as CO3D. In this paper, we extend this approach to dynamic objects. We use cats and dogs as a representative example and introduce Common Pets in 3D (CoP3D), a collection of crowd-sourced videos showing around 4,200 distinct pets. CoP3D is one of the first large-scale datasets for benchmarking non-rigid 3D reconstruction "in the wild". We also propose Tracker-NeRF, a method for learning 4D reconstruction from our dataset. At test time, given a small number of video frames of an unseen object, Tracker-NeRF predicts the trajectories of its 3D points and generates new views, interpolating viewpoint and time. Results on CoP3D reveal significantly better non-rigid new-view synthesis performance than existing baselines.
• Abstract（参考訳）: スパースビューからのオブジェクトの光現実的再構成は本質的に曖昧であり、適切な再構築前を学習することでのみ達成できる。 初期の研究は、CO3Dのような大規模なデータセットから、厳密なオブジェクト再構成をうまく学んでいた。 本稿では、このアプローチを動的オブジェクトにも拡張する。 猫と犬を代表例として用いており、約4200匹の異なるペットをクラウドソーシングしたビデオ集であるCommon Pets in 3D(CoP3D)を紹介している。 CoP3Dは、非厳密な3D再構築を"野生"でベンチマークするための最初の大規模データセットの1つである。 また,データセットから4次元再構成を学習するトラッカー-NeRFを提案する。 テスト時には、目に見えないオブジェクトの少数のビデオフレームが与えられたとき、Tracker-NeRFはその3Dポイントの軌跡を予測し、新しいビューを生成し、視点と時間を補間する。 CoP3Dの結果は、既存のベースラインよりも、厳密でない新規ビュー合成性能が著しく向上した。

関連論文リスト

• Virtual Pets: Animatable Animal Generation in 3D Scenes [84.0990909455833]
  仮想ペット(Virtual Pet)は、3次元環境下での標的動物種に対する現実的で多様な動きをモデル化するための新しいパイプラインである。 我々はモノクロインターネットビデオを活用し、背景と背景の静的なNeRF表現に対して変形可能なNeRF表現を抽出する。 我々は,種レベルの共有テンプレート学習とビデオ毎の微調整を含む再構築戦略を開発する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:30Z)
• Iterative Superquadric Recomposition of 3D Objects from Multiple Views [77.53142165205283]
  2次元ビューから直接3次元スーパークワッドリックを意味部品として用いたオブジェクトを再構成するフレームワークISCOを提案する。 我々のフレームワークは、再構成エラーが高い場合に、反復的に新しいスーパークワッドリックを追加します。 これは、野生の画像からでも、より正確な3D再構成を提供する。
  論文  参考訳（メタデータ） (2023-09-05T10:21:37Z)
• 3D Surface Reconstruction in the Wild by Deforming Shape Priors from Synthetic Data [24.97027425606138]
  1枚の画像から被写体の3次元表面を再構築することは難しい問題である。 本稿では,1枚の画像から3次元合成とオブジェクトポーズ推定を行う新しい手法を提案する。 提案手法は,複数の実世界のデータセットにまたがって,最先端の再構築性能を実現する。
  論文  参考訳（メタデータ） (2023-02-24T20:37:27Z)
• Common Objects in 3D: Large-Scale Learning and Evaluation of Real-life 3D Category Reconstruction [7.013794773659423]
  3Dの共通オブジェクト(Common Objects in 3D)は、カメラのポーズと地上の真実の3Dポイントクラウドで注釈付けされたオブジェクトカテゴリの実際のマルチビューイメージを備えた大規模なデータセットである。 データセットには、50のMS-COCOカテゴリからオブジェクトをキャプチャする19,000近いビデオから、合計150万フレームが含まれている。 我々は、この新たなデータセットを利用して、いくつかの新しいビュー合成法とカテゴリ中心の3D再構成法に関する、最初の大規模"in-the-wild"評価を行う。
  論文  参考訳（メタデータ） (2021-09-01T17:59:05Z)
• DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to the Third Dimension [71.71234436165255]
  DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。 3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。 我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
  論文  参考訳（メタデータ） (2021-08-31T18:33:55Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• Learning Compositional Shape Priors for Few-Shot 3D Reconstruction [36.40776735291117]
  複雑なエンコーダ・デコーダアーキテクチャが,カテゴリごとの大量のデータを利用することを示す。 データから直接クラス固有のグローバルな形状を学習する3つの方法を提案する。 人気のShapeNetデータセットの実験から,本手法はゼロショットベースラインを40%以上上回る性能を示した。
  論文  参考訳（メタデータ） (2021-06-11T14:55:49Z)
• Unsupervised Learning of 3D Object Categories from Videos in the Wild [75.09720013151247]
  オブジェクトインスタンスの大規模なコレクションの複数のビューからモデルを学ぶことに重点を置いています。 再構成を大幅に改善するワープコンディショニングレイ埋め込み(WCR)と呼ばれる新しいニューラルネットワーク設計を提案する。 本評価は,既存のベンチマークを用いた複数の深部単眼再構成ベースラインに対する性能改善を示す。
  論文  参考訳（メタデータ） (2021-03-30T17:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。