論文の概要: Learning monocular 3D reconstruction of articulated categories from motion

• arxiv url: http://arxiv.org/abs/2103.16352v1
• Date: Tue, 30 Mar 2021 13:50:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-31 15:05:31.315222
• Title: Learning monocular 3D reconstruction of articulated categories from motion
• Title（参考訳）: 運動による関節カテゴリの単眼的3次元再構築の学習
• Authors: Filippos Kokkinos, Iasonas Kokkinos
• Abstract要約: ビデオの自己スーパービジョンは、動きに基づくサイクルロスによる連続した3次元再構成の一貫性を強要する。 少数の局所的学習可能なハンドルの変位を介して3D表面を制御する3Dテンプレート変形の解釈可能なモデルを紹介します。 多様な形状, 視点, テクスチャを具体化して, 複数の対象カテゴリーのテクスチャを再現する。
• 参考スコア（独自算出の注目度）: 39.811816510186475
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Monocular 3D reconstruction of articulated object categories is challenging due to the lack of training data and the inherent ill-posedness of the problem. In this work we use video self-supervision, forcing the consistency of consecutive 3D reconstructions by a motion-based cycle loss. This largely improves both optimization-based and learning-based 3D mesh reconstruction. We further introduce an interpretable model of 3D template deformations that controls a 3D surface through the displacement of a small number of local, learnable handles. We formulate this operation as a structured layer relying on mesh-laplacian regularization and show that it can be trained in an end-to-end manner. We finally introduce a per-sample numerical optimisation approach that jointly optimises over mesh displacements and cameras within a video, boosting accuracy both for training and also as test time post-processing. While relying exclusively on a small set of videos collected per category for supervision, we obtain state-of-the-art reconstructions with diverse shapes, viewpoints and textures for multiple articulated object categories.
• Abstract（参考訳）: 調音された物体カテゴリの単眼的3次元再構成は,訓練データの欠如と本質的不適切性から困難である。 本研究では, 映像自己監督を用いて, 連続した3次元再構成の整合性を, 動きに基づくサイクルロスによって強制する。 これにより、最適化ベースと学習ベースの3Dメッシュ再構築の両方が大幅に改善される。 さらに,少数の局所的学習可能なハンドルの変位を介して3次元表面を制御する3次元テンプレート変形の解釈モデルについても紹介する。 この操作をメッシュラプラシアン正則化に依存する構造化層として定式化し,エンドツーエンドでトレーニング可能であることを示す。 最後に,ビデオ内のメッシュ変位とカメラを協調的に最適化し,トレーニングおよびテスト時間後処理の精度を高める,サンプル単位の数値最適化手法を提案する。 監視のためにカテゴリ毎に収集されたビデオセットのみに依存するが、複数の明瞭なオブジェクトカテゴリに対して、さまざまな形状、視点、テクスチャを備えた最先端の再構築を得る。

関連論文リスト

• Reconstructing Animatable Categories from Videos [65.14948977749269]
  アニマタブルな3Dモデルの構築は、3Dスキャン、精巧な登録、手動リグの必要性のために難しい。 本稿では,一眼レフビデオからカテゴリ3Dモデルを構築するRACについて述べる。 私たちは、人間、猫、犬の3Dモデルが50-100のインターネットビデオから学習できることを示します。
  論文  参考訳（メタデータ） (2023-05-10T17:56:21Z)
• Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
  シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。 本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。 我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
  論文  参考訳（メタデータ） (2022-08-04T14:13:35Z)
• DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to the Third Dimension [71.71234436165255]
  DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。 3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。 我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
  論文  参考訳（メタデータ） (2021-08-31T18:33:55Z)
• Learning Compositional Shape Priors for Few-Shot 3D Reconstruction [36.40776735291117]
  複雑なエンコーダ・デコーダアーキテクチャが,カテゴリごとの大量のデータを利用することを示す。 データから直接クラス固有のグローバルな形状を学習する3つの方法を提案する。 人気のShapeNetデータセットの実験から,本手法はゼロショットベースラインを40%以上上回る性能を示した。
  論文  参考訳（メタデータ） (2021-06-11T14:55:49Z)
• Unsupervised Learning of 3D Object Categories from Videos in the Wild [75.09720013151247]
  オブジェクトインスタンスの大規模なコレクションの複数のビューからモデルを学ぶことに重点を置いています。 再構成を大幅に改善するワープコンディショニングレイ埋め込み(WCR)と呼ばれる新しいニューラルネットワーク設計を提案する。 本評価は,既存のベンチマークを用いた複数の深部単眼再構成ベースラインに対する性能改善を示す。
  論文  参考訳（メタデータ） (2021-03-30T17:57:01Z)
• Online Adaptation for Consistent Mesh Reconstruction in the Wild [147.22708151409765]
  入ってくるテストビデオに適用する自己教師型オンライン適応問題として、ビデオベースの再構成を行う。 我々は,野生で捕獲された動物を含む非剛体物体のビデオから,時間的に一貫した信頼性の高い3D構造を復元できることを実証した。
  論文  参考訳（メタデータ） (2020-12-06T07:22:27Z)
• Few-Shot Single-View 3-D Object Reconstruction with Compositional Priors [30.262308825799167]
  複雑なエンコーダ・デコーダアーキテクチャは、標準ベンチマークにおいて、最寄りのベースラインと同様に動作することを示す。 本稿では,3次元再構成モデルに事前クラスを効率的に統合する3つの手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T04:53:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。