論文の概要: Self-supervised Single-view 3D Reconstruction via Semantic Consistency
- arxiv url: http://arxiv.org/abs/2003.06473v1
- Date: Fri, 13 Mar 2020 20:29:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 01:58:23.151471
- Title: Self-supervised Single-view 3D Reconstruction via Semantic Consistency
- Title（参考訳）: Semantic Consistencyを用いた自己教師付きシングルビュー3次元再構成
- Authors: Xueting Li, Sifei Liu, Kihwan Kim, Shalini De Mello, Varun Jampani,
Ming-Hsuan Yang, Jan Kautz
- Abstract要約: 対象物の形状, テクスチャ, カメラポーズを予測できる, 自己監督型, 単視点3D再構成モデルを学習する。
提案手法では,手動で注釈付けしたキーポイント,オブジェクトのマルチビューイメージ,あるいは事前の3Dテンプレートなど,3Dの監督を必要としない。
- 参考スコア（独自算出の注目度）: 142.71430568330172
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We learn a self-supervised, single-view 3D reconstruction model that predicts
the 3D mesh shape, texture and camera pose of a target object with a collection
of 2D images and silhouettes. The proposed method does not necessitate 3D
supervision, manually annotated keypoints, multi-view images of an object or a
prior 3D template. The key insight of our work is that objects can be
represented as a collection of deformable parts, and each part is semantically
coherent across different instances of the same category (e.g., wings on birds
and wheels on cars). Therefore, by leveraging self-supervisedly learned part
segmentation of a large collection of category-specific images, we can
effectively enforce semantic consistency between the reconstructed meshes and
the original images. This significantly reduces ambiguities during joint
prediction of shape and camera pose of an object, along with texture. To the
best of our knowledge, we are the first to try and solve the single-view
reconstruction problem without a category-specific template mesh or semantic
keypoints. Thus our model can easily generalize to various object categories
without such labels, e.g., horses, penguins, etc. Through a variety of
experiments on several categories of deformable and rigid objects, we
demonstrate that our unsupervised method performs comparably if not better than
existing category-specific reconstruction methods learned with supervision.
- Abstract（参考訳）: 対象物体の3次元メッシュ形状, テクスチャ, カメラポーズを2次元画像とシルエットのコレクションで予測する, 自己監督型, 単視点3次元再構成モデルについて学習する。
提案手法は,3次元の監督や手作業によるキーポイント,オブジェクトのマルチビュー画像,あるいは以前の3dテンプレートを必要としない。
私たちの仕事の重要な洞察は、オブジェクトは変形可能な部品の集合として表現でき、各部分は、同じカテゴリの異なるインスタンス(例えば、鳥の翼と車の車輪)で意味的に一貫性があるということです。
そこで,カテゴリ固有の画像集合の自己教師付き部分分割を利用して,再構成メッシュと元の画像とのセマンティック一貫性を効果的に実現する。
これにより、物体の形状とカメラのポーズの合同予測とテクスチャの曖昧さが著しく減少する。
私たちの知る限りでは、カテゴリ固有のテンプレートメッシュやセマンティックキーポイントを使わずに、シングルビューレコンストラクション問題を最初に解決しようと試みました。
したがって,馬,ペンギンなどのラベルを使わずに,様々な対象カテゴリに容易に一般化することができる。
変形性オブジェクトと剛性オブジェクトの様々なカテゴリに関する実験を通して、我々の非教師なしメソッドは、既存のカテゴリ固有の再構築方法よりも、相互に制御可能であることを示す。
関連論文リスト
- EasyHOI: Unleashing the Power of Large Models for Reconstructing Hand-Object Interactions in the Wild [79.71523320368388]
本研究の目的は,手動物体のインタラクションを単一視点画像から再構築することである。
まず、手ポーズとオブジェクト形状を推定する新しいパイプラインを設計する。
最初の再構築では、事前に誘導された最適化方式を採用する。
論文 参考訳（メタデータ） (2024-11-21T16:33:35Z) - SAOR: Single-View Articulated Object Reconstruction [17.2716639564414]
野生で撮影された単一画像から3次元形状, テクスチャ, 視点を推定するための新しいアプローチであるSAORを紹介する。
事前に定義されたカテゴリ固有の3Dテンプレートや調整された3Dスケルトンに依存する従来のアプローチとは異なり、SAORは3Dオブジェクトの形状を事前に必要とせずに、スケルトンフリーのパーツベースモデルで単一ビューイメージコレクションから形状を明瞭化することを学ぶ。
論文 参考訳（メタデータ） (2023-03-23T17:59:35Z) - Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。
本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。
我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
論文 参考訳（メタデータ） (2022-08-04T14:13:35Z) - Share With Thy Neighbors: Single-View Reconstruction by Cross-Instance
Consistency [59.427074701985795]
単一ビューの再構築は通常、視点アノテーション、シルエット、背景の欠如、同じインスタンスの複数のビュー、テンプレートの形状、対称性に依存する。
異なるオブジェクトインスタンスのイメージ間の一貫性を明確に活用することで、これらの監督と仮説をすべて回避します。
i)プログレッシブ・コンディショニング(プログレッシブ・コンディショニング)、(ii)類似の形状やテクスチャを持つインスタンス間の一貫性の喪失、(ii)モデルのカテゴリからインスタンスへと徐々に専門化するためのトレーニング戦略。
論文 参考訳（メタデータ） (2022-04-21T17:47:35Z) - Multi-Category Mesh Reconstruction From Image Collections [90.24365811344987]
本稿では, 一連の変形可能な3次元モデルとインスタンス固有の変形, ポーズ, テクスチャのセットを組み合わせた, オブジェクトのテクスチャメッシュを推定する手法を提案する。
本手法は,前景マスクと粗いカメラポーズのみを監督として,複数の対象カテゴリの画像を用いて訓練する。
実験により,提案フレームワークは異なる対象カテゴリを区別し,教師なしの方法でカテゴリ固有の形状を学習できることが示唆された。
論文 参考訳（メタデータ） (2021-10-21T16:32:31Z) - Canonical 3D Deformer Maps: Unifying parametric and non-parametric
methods for dense weakly-supervised category reconstruction [79.98689027127855]
独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。
提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。
顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
論文 参考訳（メタデータ） (2020-08-28T15:44:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。