論文の概要: Multi-Category Mesh Reconstruction From Image Collections
- arxiv url: http://arxiv.org/abs/2110.11256v1
- Date: Thu, 21 Oct 2021 16:32:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-22 21:45:13.466061
- Title: Multi-Category Mesh Reconstruction From Image Collections
- Title（参考訳）: 画像コレクションからのマルチカテゴリメッシュ再構成
- Authors: Alessandro Simoni, Stefano Pini, Roberto Vezzani, Rita Cucchiara
- Abstract要約: 本稿では, 一連の変形可能な3次元モデルとインスタンス固有の変形, ポーズ, テクスチャのセットを組み合わせた, オブジェクトのテクスチャメッシュを推定する手法を提案する。
本手法は,前景マスクと粗いカメラポーズのみを監督として,複数の対象カテゴリの画像を用いて訓練する。
実験により,提案フレームワークは異なる対象カテゴリを区別し,教師なしの方法でカテゴリ固有の形状を学習できることが示唆された。
- 参考スコア（独自算出の注目度）: 90.24365811344987
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recently, learning frameworks have shown the capability of inferring the
accurate shape, pose, and texture of an object from a single RGB image.
However, current methods are trained on image collections of a single category
in order to exploit specific priors, and they often make use of
category-specific 3D templates. In this paper, we present an alternative
approach that infers the textured mesh of objects combining a series of
deformable 3D models and a set of instance-specific deformation, pose, and
texture. Differently from previous works, our method is trained with images of
multiple object categories using only foreground masks and rough camera poses
as supervision. Without specific 3D templates, the framework learns
category-level models which are deformed to recover the 3D shape of the
depicted object. The instance-specific deformations are predicted independently
for each vertex of the learned 3D mesh, enabling the dynamic subdivision of the
mesh during the training process. Experiments show that the proposed framework
can distinguish between different object categories and learn category-specific
shape priors in an unsupervised manner. Predicted shapes are smooth and can
leverage from multiple steps of subdivision during the training process,
obtaining comparable or state-of-the-art results on two public datasets. Models
and code are publicly released.
- Abstract（参考訳）: 近年、学習フレームワークでは、単一のrgb画像からオブジェクトの正確な形状、ポーズ、テクスチャを推測する能力が示されている。
しかし、現在の手法は、特定の優先順位を利用するために単一のカテゴリの画像コレクションで訓練されており、しばしばカテゴリ固有の3dテンプレートを使用する。
本稿では, 一連の変形可能な3次元モデルとインスタンス固有の変形, ポーズ, テクスチャのセットを組み合わせた, オブジェクトのテクスチャメッシュを推定する手法を提案する。
従来の作業と異なり,前景マスクと粗いカメラのポーズのみを監督として,複数の被写体カテゴリの画像を訓練する。
特定の3dテンプレートがなければ、フレームワークは表現されたオブジェクトの3d形状を復元するために変形するカテゴリレベルのモデルを学ぶ。
学習した3Dメッシュの各頂点に対して、インスタンス固有の変形を独立して予測し、トレーニングプロセス中にメッシュの動的分割を可能にする。
実験の結果,提案フレームワークは異なる対象カテゴリを区別し,教師なしの方法でカテゴリ固有の形状を学習できることがわかった。
予測された形状は滑らかで、トレーニングプロセス中に複数のステップから活用でき、2つの公開データセットで同等あるいは最先端の結果を得ることができる。
モデルとコードは公開されています。
関連論文リスト
- SAOR: Single-View Articulated Object Reconstruction [17.2716639564414]
野生で撮影された単一画像から3次元形状, テクスチャ, 視点を推定するための新しいアプローチであるSAORを紹介する。
事前に定義されたカテゴリ固有の3Dテンプレートや調整された3Dスケルトンに依存する従来のアプローチとは異なり、SAORは3Dオブジェクトの形状を事前に必要とせずに、スケルトンフリーのパーツベースモデルで単一ビューイメージコレクションから形状を明瞭化することを学ぶ。
論文 参考訳（メタデータ） (2023-03-23T17:59:35Z) - CA$^2$T-Net: Category-Agnostic 3D Articulation Transfer from Single
Image [41.70960551470232]
本稿では,物体の単一画像から静止状態(非有声)3Dモデルへ動きを伝達するニューラルネットワーク手法を提案する。
我々のネットワークは、入力画像に表示される調音を再現するために、オブジェクトのポーズ、部分分割、および対応する動きパラメータを予測することを学習する。
論文 参考訳（メタデータ） (2023-01-05T18:57:12Z) - Topologically-Aware Deformation Fields for Single-View 3D Reconstruction [30.738926104317514]
本稿では,非整合なカテゴリ固有の画像収集から3次元オブジェクト形状と密接なオブジェクト対応を学習するための新しいフレームワークを提案する。
3次元形状は、カテゴリー固有符号距離場への変形として暗黙的に生成される。
TARSと呼ばれる我々の手法は、いくつかのデータセット上で最先端の再構築忠実性を実現する。
論文 参考訳（メタデータ） (2022-05-12T17:59:59Z) - Share With Thy Neighbors: Single-View Reconstruction by Cross-Instance
Consistency [59.427074701985795]
単一ビューの再構築は通常、視点アノテーション、シルエット、背景の欠如、同じインスタンスの複数のビュー、テンプレートの形状、対称性に依存する。
異なるオブジェクトインスタンスのイメージ間の一貫性を明確に活用することで、これらの監督と仮説をすべて回避します。
i)プログレッシブ・コンディショニング(プログレッシブ・コンディショニング)、(ii)類似の形状やテクスチャを持つインスタンス間の一貫性の喪失、(ii)モデルのカテゴリからインスタンスへと徐々に専門化するためのトレーニング戦略。
論文 参考訳（メタデータ） (2022-04-21T17:47:35Z) - Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。
我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。
我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
論文 参考訳（メタデータ） (2022-04-21T03:42:31Z) - Templates for 3D Object Pose Estimation Revisited: Generalization to New
Objects and Robustness to Occlusions [79.34847067293649]
本稿では,新しい物体を認識でき,RGB画像の3次元ポーズを部分閉塞下でも推定できる手法を提案する。
ローカルオブジェクト表現を学習するために、トレーニングオブジェクトの小さなセットに依存します。
LINEMOD と Occlusion-LINEMOD のデータセットを再トレーニングせずに一般化を示すのはこれが初めてである。
論文 参考訳（メタデータ） (2022-03-31T17:50:35Z) - Template NeRF: Towards Modeling Dense Shape Correspondences from
Category-Specific Object Images [4.662583832063716]
本研究では, テンプレートを用いたNeRF(Near Raddiance Field)を, 外観や形状をモデル化するためのテンプレートとして提示する。
多視点画像のみから同一カテゴリのオブジェクト間の密な形状対応を同時に生成する。
学習された高密度対応は、キーポイント検出、部分分割、テクスチャ転送など、様々な画像ベースのタスクに容易に利用できる。
論文 参考訳（メタデータ） (2021-11-08T02:16:48Z) - Canonical 3D Deformer Maps: Unifying parametric and non-parametric
methods for dense weakly-supervised category reconstruction [79.98689027127855]
独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。
提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。
顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
論文 参考訳（メタデータ） (2020-08-28T15:44:05Z) - Self-supervised Single-view 3D Reconstruction via Semantic Consistency [142.71430568330172]
対象物の形状, テクスチャ, カメラポーズを予測できる, 自己監督型, 単視点3D再構成モデルを学習する。
提案手法では,手動で注釈付けしたキーポイント,オブジェクトのマルチビューイメージ,あるいは事前の3Dテンプレートなど,3Dの監督を必要としない。
論文 参考訳（メタデータ） (2020-03-13T20:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。