論文の概要: Common3D: Self-Supervised Learning of 3D Morphable Models for Common Objects in Neural Feature Space

• arxiv url: http://arxiv.org/abs/2504.21749v1
• Date: Wed, 30 Apr 2025 15:42:23 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-05-02 15:57:28.070651
• Title: Common3D: Self-Supervised Learning of 3D Morphable Models for Common Objects in Neural Feature Space
• Title（参考訳）: Common3D:ニューラル特徴空間における共通対象に対する3次元定型モデルの自己教師付き学習
• Authors: Leonhard Sommer, Olaf Dünkel, Christian Theobalt, Adam Kortylewski,
• Abstract要約: 3Dモデル(3DMM)は、オブジェクトカテゴリの形状や外観を表現する強力なツールである。 我々は,オブジェクト中心ビデオのコレクションから,オブジェクトの3DMMを自己管理的に学習する新しい手法であるCommon3Dを導入する。 Common3Dは、様々な視覚タスクをゼロショットで解くことができる最初の完全に自己教師された方法である。
• 参考スコア（独自算出の注目度）: 58.623106094568776
• License:
• Abstract: 3D morphable models (3DMMs) are a powerful tool to represent the possible shapes and appearances of an object category. Given a single test image, 3DMMs can be used to solve various tasks, such as predicting the 3D shape, pose, semantic correspondence, and instance segmentation of an object. Unfortunately, 3DMMs are only available for very few object categories that are of particular interest, like faces or human bodies, as they require a demanding 3D data acquisition and category-specific training process. In contrast, we introduce a new method, Common3D, that learns 3DMMs of common objects in a fully self-supervised manner from a collection of object-centric videos. For this purpose, our model represents objects as a learned 3D template mesh and a deformation field that is parameterized as an image-conditioned neural network. Different from prior works, Common3D represents the object appearance with neural features instead of RGB colors, which enables the learning of more generalizable representations through an abstraction from pixel intensities. Importantly, we train the appearance features using a contrastive objective by exploiting the correspondences defined through the deformable template mesh. This leads to higher quality correspondence features compared to related works and a significantly improved model performance at estimating 3D object pose and semantic correspondence. Common3D is the first completely self-supervised method that can solve various vision tasks in a zero-shot manner.
• Abstract（参考訳）: 3Dモデル(3DMM)は、オブジェクトカテゴリの形状や外観を表現する強力なツールである。 単一のテストイメージが与えられた場合、3DMMは、オブジェクトの3D形状、ポーズ、セマンティック対応、インスタンスセグメンテーションなどの様々なタスクを予測するために使用できる。 残念ながら、3DMMは、要求の多い3Dデータ取得とカテゴリ固有のトレーニングプロセスを必要とするため、顔や人体など、特定の関心を持つオブジェクトカテゴリに対してのみ利用可能である。 対照的に、オブジェクト中心のビデオのコレクションから、完全に自己教師された方法で、共通のオブジェクトの3DMMを学習する新しい手法であるCommon3Dを導入する。 この目的のために,本モデルは学習した3次元テンプレートメッシュと,画像条件ニューラルネットワークとしてパラメータ化される変形場としてオブジェクトを表現している。 以前の作業とは異なり、Common3DはRGB色の代わりにニューラルな特徴を持つオブジェクトを表現しており、ピクセル強度からの抽象化を通じてより一般化可能な表現を学習することができる。 重要なことは、変形可能なテンプレートメッシュによって定義された対応を利用して、対照的な目的を用いて外観特徴を訓練することである。 これにより、3Dオブジェクトのポーズとセマンティック対応を推定する際のモデル性能が大幅に向上した。 Common3Dは、様々な視覚タスクをゼロショットで解くことができる最初の完全に自己教師された方法である。

関連論文リスト

• Unsupervised Learning of Category-Level 3D Pose from Object-Centric Videos [15.532504015622159]
  カテゴリーレベルの3Dポーズ推定は、コンピュータビジョンとロボット工学において基本的に重要な問題である。 カテゴリーレベルの3Dポーズを,カジュアルに撮られた対象中心の動画からのみ推定する学習の課題に取り組む。
  論文  参考訳（メタデータ） (2024-07-05T09:43:05Z)
• Neural View Synthesis and Matching for Semi-Supervised Few-Shot Learning of 3D Pose [10.028521796737314]
  本稿では,ラベル付きサンプルと非ラベル付きデータの集合から3次元オブジェクトのポーズを推定する学習の課題について検討する。 我々の主な貢献は学習フレームワークであるニューラルビュー合成とマッチングであり、3Dポーズアノテーションをラベル付けされたラベル付き画像から、確実に非ラベル付き画像に転送することができる。
  論文  参考訳（メタデータ） (2021-10-27T06:53:53Z)
• Multi-Category Mesh Reconstruction From Image Collections [90.24365811344987]
  本稿では, 一連の変形可能な3次元モデルとインスタンス固有の変形, ポーズ, テクスチャのセットを組み合わせた, オブジェクトのテクスチャメッシュを推定する手法を提案する。 本手法は,前景マスクと粗いカメラポーズのみを監督として,複数の対象カテゴリの画像を用いて訓練する。 実験により,提案フレームワークは異なる対象カテゴリを区別し,教師なしの方法でカテゴリ固有の形状を学習できることが示唆された。
  論文  参考訳（メタデータ） (2021-10-21T16:32:31Z)
• Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
  本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。 我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。 深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
  論文  参考訳（メタデータ） (2021-08-10T12:19:34Z)
• Learning Feature Aggregation for Deep 3D Morphable Models [57.1266963015401]
  階層レベルで機能集約を向上するためのマッピング行列を学習するための注意に基づくモジュールを提案する。 実験の結果,マッピング行列のエンドツーエンドトレーニングにより,様々な3次元形状データセットの最先端結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-05-05T16:41:00Z)
• Neural Articulated Radiance Field [90.91714894044253]
  本稿では,画像から学習した明瞭な物体に対する新しい変形可能な3次元表現であるニューラルArticulated Radiance Field(NARF)を提案する。 実験の結果,提案手法は効率的であり,新しいポーズにうまく一般化できることがわかった。
  論文  参考訳（メタデータ） (2021-04-07T13:23:14Z)
• Building 3D Morphable Models from a Single Scan [3.472931603805115]
  本研究では,単一の3次元メッシュから3次元オブジェクトの生成モデルを構築する手法を提案する。 本手法はガウス過程で形状とアルベドを表す3次元形状モデルを生成する。 提案手法は, 単一の3次元スキャンのみを用いて顔認識を行うことができることを示す。
  論文  参考訳（メタデータ） (2020-11-24T23:08:14Z)
• Canonical 3D Deformer Maps: Unifying parametric and non-parametric methods for dense weakly-supervised category reconstruction [79.98689027127855]
  独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。 提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。 顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
  論文  参考訳（メタデータ） (2020-08-28T15:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。