論文の概要: Template NeRF: Towards Modeling Dense Shape Correspondences from Category-Specific Object Images

• arxiv url: http://arxiv.org/abs/2111.04237v1
• Date: Mon, 8 Nov 2021 02:16:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-10 01:14:34.961638
• Title: Template NeRF: Towards Modeling Dense Shape Correspondences from Category-Specific Object Images
• Title（参考訳）: テンプレートNeRF:カテゴリー別対象画像からの高密度形状対応のモデル化を目指して
• Authors: Jianfei Guo, Zhiyuan Yang, Xi Lin, Qingfu Zhang
• Abstract要約: 本研究では, テンプレートを用いたNeRF(Near Raddiance Field)を, 外観や形状をモデル化するためのテンプレートとして提示する。 多視点画像のみから同一カテゴリのオブジェクト間の密な形状対応を同時に生成する。 学習された高密度対応は、キーポイント検出、部分分割、テクスチャ転送など、様々な画像ベースのタスクに容易に利用できる。
• 参考スコア（独自算出の注目度）: 4.662583832063716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present neural radiance fields (NeRF) with templates, dubbed Template-NeRF, for modeling appearance and geometry and generating dense shape correspondences simultaneously among objects of the same category from only multi-view posed images, without the need of either 3D supervision or ground-truth correspondence knowledge. The learned dense correspondences can be readily used for various image-based tasks such as keypoint detection, part segmentation, and texture transfer that previously require specific model designs. Our method can also accommodate annotation transfer in a one or few-shot manner, given only one or a few instances of the category. Using periodic activation and feature-wise linear modulation (FiLM) conditioning, we introduce deep implicit templates on 3D data into the 3D-aware image synthesis pipeline NeRF. By representing object instances within the same category as shape and appearance variation of a shared NeRF template, our proposed method can achieve dense shape correspondences reasoning on images for a wide range of object classes. We demonstrate the results and applications on both synthetic and real-world data with competitive results compared with other methods based on 3D information.
• Abstract（参考訳）: テンプレートを用いたニューラルラディアンス場(NeRF)について,3次元の監督や地動対応の知識を必要とせず,外観や形状をモデル化し,同一カテゴリのオブジェクト間の密な形状対応を同時に生成する。 学習された密接な対応は、キーポイント検出、部分セグメンテーション、テクスチャ転送など、これまで特定のモデル設計が必要であった様々な画像ベースのタスクに容易に使用することができる。 本手法は,そのカテゴリの例を1つまたは数つだけ与えて,一発または数発の方法でアノテーションの転送を許容することもできる。 周期的アクティベーションとFiLM(Feature-wise linear modulation)コンディショニングを用いて、3D画像合成パイプラインNeRFに3Dデータの深い暗黙テンプレートを導入する。 共用NeRFテンプレートの形状や外観変化と同一のカテゴリ内のオブジェクトインスタンスを表現することにより,広い範囲のオブジェクトクラスの画像に基づいて高密度な形状対応を実現することができる。 本研究では,3次元情報に基づく他の手法と比較して,実世界の合成データと実世界のデータに競合する結果を示す。

関連論文リスト

• CA$^2$T-Net: Category-Agnostic 3D Articulation Transfer from Single Image [41.70960551470232]
  本稿では,物体の単一画像から静止状態(非有声)3Dモデルへ動きを伝達するニューラルネットワーク手法を提案する。 我々のネットワークは、入力画像に表示される調音を再現するために、オブジェクトのポーズ、部分分割、および対応する動きパラメータを予測することを学習する。
  論文  参考訳（メタデータ） (2023-01-05T18:57:12Z)
• Generative Deformable Radiance Fields for Disentangled Image Synthesis of Topology-Varying Objects [52.46838926521572]
  3D認識生成モデルは、モノクロ2D画像の集合から3Dニューラル放射場(NeRF)を生成するスーパーブパフォーマンスを実証した。 本研究では, トポロジー変化物体の放射場を非交絡形状と外観変化で合成する生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-09-09T08:44:06Z)
• Share With Thy Neighbors: Single-View Reconstruction by Cross-Instance Consistency [59.427074701985795]
  単一ビューの再構築は通常、視点アノテーション、シルエット、背景の欠如、同じインスタンスの複数のビュー、テンプレートの形状、対称性に依存する。 異なるオブジェクトインスタンスのイメージ間の一貫性を明確に活用することで、これらの監督と仮説をすべて回避します。 i)プログレッシブ・コンディショニング(プログレッシブ・コンディショニング)、(ii)類似の形状やテクスチャを持つインスタンス間の一貫性の喪失、(ii)モデルのカテゴリからインスタンスへと徐々に専門化するためのトレーニング戦略。
  論文  参考訳（メタデータ） (2022-04-21T17:47:35Z)
• Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
  カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。 我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。 我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:42:31Z)
• Multi-Category Mesh Reconstruction From Image Collections [90.24365811344987]
  本稿では, 一連の変形可能な3次元モデルとインスタンス固有の変形, ポーズ, テクスチャのセットを組み合わせた, オブジェクトのテクスチャメッシュを推定する手法を提案する。 本手法は,前景マスクと粗いカメラポーズのみを監督として,複数の対象カテゴリの画像を用いて訓練する。 実験により,提案フレームワークは異なる対象カテゴリを区別し,教師なしの方法でカテゴリ固有の形状を学習できることが示唆された。
  論文  参考訳（メタデータ） (2021-10-21T16:32:31Z)
• FiG-NeRF: Figure-Ground Neural Radiance Fields for 3D Object Category Modelling [11.432178728985956]
  我々はNeural Radiance Fields (NeRF) を用いて、入力画像のコレクションから高品質な3Dオブジェクトカテゴリモデルを学習する。 本手法は,測光とカジュアルキャプチャによる画像のみを用いて,高精度な3dオブジェクトカテゴリモデルを学習できることを示す。
  論文  参考訳（メタデータ） (2021-04-17T01:38:54Z)
• Deep Implicit Templates for 3D Shape Representation [70.9789507686618]
  深い暗黙表現における明示的な対応推論を支援する新しい3次元形状表現を提案する。 我々のキーとなる考え方は、テンプレートの暗黙関数の条件変形としてDIFを定式化することである。 提案手法は,形状の集合に対する一般的な暗黙テンプレートを学習するだけでなく,すべての形状を相互に同時に対応させることも可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-30T06:01:49Z)
• Deformed Implicit Field: Modeling 3D Shapes with Learned Dense Correspondence [30.849927968528238]
  本稿では,カテゴリの3次元形状をモデル化するための新しいDeformed Implicit Field表現を提案する。 我々のニューラルネットワーク、DIF-Netは、カテゴリに属する3Dオブジェクトの形状潜在空間とこれらのフィールドを共同で学習する。 実験により、DIF-Netは高忠実度3次元形状を生成するだけでなく、異なる形状の高品位密度対応を生成することが示された。
  論文  参考訳（メタデータ） (2020-11-27T10:45:26Z)
• Building 3D Morphable Models from a Single Scan [3.472931603805115]
  本研究では,単一の3次元メッシュから3次元オブジェクトの生成モデルを構築する手法を提案する。 本手法はガウス過程で形状とアルベドを表す3次元形状モデルを生成する。 提案手法は, 単一の3次元スキャンのみを用いて顔認識を行うことができることを示す。
  論文  参考訳（メタデータ） (2020-11-24T23:08:14Z)
• Canonical 3D Deformer Maps: Unifying parametric and non-parametric methods for dense weakly-supervised category reconstruction [79.98689027127855]
  独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。 提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。 顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
  論文  参考訳（メタデータ） (2020-08-28T15:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。