論文の概要: Neural Texture Puppeteer: A Framework for Neural Geometry and Texture Rendering of Articulated Shapes, Enabling Re-Identification at Interactive Speed

• arxiv url: http://arxiv.org/abs/2311.17109v1
• Date: Tue, 28 Nov 2023 10:51:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 23:51:44.465827
• Title: Neural Texture Puppeteer: A Framework for Neural Geometry and Texture Rendering of Articulated Shapes, Enabling Re-Identification at Interactive Speed
• Title（参考訳）: neural texture puppeteer: 対話的な速度で再識別を可能にする、明瞭な形状の神経構造とテクスチャレンダリングのためのフレームワーク
• Authors: Urs Waldmann, Ole Johannsen, Bastian Goldluecke
• Abstract要約: 我々はニューラルテクスチュア Puppeteer と呼ぶテクスチャ化された形状のためのニューラルレンダリングパイプラインを提案する。 テクスチャオートエンコーダは、この情報を利用して、テクスチャ化された画像をグローバルな潜在コードにエンコードする。 本手法は,データに制限がある絶滅危惧種に適用できる。
• 参考スコア（独自算出の注目度）: 2.8544822698499255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present a neural rendering pipeline for textured articulated shapes that we call Neural Texture Puppeteer. Our method separates geometry and texture encoding. The geometry pipeline learns to capture spatial relationships on the surface of the articulated shape from ground truth data that provides this geometric information. A texture auto-encoder makes use of this information to encode textured images into a global latent code. This global texture embedding can be efficiently trained separately from the geometry, and used in a downstream task to identify individuals. The neural texture rendering and the identification of individuals run at interactive speeds. To the best of our knowledge, we are the first to offer a promising alternative to CNN- or transformer-based approaches for re-identification of articulated individuals based on neural rendering. Realistic looking novel view and pose synthesis for different synthetic cow textures further demonstrate the quality of our method. Restricted by the availability of ground truth data for the articulated shape's geometry, the quality for real-world data synthesis is reduced. We further demonstrate the flexibility of our model for real-world data by applying a synthetic to real-world texture domain shift where we reconstruct the texture from a real-world 2D RGB image. Thus, our method can be applied to endangered species where data is limited. Our novel synthetic texture dataset NePuMoo is publicly available to inspire further development in the field of neural rendering-based re-identification.
• Abstract（参考訳）: 本稿では,ニューラルテクスチュア Puppeteer と呼ぶテクスチャ化された形状のためのニューラルネットワークパイプラインを提案する。 本手法は幾何学とテクスチャエンコーディングを分離する。 幾何パイプラインは、この幾何学的情報を提供する基底真理データから、明瞭な形状の表面上の空間的関係を捉えることを学ぶ。 テクスチャオートエンコーダは、この情報を利用してテクスチャ化された画像をグローバル潜在コードにエンコードする。 このグローバルテクスチャ埋め込みは、幾何学から分離して効率的に訓練され、ダウンストリームタスクで個人を特定するために使用される。 神経テクスチャレンダリングと個人識別は、対話的な速度で実行される。 われわれの知る限りでは、ニューラルレンダリングに基づいて、私たちはCNNやトランスフォーマーベースのアプローチに代わる有望な代替手段を初めて提供します。 異なる合成ウシのテクスチャのリアルな外観とポーズ合成は,この手法のクオリティをさらに示している。 明瞭な形状の幾何学に対する基底的真理データの利用によって制限されるため、実世界のデータ合成の品質が低下する。 さらに,実世界の2d rgb画像からテクスチャを再構成する実世界のテクスチャ領域シフトを適用することで,実世界のデータに対するモデルの柔軟性を実証する。 そこで本手法は,データに制限がある絶滅危惧種に適用することができる。 我々の新しい人工テクスチャデータセットNePuMooは、ニューラルネットワークによる再識別の分野でさらなる発展を促すために公開されています。

関連論文リスト

• Real-time Free-view Human Rendering from Sparse-view RGB Videos using Double Unprojected Textures [87.80984588545589]
  スパースビューのRGB入力からのリアルタイム自由視点人体レンダリングは、センサー不足と厳しい時間予算のために難しい課題である。 最近の手法では、テクスチャ空間で動作する2次元CNNを活用して、レンダリングプリミティブを学習している。 本稿では,2重非プロジェクテッドテクスチャについて述べる。
  論文  参考訳（メタデータ） (2024-12-17T18:57:38Z)
• NeRF-Texture: Synthesizing Neural Radiance Field Textures [77.24205024987414]
  与えられた多視点画像からテクスチャを捕捉・合成するためのニューラルレージアンス場(NeRF)を用いた新しいテクスチャ合成法を提案する。 提案したNeRFテクスチャ表現では、微細な幾何学的詳細を持つシーンをメソ構造テクスチャと基盤形状に分割する。 我々は潜伏特徴のパッチマッチングによってNeRFベースのテクスチャを合成できる。
  論文  参考訳（メタデータ） (2024-12-13T09:41:48Z)
• TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion [64.49276500129092]
  TextureDreamerは画像誘導型テクスチャ合成法である。 少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
  論文  参考訳（メタデータ） (2024-01-17T18:55:49Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for Geometry and Texture Editing [39.71252429542249]
  本稿では,メッシュ頂点上の幾何およびテクスチャコードを用いて,ニューラル暗黙の場を符号化することで,メッシュに基づく新しい表現を提案する。 メッシュベース表現の空間的識別性を最大化する学習可能な手話指標を含む,いくつかの手法を開発した。 実データと合成データの両方における実験および編集例は,表現品質と編集能力において,本手法が優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-25T05:30:50Z)
• GeoNeRF: Generalizing NeRF with Geometry Priors [2.578242050187029]
  ニューラルラジアンス場に基づく一般化可能なフォトリアリスティック・ノベルビュー手法GeoNeRFを提案する。 我々のアプローチは、幾何学的推論と合成という2つの主要な段階から構成される。 実験により、GeoNeRFは様々な合成および実際のデータセット上で、最先端の一般化可能なニューラルネットワークレンダリングモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2021-11-26T15:15:37Z)
• Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
  本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
  論文  参考訳（メタデータ） (2021-01-11T18:53:47Z)
• Deep Geometric Texture Synthesis [83.9404865744028]
  幾何学的テクスチャを合成するための新しい枠組みを提案する。 単一の参照3Dモデルの局所的な近傍からテクスチャ統計を学習する。 我々のネットワークはメッシュ頂点を任意の方向に変位させ、幾何学的テクスチャの合成を可能にする。
  論文  参考訳（メタデータ） (2020-06-30T19:36:38Z)
• Co-occurrence Based Texture Synthesis [25.4878061402506]
  本稿では,共起統計に基づいて局所的に条件付けされた完全畳み込み生成対向ネットワークを提案し,任意に大きな画像を生成する。 本手法はテクスチャ合成のための安定的で直感的で解釈可能な潜在表現を提供する。
  論文  参考訳（メタデータ） (2020-05-17T08:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。