論文の概要: Neural Texture Puppeteer: A Framework for Neural Geometry and Texture
Rendering of Articulated Shapes, Enabling Re-Identification at Interactive
Speed
- arxiv url: http://arxiv.org/abs/2311.17109v1
- Date: Tue, 28 Nov 2023 10:51:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 23:51:44.465827
- Title: Neural Texture Puppeteer: A Framework for Neural Geometry and Texture
Rendering of Articulated Shapes, Enabling Re-Identification at Interactive
Speed
- Title（参考訳）: neural texture puppeteer: 対話的な速度で再識別を可能にする、明瞭な形状の神経構造とテクスチャレンダリングのためのフレームワーク
- Authors: Urs Waldmann, Ole Johannsen, Bastian Goldluecke
- Abstract要約: 我々はニューラルテクスチュア Puppeteer と呼ぶテクスチャ化された形状のためのニューラルレンダリングパイプラインを提案する。
テクスチャオートエンコーダは、この情報を利用して、テクスチャ化された画像をグローバルな潜在コードにエンコードする。
本手法は,データに制限がある絶滅危惧種に適用できる。
- 参考スコア（独自算出の注目度）: 2.8544822698499255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we present a neural rendering pipeline for textured
articulated shapes that we call Neural Texture Puppeteer. Our method separates
geometry and texture encoding. The geometry pipeline learns to capture spatial
relationships on the surface of the articulated shape from ground truth data
that provides this geometric information. A texture auto-encoder makes use of
this information to encode textured images into a global latent code. This
global texture embedding can be efficiently trained separately from the
geometry, and used in a downstream task to identify individuals. The neural
texture rendering and the identification of individuals run at interactive
speeds. To the best of our knowledge, we are the first to offer a promising
alternative to CNN- or transformer-based approaches for re-identification of
articulated individuals based on neural rendering. Realistic looking novel view
and pose synthesis for different synthetic cow textures further demonstrate the
quality of our method. Restricted by the availability of ground truth data for
the articulated shape's geometry, the quality for real-world data synthesis is
reduced. We further demonstrate the flexibility of our model for real-world
data by applying a synthetic to real-world texture domain shift where we
reconstruct the texture from a real-world 2D RGB image. Thus, our method can be
applied to endangered species where data is limited. Our novel synthetic
texture dataset NePuMoo is publicly available to inspire further development in
the field of neural rendering-based re-identification.
- Abstract（参考訳）: 本稿では,ニューラルテクスチュア Puppeteer と呼ぶテクスチャ化された形状のためのニューラルネットワークパイプラインを提案する。
本手法は幾何学とテクスチャエンコーディングを分離する。
幾何パイプラインは、この幾何学的情報を提供する基底真理データから、明瞭な形状の表面上の空間的関係を捉えることを学ぶ。
テクスチャオートエンコーダは、この情報を利用してテクスチャ化された画像をグローバル潜在コードにエンコードする。
このグローバルテクスチャ埋め込みは、幾何学から分離して効率的に訓練され、ダウンストリームタスクで個人を特定するために使用される。
神経テクスチャレンダリングと個人識別は、対話的な速度で実行される。
われわれの知る限りでは、ニューラルレンダリングに基づいて、私たちはCNNやトランスフォーマーベースのアプローチに代わる有望な代替手段を初めて提供します。
異なる合成ウシのテクスチャのリアルな外観とポーズ合成は,この手法のクオリティをさらに示している。
明瞭な形状の幾何学に対する基底的真理データの利用によって制限されるため、実世界のデータ合成の品質が低下する。
さらに,実世界の2d rgb画像からテクスチャを再構成する実世界のテクスチャ領域シフトを適用することで,実世界のデータに対するモデルの柔軟性を実証する。
そこで本手法は,データに制限がある絶滅危惧種に適用することができる。
我々の新しい人工テクスチャデータセットNePuMooは、ニューラルネットワークによる再識別の分野でさらなる発展を促すために公開されています。
関連論文リスト
- TextureDreamer: Image-guided Texture Synthesis through Geometry-aware
Diffusion [64.49276500129092]
TextureDreamerは画像誘導型テクスチャ合成法である。
少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
論文 参考訳（メタデータ） (2024-01-17T18:55:49Z) - DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳（メタデータ） (2023-11-30T21:34:44Z) - ConTex-Human: Free-View Rendering of Human from a Single Image with
Texture-Consistent Synthesis [49.28239918969784]
テクスチャに一貫性のあるバックビュー合成モジュールを導入し、参照画像コンテンツをバックビューに転送する。
また、テクスチャマッピングとリファインメントのための可視性対応パッチ整合性正規化と、合成したバックビューテクスチャの組み合わせを提案する。
論文 参考訳（メタデータ） (2023-11-28T13:55:53Z) - Learning Locally Editable Virtual Humans [37.95173373011365]
完全編集可能なニューラルアバターをモデル化するための新しいハイブリッド表現とエンドツーエンドのトレーニング可能なネットワークアーキテクチャを提案する。
私たちの研究の中心には、ニューラルネットワークのモデリング能力と使いやすさ、スキン付きメッシュの固有の3D一貫性を組み合わせた表現があります。
提案手法は多種多様な細かなアバターを生成し,最先端の手法に比べて優れたモデル適合性を実現する。
論文 参考訳（メタデータ） (2023-04-28T23:06:17Z) - NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for
Geometry and Texture Editing [39.71252429542249]
本稿では,メッシュ頂点上の幾何およびテクスチャコードを用いて,ニューラル暗黙の場を符号化することで,メッシュに基づく新しい表現を提案する。
メッシュベース表現の空間的識別性を最大化する学習可能な手話指標を含む,いくつかの手法を開発した。
実データと合成データの両方における実験および編集例は,表現品質と編集能力において,本手法が優れていることを示す。
論文 参考訳（メタデータ） (2022-07-25T05:30:50Z) - GeoNeRF: Generalizing NeRF with Geometry Priors [2.578242050187029]
ニューラルラジアンス場に基づく一般化可能なフォトリアリスティック・ノベルビュー手法GeoNeRFを提案する。
我々のアプローチは、幾何学的推論と合成という2つの主要な段階から構成される。
実験により、GeoNeRFは様々な合成および実際のデータセット上で、最先端の一般化可能なニューラルネットワークレンダリングモデルより優れていることが示された。
論文 参考訳（メタデータ） (2021-11-26T15:15:37Z) - Texture Generation with Neural Cellular Automata [64.70093734012121]
一つのテンプレート画像からテクスチャジェネレータを学習する。
NCAモデルで示される振る舞いは、テクスチャを生成するための学習された分散されたローカルアルゴリズムであると主張します。
論文 参考訳（メタデータ） (2021-05-15T22:05:46Z) - Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。
私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
論文 参考訳（メタデータ） (2021-01-11T18:53:47Z) - Deep Geometric Texture Synthesis [83.9404865744028]
幾何学的テクスチャを合成するための新しい枠組みを提案する。
単一の参照3Dモデルの局所的な近傍からテクスチャ統計を学習する。
我々のネットワークはメッシュ頂点を任意の方向に変位させ、幾何学的テクスチャの合成を可能にする。
論文 参考訳（メタデータ） (2020-06-30T19:36:38Z) - Texture Interpolation for Probing Visual Perception [4.637185817866918]
テクスチャの深部畳み込みニューラルネットワーク(CNN)活性化の分布は楕円分布によってよく説明されている。
そこで我々は,任意のテクスチャ間を補間する最適な輸送距離を持つ自然測地学を提案する。
本手法は他のCNN手法と比較して,テクスチャ知覚の幾何学とより密に一致しているようである。
論文 参考訳（メタデータ） (2020-06-05T21:28:36Z) - Co-occurrence Based Texture Synthesis [25.4878061402506]
本稿では,共起統計に基づいて局所的に条件付けされた完全畳み込み生成対向ネットワークを提案し,任意に大きな画像を生成する。
本手法はテクスチャ合成のための安定的で直感的で解釈可能な潜在表現を提供する。
論文 参考訳（メタデータ） (2020-05-17T08:01:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。