論文の概要: Cloning Outfits from Real-World Images to 3D Characters for Generalizable Person Re-Identification

• arxiv url: http://arxiv.org/abs/2204.02611v2
• Date: Thu, 7 Apr 2022 08:39:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-08 11:51:10.339102
• Title: Cloning Outfits from Real-World Images to 3D Characters for Generalizable Person Re-Identification
• Title（参考訳）: 一般化された人物再同定のための実世界画像から3d文字への衣装のクローニング
• Authors: Yanan Wang, Xuezhi Liang, Shengcai Liao
• Abstract要約: 本研究は,現実世界の人物画像から仮想3Dキャラクタへの衣服全体のクローン化を自動で行う手法を提案する。 Unity3Dシーンでクローンされた文字をレンダリングすることで、ClonedPersonと呼ばれるより現実的な仮想データセットが作成される。 実験結果から、ClonedPersonでトレーニングされたモデルは、他の人気のある実世界および合成人物再識別データセットでトレーニングされたモデルよりも、より優れた一般化性能を有することが示された。
• 参考スコア（独自算出の注目度）: 32.85048692231159
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Recently, large-scale synthetic datasets are shown to be very useful for generalizable person re-identification. However, synthesized persons in existing datasets are mostly cartoon-like and in random dress collocation, which limits their performance. To address this, in this work, an automatic approach is proposed to directly clone the whole outfits from real-world person images to virtual 3D characters, such that any virtual person thus created will appear very similar to its real-world counterpart. Specifically, based on UV texture mapping, two cloning methods are designed, namely registered clothes mapping and homogeneous cloth expansion. Given clothes keypoints detected on person images and labeled on regular UV maps with clear clothes structures, registered mapping applies perspective homography to warp real-world clothes to the counterparts on the UV map. As for invisible clothes parts and irregular UV maps, homogeneous expansion segments a homogeneous area on clothes as a realistic cloth pattern or cell, and expand the cell to fill the UV map. Furthermore, a similarity-diversity expansion strategy is proposed, by clustering person images, sampling images per cluster, and cloning outfits for 3D character generation. This way, virtual persons can be scaled up densely in visual similarity to challenge model learning, and diversely in population to enrich sample distribution. Finally, by rendering the cloned characters in Unity3D scenes, a more realistic virtual dataset called ClonedPerson is created, with 5,621 identities and 887,766 images. Experimental results show that the model trained on ClonedPerson has a better generalization performance, superior to that trained on other popular real-world and synthetic person re-identification datasets. The ClonedPerson project is available at https://github.com/Yanan-Wang-cs/ClonedPerson.
• Abstract（参考訳）: 近年、大規模合成データセットは、一般化可能な人物の再同定に非常に有用であることが示されている。 しかし、既存のデータセットで合成された人物は、主にマンガ的であり、ランダムなドレスのコロケーションであり、パフォーマンスを制限している。 これに対処するため、本研究では、実際の人物画像から仮想3d文字への衣装全体を直接クローンする自動アプローチが提案されている。 具体的には、UVテクスチャマッピングに基づいて、2つのクローニング方法、すなわち、登録された衣服マッピングと均質な布の展開を設計する。 人物画像から検出された衣服のキーポイントと、通常のuvマップに明快な衣服構造がラベル付けされていれば、登録されたマッピングは、実世界の服をuvマップの表に写し出すためにパースペクティブホモグラフィーを適用する。 見えない衣服部品や不規則なuvマップについては、均質な展開領域を写実的な布模様やセルとして均質に分割し、セルを拡大してuvマップを満たす。 さらに, 人物画像のクラスタリング, クラスタ毎のサンプリング, 3次元文字生成のためのクローン化などにより, 類似度・多様性の拡大戦略を提案する。 このようにして、仮想人物は、モデル学習に挑戦するために視覚的な類似性で密にスケールアップでき、標本分布を豊かにするために人口が多様になる。 最後に、Unity3Dシーンでクローンされた文字をレンダリングすることで、ClonedPersonと呼ばれるより現実的な仮想データセットが作成される。 実験の結果,clonedpersonでトレーニングされたモデルは,他の一般的な実世界および合成人再同定データセットでトレーニングされたモデルよりも優れた一般化性能を示すことがわかった。 ClonedPersonプロジェクトはhttps://github.com/Yanan-Wang-cs/ClonedPersonで入手できる。

関連論文リスト

• 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models [52.96248836582542]
  本稿では,人間の画像とそれに対応する3Dメッシュアノテーションをシームレスに生成できるHumanWildという,最近の拡散モデルに基づく効果的なアプローチを提案する。 生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
  論文  参考訳（メタデータ） (2024-03-17T06:31:16Z)
• Single-Image 3D Human Digitization with Shape-Guided Diffusion [31.99621159464388]
  NeRFとその変種は通常、異なる視点からのビデオや画像を必要とする。 単一入力画像から一貫した高解像度の外観を持つ人物の360度映像を生成する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-15T18:59:56Z)
• Exploring Shape Embedding for Cloth-Changing Person Re-Identification via 2D-3D Correspondences [9.487097819140653]
  布を交換するReIDのための新しい形状埋め込みパラダイムを提案する。 2D-3D対応に基づく形状埋め込みパラダイムは、モデル全体の人体形状の理解を著しく向上させる。 衣料品着替え時のReID研究を促進するため,初となる大規模布質変化型ReIDデータセットである3D Dense Persons (DP3D) を構築した。
  論文  参考訳（メタデータ） (2023-10-27T19:26:30Z)
• TeCH: Text-guided Reconstruction of Lifelike Clothed Humans [35.68114652041377]
  既存の方法は、ぼやけたテクスチャで非常に滑らかな裏面を生成することが多い。 基礎モデルの力に触発されて、TeCHは記述的テキストプロンプトを利用して3D人間を再構築する。 そこで本研究では,DMTetをベースとした3次元ハイブリッド表現を提案する。
  論文  参考訳（メタデータ） (2023-08-16T17:59:13Z)
• One-shot Implicit Animatable Avatars with Model-based Priors [31.385051428938585]
  ELICITは、1つの画像から人間固有の神経放射場を学習する新しい方法である。 ELICITは、単一のイメージしか利用できない場合、アバター生成の強力なベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-05T18:24:06Z)
• gDNA: Towards Generative Detailed Neural Avatars [94.9804106939663]
  我々のモデルでは,多様で詳細な衣服を身に着けた自然の人間のアバターを生成できることが示されている。 本手法は,人間のモデルを生のスキャンに適合させる作業に使用することができ,従来の最先端技術よりも優れていた。
  論文  参考訳（メタデータ） (2022-01-11T18:46:38Z)
• PISE: Person Image Synthesis and Editing with Decoupled GAN [64.70360318367943]
  人像合成と編集のための新しい二段階生成モデルであるPISEを提案する。 ヒトのポーズ伝達では,まず対象のポーズに合わせた人間のパーシングマップを合成し,衣服の形状を表現する。 衣服の形状とスタイルを分離するため,地域ごとの符号化と正規化を共同で提案する。
  論文  参考訳（メタデータ） (2021-03-06T04:32:06Z)
• Neural 3D Clothes Retargeting from a Single Image [91.5030622330039]
  本稿では,1枚のRGB画像で人物にフィットする3次元衣料テンプレートモデルの潜在的なポーズと変形を生成する方法を提案する。 この問題は、地上の真実データを取得することは不可能である、すなわち、異なる3D衣料品テンプレートモデルを全く同じポーズで身に着けている人々の画像として、基本的には不適切である。 そこで本研究では,3次元変形の物理的妥当性を検証するための半教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-29T20:50:34Z)
• Surpassing Real-World Source Training Data: Random 3D Characters for Generalizable Person Re-Identification [109.68210001788506]
  本研究では,大規模人物再識別データセットを,実際の監視に類似したセットアップに従って自動生成することを提案する。 私たちはUnity3Dを使って様々な仮想環境をシミュレートし、実際の監視システムに似たカメラネットワークをカスタマイズした。 その結果、8000のアイデンティティを持つ1,801,816人の人物画像を持つRandPersonという仮想データセットが得られた。
  論文  参考訳（メタデータ） (2020-06-23T05:38:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。