論文の概要: Exploring Shape Embedding for Cloth-Changing Person Re-Identification via 2D-3D Correspondences

• arxiv url: http://arxiv.org/abs/2310.18438v1
• Date: Fri, 27 Oct 2023 19:26:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 18:31:52.491212
• Title: Exploring Shape Embedding for Cloth-Changing Person Re-Identification via 2D-3D Correspondences
• Title（参考訳）: 2D-3D対応による衣服交換者の再同定のための形状埋め込みの探索
• Authors: Yubin Wang, Huimin Yu, Yuming Yan, Shuyi Song, Biyang Liu, Yichong Lu
• Abstract要約: 布を交換するReIDのための新しい形状埋め込みパラダイムを提案する。 2D-3D対応に基づく形状埋め込みパラダイムは、モデル全体の人体形状の理解を著しく向上させる。 衣料品着替え時のReID研究を促進するため,初となる大規模布質変化型ReIDデータセットである3D Dense Persons (DP3D) を構築した。
• 参考スコア（独自算出の注目度）: 9.487097819140653
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cloth-Changing Person Re-Identification (CC-ReID) is a common and realistic problem since fashion constantly changes over time and people's aesthetic preferences are not set in stone. While most existing cloth-changing ReID methods focus on learning cloth-agnostic identity representations from coarse semantic cues (e.g. silhouettes and part segmentation maps), they neglect the continuous shape distributions at the pixel level. In this paper, we propose Continuous Surface Correspondence Learning (CSCL), a new shape embedding paradigm for cloth-changing ReID. CSCL establishes continuous correspondences between a 2D image plane and a canonical 3D body surface via pixel-to-vertex classification, which naturally aligns a person image to the surface of a 3D human model and simultaneously obtains pixel-wise surface embeddings. We further extract fine-grained shape features from the learned surface embeddings and then integrate them with global RGB features via a carefully designed cross-modality fusion module. The shape embedding paradigm based on 2D-3D correspondences remarkably enhances the model's global understanding of human body shape. To promote the study of ReID under clothing change, we construct 3D Dense Persons (DP3D), which is the first large-scale cloth-changing ReID dataset that provides densely annotated 2D-3D correspondences and a precise 3D mesh for each person image, while containing diverse cloth-changing cases over all four seasons. Experiments on both cloth-changing and cloth-consistent ReID benchmarks validate the effectiveness of our method.
• Abstract（参考訳）: 衣服交換者再識別(CC-ReID)は、ファッションが常に時間とともに変化し、人々の美的嗜好が石に設定されないため、一般的で現実的な問題である。 既存のReID法の多くは、粗いセマンティックキュー(シルエットや部分セグメンテーションマップなど)から布に依存しないアイデンティティ表現の学習に重点を置いているが、ピクセルレベルでの連続的な形状分布は無視している。 本稿では,布交換リードのための新しい形状埋め込みパラダイムである連続面対応学習(cscl)を提案する。 CSCLは、2次元画像平面と正準3次元体表面との連続的な対応を画素対頂点分類により確立し、人像を3次元人体モデルの表面に自然に整列させ、同時に画素面埋め込みを得る。 さらに,細粒度形状特徴を学習面埋め込みから抽出し,注意深く設計したクロスモダリティ融合モジュールを用いてグローバルrgb機能と統合する。 2D-3D対応に基づく形状埋め込みパラダイムは、モデル全体の人体形状の理解を著しく向上させる。 衣料変化時のreid研究を促進するために,3次元高密度人物(dp3d)を構築し,2d-3d対応と3次元メッシュの密接な注釈付き2d-3d対応を提供する最初の大規模布交換型reidデータセットである。 クロスチェンジとクロスコンテンシスタンスreidベンチマークの両面で実験を行い,本手法の有効性を検証した。

関連論文リスト

• ID-to-3D: Expressive ID-guided 3D Heads via Score Distillation Sampling [96.87575334960258]
  ID-to-3D(ID-to-3D)は、不整合表現を用いたIDとテキスト誘導型3次元頭部を生成する方法である。 前例のないアイデンティティ一貫性と高品質なテクスチャと幾何生成を実現する。
  論文  参考訳（メタデータ） (2024-05-26T13:36:45Z)
• SSR-2D: Semantic 3D Scene Reconstruction from 2D Images [54.46126685716471]
  本研究では,3Dアノテーションを使わずにセマンティックなシーン再構成を行う中心的な3Dシーンモデリングタスクについて検討する。 提案手法の鍵となる考え方は,不完全な3次元再構成と対応するRGB-D画像の両方を用いたトレーニング可能なモデルの設計である。 本研究では,2つの大規模ベンチマークデータセットであるMatterPort3DとScanNetに対して,セマンティックシーン補完の最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-02-07T17:47:52Z)
• Towards Hard-pose Virtual Try-on via 3D-aware Global Correspondence Learning [70.75369367311897]
  3D対応のグローバルな対応は、グローバルな意味的相関、局所的な変形、および3D人体の幾何学的先行を共同でエンコードする信頼性のあるフローである。 対向ジェネレータは、3D認識フローによって歪んだ衣服と、対象者の画像とを入力として、フォトリアリスティックな試着結果を合成する。
  論文  参考訳（メタデータ） (2022-11-25T12:16:21Z)
• Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
  本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。 我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。 深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
  論文  参考訳（メタデータ） (2021-08-10T12:19:34Z)
• Detailed Avatar Recovery from Single Image [50.82102098057822]
  本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。 階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。 本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
  論文  参考訳（メタデータ） (2021-08-06T03:51:26Z)
• Fully Understanding Generic Objects: Modeling, Segmentation, and Reconstruction [33.95791350070165]
  2D画像からジェネリックオブジェクトの3D構造を推定することは、コンピュータビジョンの長年の目標です。 半教師付き学習による代替アプローチを取る。 つまり、ジェネリックオブジェクトの2Dイメージでは、カテゴリ、形状、およびアルベドの潜在的な表現に分解します。 完全な形状とアルベドモデリングにより、モデリングとモデルフィッティングの両方で実際の2Dイメージを活用できることを示しています。
  論文  参考訳（メタデータ） (2021-04-02T02:39:29Z)
• Learning 3D Human Shape and Pose from Dense Body Parts [117.46290013548533]
  本研究では,3次元の人体形状を学習し,身体部分の密接な対応からポーズをとるために,分解・集約ネットワーク(DaNet)を提案する。 ローカルストリームからのメッセージは集約され、回転ベースのポーズの堅牢な予測が強化される。 提案手法は,Human3.6M,UP3D,COCO,3DPWを含む屋内および実世界のデータセットで検証される。
  論文  参考訳（メタデータ） (2019-12-31T15:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。