論文の概要: CloSe: A 3D Clothing Segmentation Dataset and Model
- arxiv url: http://arxiv.org/abs/2401.12051v1
- Date: Mon, 22 Jan 2024 15:42:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 13:36:41.295144
- Title: CloSe: A 3D Clothing Segmentation Dataset and Model
- Title（参考訳）: close: 3d衣料品セグメンテーションデータセットとモデル
- Authors: Dimitrije Anti\'c, Garvita Tiwari, Batuhan Ozcomlekci, Riccardo Marin,
Gerard Pons-Moll
- Abstract要約: 3D衣料品のモデリングとデータセットは、エンターテイメント、アニメーション、デジタルファッション産業において重要な役割を担っている。
CloSe-Dは3167スキャンの3D衣料セグメンテーションを含む新しい大規模データセットである。
CloSe-Netは、カラーポイントクラウドからきめ細かいセグメンテーションを行うための、学習ベースの最初の3D衣料セグメンテーションモデルである。
CloSe-Tはセグメンテーションラベルを精錬する3Dインタラクティブツールである。
- 参考スコア（独自算出の注目度）: 33.16231090044074
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D Clothing modeling and datasets play crucial role in the entertainment,
animation, and digital fashion industries. Existing work often lacks detailed
semantic understanding or uses synthetic datasets, lacking realism and
personalization. To address this, we first introduce CloSe-D: a novel
large-scale dataset containing 3D clothing segmentation of 3167 scans, covering
a range of 18 distinct clothing classes. Additionally, we propose CloSe-Net,
the first learning-based 3D clothing segmentation model for fine-grained
segmentation from colored point clouds. CloSe-Net uses local point features,
body-clothing correlation, and a garment-class and point features-based
attention module, improving performance over baselines and prior work. The
proposed attention module enables our model to learn appearance and
geometry-dependent clothing prior from data. We further validate the efficacy
of our approach by successfully segmenting publicly available datasets of
people in clothing. We also introduce CloSe-T, a 3D interactive tool for
refining segmentation labels. Combining the tool with CloSe-T in a continual
learning setup demonstrates improved generalization on real-world data.
Dataset, model, and tool can be found at
https://virtualhumans.mpi-inf.mpg.de/close3dv24/.
- Abstract（参考訳）: 3D衣服のモデリングとデータセットは、エンターテイメント、アニメーション、デジタルファッション産業において重要な役割を果たす。
既存の作品は、しばしば詳細な意味理解や合成データセットを欠き、リアリズムやパーソナライゼーションを欠いている。
まず、3167個のスキャンの3d衣料品セグメンテーションを含む、18種類の衣料品クラスをカバーする、新しい大規模データセットであるclose-dについて紹介する。
さらに,色付き点雲からの細粒度セグメンテーションのための学習ベース3D衣料セグメンテーションモデルであるClose-Netを提案する。
close-netは、ローカルポイント機能、ボディークロッシング相関、着衣クラスとポイントベースのアテンションモジュールを使用し、ベースラインや事前作業よりもパフォーマンスが向上する。
提案するアテンションモジュールは,データから外観や形状に依存した衣服を学習する。
さらに,一般市民の服飾データセットのセグメンテーションに成功して,アプローチの有効性を検証した。
セグメンテーションラベルを精錬する3dインタラクティブツールであるclose-tも紹介する。
このツールとクローズtを連続学習のセットアップで組み合わせることで、実世界のデータの一般化が改善されることが示される。
データセット、モデル、ツールはhttps://virtualhumans.mpi-inf.mpg.de/close3dv24/にある。
関連論文リスト
- Find Any Part in 3D [29.232543319667005]
オープンワールドの部分セグメンテーションを3Dで研究する。
AIの最近の進歩は、2Dで効果的なオープンワールド認識能力を示している。
本稿では,3次元部分分割のためのオープンワールド直接予測モデルを提案する。
論文 参考訳（メタデータ） (2024-11-20T18:59:01Z) - Augmented Efficiency: Reducing Memory Footprint and Accelerating Inference for 3D Semantic Segmentation through Hybrid Vision [9.96433151449016]
本稿では,2次元と3次元のコンピュータビジョン技術を組み合わせた3次元セマンティックセグメンテーションの新たなアプローチを提案する。
我々は3次元点雲にリンクしたRGB画像に対して2Dセマンティックセマンティックセマンティックセマンティクスを行い、その結果をクラスラベルの押出手法を用いて3Dに拡張する。
このモデルは、KITTI-360データセット上の最先端の3Dセマンティックセマンティックセグメンテーションモデルとして機能する。
論文 参考訳（メタデータ） (2024-07-23T00:04:10Z) - SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。
我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。
ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
論文 参考訳（メタデータ） (2023-12-17T09:05:47Z) - DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields [68.94868475824575]
本稿では,無限で高品質な3Dアノテーションを3Dポイントクラウドセグメンテーションとともに生成できる新しいアプローチを提案する。
我々は3次元生成モデルに先立って強力なセマンティクスを活用してセマンティクスデコーダを訓練する。
トレーニングが完了すると、デコーダは遅延空間を効率よく一般化し、無限のデータの生成を可能にする。
論文 参考訳（メタデータ） (2023-11-18T21:58:28Z) - Leveraging Large-Scale Pretrained Vision Foundation Models for
Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。
我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。
本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
論文 参考訳（メタデータ） (2023-11-03T15:41:15Z) - PartSLIP: Low-Shot Part Segmentation for 3D Point Clouds via Pretrained
Image-Language Models [56.324516906160234]
一般化可能な3D部分分割は重要だが、ビジョンとロボティクスでは難しい。
本稿では,事前学習した画像言語モデルGLIPを利用して,3次元点雲の低ショット部分分割法を提案する。
我々は2Dから3Dへの豊富な知識を、ポイントクラウドレンダリングにおけるGLIPに基づく部分検出と新しい2D-to-3Dラベルリフトアルゴリズムにより転送する。
論文 参考訳（メタデータ） (2022-12-03T06:59:01Z) - OpenScene: 3D Scene Understanding with Open Vocabularies [73.1411930820683]
従来の3Dシーン理解アプローチは、単一のタスクのためにモデルをトレーニングするためのラベル付き3Dデータセットに依存している。
私たちは,CLIP機能空間にテキストと画像ピクセルを埋め込んだ3次元シーンポイントの高密度な特徴をモデルが予測する代替手法OpenSceneを提案する。
このゼロショットアプローチは、タスク非依存のトレーニングとオープン語彙クエリを可能にする。
論文 参考訳（メタデータ） (2022-11-28T18:58:36Z) - Interactive Object Segmentation in 3D Point Clouds [27.88495480980352]
本稿では,ユーザが直接3Dポイントクラウドと対話する対話型3Dオブジェクトセグメンテーション手法を提案する。
私たちのモデルは、ターゲットドメインからのトレーニングデータを必要としない。
異なるデータ特性と異なるオブジェクトクラスを持つ他のいくつかのデータセットでうまく機能する。
論文 参考訳（メタデータ） (2022-04-14T18:31:59Z) - Universal Segmentation of 33 Anatomies [19.194539991903593]
本稿では,33の解剖学的構造を普遍的に分割する単一モデルの学習手法を提案する。
我々は、複数のデータセットの結合からそのようなモデルを学び、各データセットには部分的にラベル付けされた画像が含まれている。
我々は,複数のオープンソースデータセット上でモデルを評価し,モデルが優れた一般化性能を有することを示す。
論文 参考訳（メタデータ） (2022-03-04T02:29:54Z) - Arbitrary Virtual Try-On Network: Characteristics Preservation and
Trade-off between Body and Clothing [85.74977256940855]
本報告では,オールタイプの衣料品を対象としたArbitrary Virtual Try-On Network (AVTON)を提案する。
AVTONは、ターゲット服と参照者の特性を保存・交換することで、現実的な試行画像を合成することができる。
提案手法は,最先端の仮想試行法と比較して性能が向上する。
論文 参考訳（メタデータ） (2021-11-24T08:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。