論文の概要: Fashionpedia: Ontology, Segmentation, and an Attribute Localization
Dataset
- arxiv url: http://arxiv.org/abs/2004.12276v2
- Date: Sat, 18 Jul 2020 21:02:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-09 13:17:54.303596
- Title: Fashionpedia: Ontology, Segmentation, and an Attribute Localization
Dataset
- Title(参考訳): Fashionpedia:オントロジー、セグメンテーション、属性ローカライゼーションデータセット
- Authors: Menglin Jia, Mengyun Shi, Mikhail Sirotenko, Yin Cui, Claire Cardie,
Bharath Hariharan, Hartwig Adam, Serge Belongie
- Abstract要約: 本稿では,インスタンス分割と局所化属性認識を共同で行う新しい属性・マスクRCNNモデルを提案する。
また、Fashionpediaで事前学習したインスタンスセグメンテーションモデルにより、ImageNetの事前学習よりも、他のファッションデータセットの転送学習性能が向上することを示す。
- 参考スコア(独自算出の注目度): 62.77342894987297
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work we explore the task of instance segmentation with attribute
localization, which unifies instance segmentation (detect and segment each
object instance) and fine-grained visual attribute categorization (recognize
one or multiple attributes). The proposed task requires both localizing an
object and describing its properties. To illustrate the various aspects of this
task, we focus on the domain of fashion and introduce Fashionpedia as a step
toward mapping out the visual aspects of the fashion world. Fashionpedia
consists of two parts: (1) an ontology built by fashion experts containing 27
main apparel categories, 19 apparel parts, 294 fine-grained attributes and
their relationships; (2) a dataset with everyday and celebrity event fashion
images annotated with segmentation masks and their associated per-mask
fine-grained attributes, built upon the Fashionpedia ontology. In order to
solve this challenging task, we propose a novel Attribute-Mask RCNN model to
jointly perform instance segmentation and localized attribute recognition, and
provide a novel evaluation metric for the task. We also demonstrate instance
segmentation models pre-trained on Fashionpedia achieve better transfer
learning performance on other fashion datasets than ImageNet pre-training.
Fashionpedia is available at: https://fashionpedia.github.io/home/index.html.
- Abstract(参考訳): この作業では、インスタンスのセグメンテーション(各オブジェクトインスタンスの検出とセグメンテーション)と、きめ細かいビジュアル属性の分類(1つまたは複数の属性を認識する)を統合する属性のローカライゼーションによるインスタンスセグメンテーションのタスクを探求する。
提案するタスクはオブジェクトのローカライズとプロパティの記述の両方を必要とする。
この課題のさまざまな側面を説明するために、ファッション分野に注目し、ファッション世界の視覚的側面をマッピングするステップとしてFashionpediaを紹介します。
ファッションペディアは,(1)27のアパレルカテゴリ,19のアパレル部分,294の細かな属性とそれらの関係を含むファッション専門家によるオントロジー,(2)セグメンテーションマスクと関連するマスク毎の細かな属性を付記した,日常および有名人のイベントファッションイメージのデータセット,の2つの部分からなる。
この課題を解決するために,インスタンス分割と局所化属性認識を共同で行う新しい属性・マスクRCNNモデルを提案し,そのタスクに対する新しい評価基準を提供する。
fashionpediaで事前トレーニングされたインスタンスセグメンテーションモデルも,imagenetの事前トレーニングよりも,他のファッションデータセットでの転送学習性能が向上することを示す。
fashionpediaは、https://fashionpedia.github.io/home/index.htmlで入手できる。
関連論文リスト
- DETR-based Layered Clothing Segmentation and Fine-Grained Attribute
Recognition [10.924683447616273]
アンサンブル衣料品の細粒度属性を高精度に分別・認識するための新しい検出TR(Detection TRansformer)法を提案する。
我々は、Fashionpediaデータセット上でモデルをトレーニングし、階層化された衣服のセグメンテーションときめ細かい属性認識のタスクにおいて、SOTAモデルを超える方法を示す。
論文 参考訳(メタデータ) (2023-04-17T09:34:48Z) - Leveraging Off-the-shelf Diffusion Model for Multi-attribute Fashion
Image Manipulation [27.587905673112473]
ファッション属性編集は、無関係な領域を保存しながら、所定のファッション画像の意味的属性を変換することを目的としたタスクである。
以前の作業では、ジェネレータがターゲット属性を明示的に学習し、変換を直接実行する条件付きGANを使用していた。
画像ネットのような一般的な視覚的セマンティクスに基づいて事前訓練されたオフザシェルフ拡散モデルを利用する分類器誘導拡散について検討する。
論文 参考訳(メタデータ) (2022-10-12T02:21:18Z) - Fashionformer: A simple, Effective and Unified Baseline for Human
Fashion Segmentation and Recognition [80.74495836502919]
本研究では,共同ファッションセグメンテーションと属性認識に着目した。
本稿では,セグメンテーションのためのオブジェクトクエリと属性予測のための属性クエリを紹介する。
属性ストリームのために,よりきめ細かい特徴を探索する新しいマルチレイヤレンダリングモジュールを設計する。
論文 参考訳(メタデータ) (2022-04-10T11:11:10Z) - Attribute Prototype Network for Any-Shot Learning [113.50220968583353]
属性ローカライズ機能を統合した画像表現は、任意のショット、すなわちゼロショットと少数ショットのイメージ分類タスクに有用である、と我々は主張する。
クラスレベルの属性のみを用いてグローバルな特徴とローカルな特徴を共同で学習する新しい表現学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-04T02:25:40Z) - FashionSearchNet-v2: Learning Attribute Representations with
Localization for Image Retrieval with Attribute Manipulation [22.691709684780292]
提案されているFashionSearchNet-v2アーキテクチャは、その弱教師付きローカライゼーションモジュールを利用して属性固有の表現を学習することができる。
ネットワークは属性分類と三重項ランキング損失の組み合わせで共同で訓練され、局所表現を推定する。
FashionSearchNet-v2は、属性数の観点からリッチないくつかのデータセットで実施された実験により、他の最先端属性操作技術よりも優れていた。
論文 参考訳(メタデータ) (2021-11-28T13:50:20Z) - Sentiment Analysis of Fashion Related Posts in Social Media [36.623221002330226]
本稿では、イメージビジョン、ポストテキスト、ファッション属性のモダリティを併用して感情カテゴリーを決定する新しいフレームワークを提案する。
このタスクに適した既存のデータセットが存在しないため、我々は12万以上のファッション関連ソーシャルメディア投稿の大規模感情分析データセットを作成している。
論文 参考訳(メタデータ) (2021-11-15T14:58:09Z) - Fine-Grained Fashion Similarity Prediction by Attribute-Specific
Embedding Learning [71.74073012364326]
ASEN(Attribute-Specific Embedding Network)を提案し、複数の属性固有の埋め込みを共同学習する。
提案したASENはグローバルブランチとローカルブランチで構成されている。
ファッション関連データセットであるFashionAI、DARN、DeepFashionの3つの実験は、ファッション類似性予測におけるASENの有効性を示している。
論文 参考訳(メタデータ) (2021-04-06T11:26:38Z) - Where to Look and How to Describe: Fashion Image Retrieval with an
Attentional Heterogeneous Bilinear Network [50.19558726384559]
画像に基づくファッション商品検索のための生物学的にインスパイアされたフレームワークを提案する。
提案フレームワークは,3つの画像に基づくファッション製品検索ベンチマークにおいて,満足な性能を実現する。
論文 参考訳(メタデータ) (2020-10-26T06:01:09Z) - Fine-Grained Fashion Similarity Learning by Attribute-Specific Embedding
Network [59.479783847922135]
本稿では,複数の属性固有の埋め込みをエンドツーエンドで共同学習するAttribute-Specific Embedding Network (ASEN)を提案する。
ASENは関連する領域を特定し、指定された属性のガイダンスの下で必須のパターンをキャプチャすることができる。
4つのファッション関連データセットの実験は、ファッション類似性学習におけるASENの有効性を示している。
論文 参考訳(メタデータ) (2020-02-07T14:42:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。