Fugu-MT 論文翻訳(概要): FashionSAP: Symbols and Attributes Prompt for Fine-grained Fashion Vision-Language Pre-training

論文の概要: FashionSAP: Symbols and Attributes Prompt for Fine-grained Fashion Vision-Language Pre-training

arxiv url: http://arxiv.org/abs/2304.05051v1
Date: Tue, 11 Apr 2023 08:20:17 GMT
ステータス: 処理完了
システム内更新日: 2023-04-12 15:49:52.848530
Title: FashionSAP: Symbols and Attributes Prompt for Fine-grained Fashion Vision-Language Pre-training
Title（参考訳）: FashionSAP:Fashion Vision-Language Pre-trainingのためのシンボルと属性
Authors: Yunpeng Han, Lisai Zhang, Qingcai Chen, Zhijian Chen, Zhonghua Li, Jianxin Yang, Zhao Cao
Abstract要約: ファッションシンボルと属性プロンプト(FashionSAP)に基づく、きめ細かいファッションビジョン言語事前学習法を提案する。まず,新しい抽象的なファッション概念層であるファッションシンボルを,異なるファッションアイテムを表現するために提案する。次に、モデルにファッションアイテムの特定の属性を明示的に学習させる属性プロンプト手法を提案する。
参考スコア（独自算出の注目度）: 12.652002299515864
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Fashion vision-language pre-training models have shown efficacy for a wide range of downstream tasks. However, general vision-language pre-training models pay less attention to fine-grained domain features, while these features are important in distinguishing the specific domain tasks from general tasks. We propose a method for fine-grained fashion vision-language pre-training based on fashion Symbols and Attributes Prompt (FashionSAP) to model fine-grained multi-modalities fashion attributes and characteristics. Firstly, we propose the fashion symbols, a novel abstract fashion concept layer, to represent different fashion items and to generalize various kinds of fine-grained fashion features, making modelling fine-grained attributes more effective. Secondly, the attributes prompt method is proposed to make the model learn specific attributes of fashion items explicitly. We design proper prompt templates according to the format of fashion data. Comprehensive experiments are conducted on two public fashion benchmarks, i.e., FashionGen and FashionIQ, and FashionSAP gets SOTA performances for four popular fashion tasks. The ablation study also shows the proposed abstract fashion symbols, and the attribute prompt method enables the model to acquire fine-grained semantics in the fashion domain effectively. The obvious performance gains from FashionSAP provide a new baseline for future fashion task research.
Abstract（参考訳）: Fashion Vision-Language Pre-training Modelは、幅広い下流タスクに有効である。しかし、一般的な視覚言語による事前学習モデルは、特定のドメインタスクと一般的なタスクを区別する上で重要である一方で、きめ細かいドメイン機能にはあまり注意を払わない。本稿では,ファッションシンボルと属性プロンプト(FashionSAP)に基づく,きめ細かなファッションビジョン言語事前学習手法を提案する。まず,新しい抽象的なファッション概念層であるファッションシンボルを提案する。これは,異なるファッションアイテムを表現し,さまざまなきめ細かいファッション特徴を一般化し,きめ細かい属性のモデル化をより効果的にする。次に、モデルにファッションアイテムの特定の属性を明示的に学習させる属性プロンプト手法を提案する。ファッションデータの形式に応じて適切なプロンプトテンプレートを設計する。 FashionGenとFashionIQの2つの公開ファッションベンチマークで総合的な実験が行われ、FashionSAPは4つの人気のあるファッションタスクに対してSOTAパフォーマンスを得る。アブレーション研究は,提案する抽象ファッションシンボルも示すとともに,属性プロンプト手法により,ファッション領域における細粒度セマンティクスを効果的に獲得できることを示す。 FashionSAPによる明らかなパフォーマンス向上は、将来のファッションタスク研究の新たなベースラインを提供する。

関連論文リスト

Automatic Generation of Fashion Images using Prompting in Generative Machine Learning Models [1.8817715864806608]
本研究では、2つの異なる大言語モデルと、ファッション画像作成のための安定拡散モデルを用いて、カスタマイズされたファッション記述を生成する手法について検討する。 AI駆動のファッションクリエイティビティにおける適応性を強調して、ゼロショットや少数ショット学習といったテクニックの促進に重点を置いています。評価は、CLIPscoreのような定量的メトリクスと質的な人間の判断を組み合わせることで、創造性、コヒーレンス、さまざまなスタイルの美的魅力を強調します。
論文参考訳（メタデータ） (2024-07-20T17:37:51Z)
FashionReGen: LLM-Empowered Fashion Report Generation [61.84580616045145]
先進大言語モデル(LLM)に基づく知的ファッション分析・報告システムを提案する。具体的には、いくつかの重要な手順を備えた効果的なキャットウォーク分析に基づくFashionReGenの提供を試みる。また、他の領域における工業的重要性を持つより高度なタスクの探索にも刺激を与えている。
論文参考訳（メタデータ） (2024-03-11T12:29:35Z)
Social Media Fashion Knowledge Extraction as Captioning [61.41631195195498]
ソーシャルメディアにおけるファッション知識抽出の課題について検討する。ファッション知識を文変換法を用いて自然言語キャプションに変換する。このフレームワークは,ソーシャルメディア投稿から直接文ベースのファッション知識を生成することを目的としている。
論文参考訳（メタデータ） (2023-09-28T09:07:48Z)
FaD-VLP: Fashion Vision-and-Language Pre-training towards Unified Retrieval and Captioning [66.38951790650887]
ファッション分野におけるマルチモーダルタスクは、eコマースにとって大きな可能性を秘めている。本稿では,ファッションとテクストのペアから構築した弱教師付き三つ組に基づく,ファッション特有の事前学習フレームワークを提案する。 3重項に基づくタスクは、標準的なマルチモーダル事前学習タスクに有効な追加であることを示す。
論文参考訳（メタデータ） (2022-10-26T21:01:19Z)
Personalized Fashion Recommendation from Personal Social Media Data: An Item-to-Set Metric Learning Approach [71.63618051547144]
ソーシャルメディアデータからパーソナライズされたファッションレコメンデーションの問題について検討する。本稿では,ユーザの過去のファッションアイテムと新しいファッションアイテムとの類似性を学習する,アイテムツーセットのメトリック学習フレームワークを提案する。提案手法の有効性を検証するために,実世界のソーシャルメディアデータセットを収集する。
論文参考訳（メタデータ） (2020-05-25T23:24:24Z)
FashionBERT: Text and Image Matching with Adaptive Loss for Cross-modal Retrieval [31.822218310945036]
FashionBERTはテキストや画像のハイレベルな表現を学習する。 FashionBERTは、ベースラインや最先端のアプローチよりもパフォーマンスが大幅に向上している。
論文参考訳（メタデータ） (2020-05-20T00:41:00Z)
Knowledge Enhanced Neural Fashion Trend Forecasting [81.2083786318119]
本研究は,特定のユーザグループを対象とした,きめ細かいファッション要素の傾向の調査に焦点をあてる。まず、Instagramから収集した大規模なファッショントレンドデータセット(FIT)に、時系列のファッション要素の記録とユーザー情報を抽出した。本稿では,時系列データモデリングにおける深部再帰型ニューラルネットワークの機能を利用する知識強化型ニューラルネットワークモデル(KERN)を提案する。
論文参考訳（メタデータ） (2020-05-07T07:42:17Z)
Fashionpedia: Ontology, Segmentation, and an Attribute Localization Dataset [62.77342894987297]
本稿では,インスタンス分割と局所化属性認識を共同で行う新しい属性・マスクRCNNモデルを提案する。また、Fashionpediaで事前学習したインスタンスセグメンテーションモデルにより、ImageNetの事前学習よりも、他のファッションデータセットの転送学習性能が向上することを示す。
論文参考訳（メタデータ） (2020-04-26T02:38:26Z)
Fashion Meets Computer Vision: A Survey [41.41993143419999]
本稿では,知的なファッションを実現するための4つの主要な側面をカバーする200以上の主要なファッション関連作品について,包括的調査を行う。各タスクについて、ベンチマークデータセットと評価プロトコルを要約する。
論文参考訳（メタデータ） (2020-03-31T07:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。