論文の概要: Social Media Fashion Knowledge Extraction as Captioning
- arxiv url: http://arxiv.org/abs/2309.16270v1
- Date: Thu, 28 Sep 2023 09:07:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-29 15:19:07.131345
- Title: Social Media Fashion Knowledge Extraction as Captioning
- Title（参考訳）: キャプションとしてのソーシャルメディアファッション知識抽出
- Authors: Yifei Yuan, Wenxuan Zhang, Yang Deng, and Wai Lam
- Abstract要約: ソーシャルメディアにおけるファッション知識抽出の課題について検討する。
ファッション知識を文変換法を用いて自然言語キャプションに変換する。
このフレームワークは,ソーシャルメディア投稿から直接文ベースのファッション知識を生成することを目的としている。
- 参考スコア（独自算出の注目度）: 61.41631195195498
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Social media plays a significant role in boosting the fashion industry, where
a massive amount of fashion-related posts are generated every day. In order to
obtain the rich fashion information from the posts, we study the task of social
media fashion knowledge extraction. Fashion knowledge, which typically consists
of the occasion, person attributes, and fashion item information, can be
effectively represented as a set of tuples. Most previous studies on fashion
knowledge extraction are based on the fashion product images without
considering the rich text information in social media posts. Existing work on
fashion knowledge extraction in social media is classification-based and
requires to manually determine a set of fashion knowledge categories in
advance. In our work, we propose to cast the task as a captioning problem to
capture the interplay of the multimodal post information. Specifically, we
transform the fashion knowledge tuples into a natural language caption with a
sentence transformation method. Our framework then aims to generate the
sentence-based fashion knowledge directly from the social media post. Inspired
by the big success of pre-trained models, we build our model based on a
multimodal pre-trained generative model and design several auxiliary tasks for
enhancing the knowledge extraction. Since there is no existing dataset which
can be directly borrowed to our task, we introduce a dataset consisting of
social media posts with manual fashion knowledge annotation. Extensive
experiments are conducted to demonstrate the effectiveness of our model.
- Abstract（参考訳）: ソーシャルメディアはファッション産業の活性化に重要な役割を果たしており、毎日大量のファッション関連の投稿が生成される。
投稿から豊かなファッション情報を得るために,ソーシャルメディアのファッション知識抽出の課題について検討する。
ファッション知識は、通常、機会、人物属性、ファッションアイテム情報で構成され、タプルのセットとして効果的に表現することができる。
ファッション知識抽出に関するこれまでの研究のほとんどは、ソーシャルメディア投稿のリッチテキスト情報を考慮していないファッション製品イメージに基づいている。
ソーシャルメディアにおけるファッション知識抽出に関する既存の研究は分類に基づいており、事前にファッション知識カテゴリのセットを手動で決定する必要がある。
本研究では,マルチモーダルポスト情報のインタープレイをキャプチャするキャプション問題として,タスクをキャストすることを提案する。
具体的には,ファッション知識タプルを文変換法により自然言語キャプションに変換する。
このフレームワークは,ソーシャルメディア投稿から直接文ベースのファッション知識を生成することを目的としている。
事前学習モデルの大きな成功に触発されて,マルチモーダル事前学習モデルに基づいたモデルを構築し,知識抽出能力を向上させるための補助タスクをいくつか設計した。
タスクに直接借用可能な既存のデータセットは存在しないため、手動のファッション知識アノテーションを備えたソーシャルメディア投稿からなるデータセットを導入する。
本モデルの有効性を示すために広範な実験を行った。
関連論文リスト
- FashionReGen: LLM-Empowered Fashion Report Generation [61.84580616045145]
先進大言語モデル(LLM)に基づく知的ファッション分析・報告システムを提案する。
具体的には、いくつかの重要な手順を備えた効果的なキャットウォーク分析に基づくFashionReGenの提供を試みる。
また、他の領域における工業的重要性を持つより高度なタスクの探索にも刺激を与えている。
論文 参考訳（メタデータ） (2024-03-11T12:29:35Z) - FashionSAP: Symbols and Attributes Prompt for Fine-grained Fashion
Vision-Language Pre-training [12.652002299515864]
ファッションシンボルと属性プロンプト(FashionSAP)に基づく、きめ細かいファッションビジョン言語事前学習法を提案する。
まず,新しい抽象的なファッション概念層であるファッションシンボルを,異なるファッションアイテムを表現するために提案する。
次に、モデルにファッションアイテムの特定の属性を明示的に学習させる属性プロンプト手法を提案する。
論文 参考訳（メタデータ） (2023-04-11T08:20:17Z) - FaD-VLP: Fashion Vision-and-Language Pre-training towards Unified
Retrieval and Captioning [66.38951790650887]
ファッション分野におけるマルチモーダルタスクは、eコマースにとって大きな可能性を秘めている。
本稿では,ファッションとテクストのペアから構築した弱教師付き三つ組に基づく,ファッション特有の事前学習フレームワークを提案する。
3重項に基づくタスクは、標準的なマルチモーダル事前学習タスクに有効な追加であることを示す。
論文 参考訳（メタデータ） (2022-10-26T21:01:19Z) - Sentiment Analysis of Fashion Related Posts in Social Media [36.623221002330226]
本稿では、イメージビジョン、ポストテキスト、ファッション属性のモダリティを併用して感情カテゴリーを決定する新しいフレームワークを提案する。
このタスクに適した既存のデータセットが存在しないため、我々は12万以上のファッション関連ソーシャルメディア投稿の大規模感情分析データセットを作成している。
論文 参考訳（メタデータ） (2021-11-15T14:58:09Z) - From Culture to Clothing: Discovering the World Events Behind A Century
of Fashion Images [100.20851232528925]
本稿では,着る衣服に影響を及ぼす特定の文化的要因を特定するための,データ駆動型アプローチを提案する。
私たちの仕事は、計算的、スケーラブルで、簡単にリフレッシュ可能なアプローチによる、カルチャーと衣服のリンクに向けた第一歩です。
論文 参考訳（メタデータ） (2021-02-02T18:58:21Z) - Personalized Fashion Recommendation from Personal Social Media Data: An
Item-to-Set Metric Learning Approach [71.63618051547144]
ソーシャルメディアデータからパーソナライズされたファッションレコメンデーションの問題について検討する。
本稿では,ユーザの過去のファッションアイテムと新しいファッションアイテムとの類似性を学習する,アイテムツーセットのメトリック学習フレームワークを提案する。
提案手法の有効性を検証するために,実世界のソーシャルメディアデータセットを収集する。
論文 参考訳（メタデータ） (2020-05-25T23:24:24Z) - FashionBERT: Text and Image Matching with Adaptive Loss for Cross-modal
Retrieval [31.822218310945036]
FashionBERTはテキストや画像のハイレベルな表現を学習する。
FashionBERTは、ベースラインや最先端のアプローチよりもパフォーマンスが大幅に向上している。
論文 参考訳（メタデータ） (2020-05-20T00:41:00Z) - Knowledge Enhanced Neural Fashion Trend Forecasting [81.2083786318119]
本研究は,特定のユーザグループを対象とした,きめ細かいファッション要素の傾向の調査に焦点をあてる。
まず、Instagramから収集した大規模なファッショントレンドデータセット(FIT)に、時系列のファッション要素の記録とユーザー情報を抽出した。
本稿では,時系列データモデリングにおける深部再帰型ニューラルネットワークの機能を利用する知識強化型ニューラルネットワークモデル(KERN)を提案する。
論文 参考訳（メタデータ） (2020-05-07T07:42:17Z) - Can AI decrypt fashion jargon for you? [24.45460909986741]
これらの低レベルの記述が、いかにしてスタイルや高レベルのファッション概念に貢献できるかは、人々には明らかではない。
本稿では,ファッションサイトの既存製品データを活用することで,この概念理解問題に対処するデータ駆動型ソリューションを提案する。
プロダクトイメージの高レベルなファッションコンセプトを、低レベルでドメイン固有のファッション機能で明示的に予測し、説明できるディープラーニングモデルを訓練しました。
論文 参考訳（メタデータ） (2020-03-18T05:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。