論文の概要: VICTOR: Visual Incompatibility Detection with Transformers and
Fashion-specific contrastive pre-training
- arxiv url: http://arxiv.org/abs/2207.13458v1
- Date: Wed, 27 Jul 2022 11:18:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-28 13:59:49.462379
- Title: VICTOR: Visual Incompatibility Detection with Transformers and
Fashion-specific contrastive pre-training
- Title(参考訳): VICTOR:トランスフォーマーによる視覚不整合検出とファッション特化コントラスト事前学習
- Authors: Stefanos-Iordanis Papadopoulos, Christos Koutlis, Symeon Papadopoulos,
Ioannis Kompatsiaris
- Abstract要約: Visual InCompatibility TransfORmer (VICTOR) は、1) 回帰としての全体的な互換性、2) ミスマッチアイテムの検出の2つのタスクに最適化されている。
Polyvore-MISFITと呼ばれる新しいデータセットを作成し、部分的にミスマッチした服を生成するために、Polyvoreの服のベンチマークを構築した。
一連のアブレーションと比較分析により、提案されたアーキテクチャは、現在のPolyvoreデータセットの最先端を競合し、越えることが可能であることを示している。
- 参考スコア(独自算出の注目度): 18.753508811614644
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In order to consider fashion outfits as aesthetically pleasing, the garments
that constitute them need to be compatible in terms of visual aspects, such as
style, category and color. With the advent and omnipresence of computer vision
deep learning models, increased interest has also emerged for the task of
visual compatibility detection with the aim to develop quality fashion outfit
recommendation systems. Previous works have defined visual compatibility as a
binary classification task with items in a garment being considered as fully
compatible or fully incompatible. However, this is not applicable to Outfit
Maker applications where users create their own outfits and need to know which
specific items may be incompatible with the rest of the outfit. To address
this, we propose the Visual InCompatibility TransfORmer (VICTOR) that is
optimized for two tasks: 1) overall compatibility as regression and 2) the
detection of mismatching items. Unlike previous works that either rely on
feature extraction from ImageNet-pretrained models or by end-to-end fine
tuning, we utilize fashion-specific contrastive language-image pre-training for
fine tuning computer vision neural networks on fashion imagery. Moreover, we
build upon the Polyvore outfit benchmark to generate partially mismatching
outfits, creating a new dataset termed Polyvore-MISFITs, that is used to train
VICTOR. A series of ablation and comparative analyses show that the proposed
architecture can compete and even surpass the current state-of-the-art on
Polyvore datasets while reducing the instance-wise floating operations by 88%,
striking a balance between high performance and efficiency.
- Abstract(参考訳): ファッションの衣装を美観的に心地よいものと考えるためには、それらを構成する衣料品は、スタイル、カテゴリー、色といった視覚面の面で互換性を持たなければならない。
コンピュータビジョン深層学習モデルの出現と全能化に伴い、高品質なファッションファッションレコメンデーションシステムの開発を目的とした視覚的互換性検出の課題への関心が高まっている。
以前の作品では、視覚的互換性は、服のアイテムが完全に互換性があるか、完全に互換性がないと見なされる二項分類タスクとして定義されていた。
しかし、これは、ユーザーが独自の衣装を作成し、どの特定のアイテムが他の服と互換性がないかを知る必要があるOutfit Makerアプリケーションには当てはまらない。
これを解決するために,2つのタスクに最適化されたVisual InCompatibility TransfORmer (VICTOR)を提案する。
1)レグレッションと全体的な互換性
2)ミスマッチ品の検出。
ImageNet-pretrainedモデルからの特徴抽出やエンドツーエンドの微調整に頼っていた従来の研究とは異なり、ファッション特有のコントラスト言語画像事前学習を用いて、ファッションイメージに基づくコンピュータビジョンニューラルネットワークの微調整を行う。
さらに、Polyvore装束ベンチマークを構築し、部分的にミスマッチした衣装を生成し、VICTORのトレーニングに使用されるPolyvore-MISFITと呼ばれる新しいデータセットを作成する。
一連のアブレーションと比較分析により、提案されたアーキテクチャは、現在のPolyvoreデータセットの最先端を越えながら、インスタンス単位の浮動小数点演算を88%削減し、ハイパフォーマンスと効率のバランスを崩すことが示されている。
関連論文リスト
- Transformer-based Graph Neural Networks for Outfit Generation [22.86041284499166]
TGNNは、畳み込みグラフニューラルネットワークにおけるメッセージパッシングステップとして、多面的な自己注意を利用して、グラフ内の衣服アイテム間の関係をキャプチャする。
畳み込みグラフニューラルネットワークにおけるメッセージパッシングステップとして,多面的な自己注意を利用して,グラフ内の衣服アイテム間の関係をキャプチャするトランスフォーマーアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-04-17T09:18:45Z) - FaD-VLP: Fashion Vision-and-Language Pre-training towards Unified
Retrieval and Captioning [66.38951790650887]
ファッション分野におけるマルチモーダルタスクは、eコマースにとって大きな可能性を秘めている。
本稿では,ファッションとテクストのペアから構築した弱教師付き三つ組に基づく,ファッション特有の事前学習フレームワークを提案する。
3重項に基づくタスクは、標準的なマルチモーダル事前学習タスクに有効な追加であることを示す。
論文 参考訳(メタデータ) (2022-10-26T21:01:19Z) - Learning Fashion Compatibility from In-the-wild Images [6.591937706757015]
筆者らは,自己教師型学習を通じて,現在地にあるストリートファッション画像から,互換性予測のための表現を学習する。
本研究の前提課題は、同一人物が着用する異なる項目の表現が、他人が着用するものよりも近いように定式化されている。
ファッションコンフィグレーションベンチマークとして,Polyvore と Polyvore-Disjoint の2種類について実験を行った。
論文 参考訳(メタデータ) (2022-06-13T09:05:25Z) - OutfitTransformer: Learning Outfit Representations for Fashion
Recommendation [6.890771095769622]
本稿では,全項目間の互換性関係を符号化した効果的な衣服レベルの表現を学習するフレームワークであるOutfitTransformerを提案する。
互換性予測のために,グローバルな装束表現を捕捉し,分類損失を用いてフレームワークを訓練するための装束トークンを設計する。
補完的な項目検索のために,対象項目の仕様を考慮に入れたターゲット項目トークンを設計する。
生成されたターゲットアイテムの埋め込みは、残りの服にマッチする互換性のあるアイテムを検索するために使用される。
論文 参考訳(メタデータ) (2022-04-11T00:55:40Z) - UIGR: Unified Interactive Garment Retrieval [105.56179829647142]
対話型衣服検索(IGR)は、基準衣服画像に基づいて対象衣服画像を検索することを目的としている。
テキスト誘導衣料検索(TGR)と視覚互換衣料検索(VCR)の2つのタスクが広く研究されている。
本稿では,TGRとVCRを統合するためのUIGR(Unified Interactive Garment Retrieval)フレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-06T21:54:14Z) - Arbitrary Virtual Try-On Network: Characteristics Preservation and
Trade-off between Body and Clothing [85.74977256940855]
本報告では,オールタイプの衣料品を対象としたArbitrary Virtual Try-On Network (AVTON)を提案する。
AVTONは、ターゲット服と参照者の特性を保存・交換することで、現実的な試行画像を合成することができる。
提案手法は,最先端の仮想試行法と比較して性能が向上する。
論文 参考訳(メタデータ) (2021-11-24T08:59:56Z) - Toward Accurate and Realistic Outfits Visualization with Attention to
Details [10.655149697873716]
商用アプリケーションに必要な重要な視覚的詳細を捉えるために,アウトフィット・ビジュアライゼーション・ネットを提案する。
OVNetは,1)意味的レイアウト生成器と2)複数の協調ワープを用いた画像生成パイプラインから構成される。
この手法を利用した対話型インターフェースは,ファッションeコマースのウェブサイトに展開され,圧倒的に肯定的なフィードバックを受けている。
論文 参考訳(メタデータ) (2021-06-11T19:53:34Z) - CT-Net: Complementary Transfering Network for Garment Transfer with
Arbitrary Geometric Changes [49.06982066976623]
CT-Net(Complementary Transfering Network)は、異なるレベルの幾何学的変化を適応的にモデル化し、異なる人々の間で衣装を転送する手法である。
ネットワークは高品質な衣料品転送画像を合成し,質的かつ定量的に最先端の手法を著しく上回っている。
論文 参考訳(メタデータ) (2021-05-12T08:07:07Z) - Cloth Interactive Transformer for Virtual Try-On [106.21605249649957]
本稿では,仮想試行作業のための2段階のインタラクティブトランス (CIT) 手法を提案する。
第1段階では, CITマッチングブロックを設計し, 着物非依存者情報と着物内布情報との長距離相関関係を正確に把握することを目的とした。
第2段階では,人物表現のグローバルな相互相互依存関係を確立するためのCIT推論ブロック,整形衣料品,およびそれに対応する整形布マスクを作成した。
論文 参考訳(メタデータ) (2021-04-12T14:45:32Z) - Fashion Recommendation and Compatibility Prediction Using Relational
Network [18.13692056232815]
我々は、新しい互換性学習モデルを開発するための関係ネットワーク(RN)を開発する。
FashionRNは、任意の数のアイテムを任意の順序で、服全体の互換性を学習する。
我々はPolyvoreのウェブサイトから収集した49,740の服の大規模なデータセットを用いてモデルを評価した。
論文 参考訳(メタデータ) (2020-05-13T21:00:54Z) - Learning Diverse Fashion Collocation by Neural Graph Filtering [78.9188246136867]
本稿では,グラフニューラルネットワークを用いて,フレキシブルなファッションアイテムセットをモデル化する新しいファッションコロケーションフレームワークであるNeural Graph Filteringを提案する。
エッジベクトルに対称演算を適用することにより、このフレームワークは様々な入力/出力を許容し、それらの順序に不変である。
提案手法を,Polyvoreデータセット,Polyvore-Dデータセット,Amazon Fashionデータセットの3つの一般的なベンチマークで評価した。
論文 参考訳(メタデータ) (2020-03-11T16:17:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。