論文の概要: FashionMV: Product-Level Composed Image Retrieval with Multi-View Fashion Data

• arxiv url: http://arxiv.org/abs/2604.10297v1
• Date: Sat, 11 Apr 2026 17:26:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.942552
• Title: FashionMV: Product-Level Composed Image Retrieval with Multi-View Fashion Data
• Title（参考訳）: FashionMV: 多視点ファッションデータを用いた製品レベルの画像検索
• Authors: Peng Yuan, Bingyin Mei, Hui Zhang,
• Abstract要約: Composed Image Retrieval (CIR)は、修正テキストと組み合わせた参照画像を用いてターゲット画像を取得する。 我々は、このミスマッチビュー不完全性を定義し、画像レベルから製品レベルまで標準CIRを一般化する新しいMulti-View CIRタスクを正式に定義する。 製品レベルのCIRのための,最初の大規模マルチビューファッションデータセットであるFashionMVを構築した。
• 参考スコア（独自算出の注目度）: 4.101270172538245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Composed Image Retrieval (CIR) retrieves target images using a reference image paired with modification text. Despite rapid advances, all existing methods and datasets operate at the image level -- a single reference image plus modification text in, a single target image out -- while real e-commerce users reason about products shown from multiple viewpoints. We term this mismatch View Incompleteness and formally define a new Multi-View CIR task that generalizes standard CIR from image-level to product-level retrieval. To support this task, we construct FashionMV, the first large-scale multi-view fashion dataset for product-level CIR, comprising 127K products, 472K multi-view images, and over 220K CIR triplets, built through a fully automated pipeline leveraging large multimodal models. We further propose ProCIR (Product-level Composed Image Retrieval), a modeling framework built upon a multimodal large language model that employs three complementary mechanisms -- two-stage dialogue, caption-based alignment, and chain-of-thought guidance -- together with an optional supervised fine-tuning (SFT) stage that injects structured product knowledge prior to contrastive training. Systematic ablation across 16 configurations on three fashion benchmarks reveals that: (1) alignment is the single most critical mechanism; (2) the two-stage dialogue architecture is a prerequisite for effective alignment; and (3) SFT and chain-of-thought serve as partially redundant knowledge injection paths. Our best 0.8B-parameter model outperforms all baselines, including general-purpose embedding models 10x its size. The dataset, model, and code are publicly available at https://github.com/yuandaxia2001/FashionMV.
• Abstract（参考訳）: Composed Image Retrieval (CIR)は、修正テキストと組み合わせた参照画像を用いてターゲット画像を取得する。 迅速な進歩にもかかわらず、既存のすべてのメソッドとデータセットはイメージレベルで運用されている -- 単一の参照イメージと修正テキスト、単一のターゲットイメージを出力する — 一方、実際のEコマースユーザは、複数の視点から表示された製品について推論する。 我々は、このミスマッチビュー不完全性を定義し、画像レベルから製品レベルまで標準CIRを一般化する新しいMulti-View CIRタスクを正式に定義する。 このタスクを支援するために、FashionMVは製品レベルのCIRのための最初の大規模マルチビュー・ファッション・データセットで、117Kの製品、472Kのマルチビュー・イメージ、220K以上のCIRトレーレットで構成され、大規模なマルチモーダル・モデルを活用する完全自動化パイプラインによって構築される。 さらに,ProCIR(Product-level Composed Image Retrieval)という,2段階対話,キャプションに基づくアライメント,チェーン・オブ・インストラクションという3つの相補的なメカニズムを取り入れたマルチモーダルな大規模言語モデルに基づくモデリングフレームワークを提案する。 2段階の対話アーキテクチャは効果的なアライメントの前提条件であり,(3)SFTとチェーン・オブ・シントは部分的に冗長な知識注入経路として機能する。 我々の0.8Bパラメータモデルでは、汎用埋め込みモデルを含め、すべてのベースラインを上回ります。 データセット、モデル、コードはhttps://github.com/yuandaxia2001/FashionMVで公開されている。

関連論文リスト

• Exploring a Unified Vision-Centric Contrastive Alternatives on Multi-Modal Web Documents [99.62178668680578]
  本稿では,単一の視覚変換器を用いてテキスト,画像,それらの組み合わせをモデル化する統合フレームワークであるビジョン中心コントラスト学習(VC2L)を提案する。 VC2Lは完全にピクセル空間で動作し、テキスト、ビジュアル、または組み合わせのいずれでも、すべての入力を画像として描画する。 ウェブ文書における複雑なクロスモーダル関係を捉えるため、VC2Lは連続するマルチモーダルセグメントを整列するスニペットレベルのコントラスト学習目標を採用している。
  論文  参考訳（メタデータ） (2025-10-21T14:59:29Z)
• Query-Kontext: An Unified Multimodal Model for Image Generation and Editing [53.765351127477224]
  統一マルチモーダルモデル(UMM)はテキスト・ツー・イメージ生成(T2I)と編集(TI2I)において顕著な性能を示した。 本稿では,マルチモーダル入力から符号化されたセマンティックキューと粗粒度画像条件からなるマルチモーダルコンテクス」を用いて,VLMと拡散モデルをブリッジする新しいアプローチであるQuery-Kontextを紹介する。 実験により,本手法は強い統一ベースラインと一致し,いくつかのケースにおいてタスク固有の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-09-30T17:59:46Z)
• Recurrence Meets Transformers for Universal Multimodal Retrieval [59.92546492752452]
  ReT-2は画像とテキストの両方からなるマルチモーダルクエリをサポートする統合検索モデルである。 検索構成の異なるM2KRとM-BEIRのベンチマークでReT-2を評価する。 検索強化された生成パイプラインに統合されると、ReT-2はEncyclopedic-VQAとInfoSeekデータセットのダウンストリームのパフォーマンスも向上する。
  論文  参考訳（メタデータ） (2025-09-10T18:00:29Z)
• Auto-Regressively Generating Multi-View Consistent Images [10.513203377236744]
  任意のプロンプトから一貫したマルチビュー画像を生成するためのマルチビュー自動回帰(textbfMV-AR)手法を提案する。 広範に分離されたビューを生成する場合、MV-ARは以前のビューを全て利用して効果的な参照情報を抽出することができる。 一貫して一貫したマルチビュー画像を生成するMV-ARの性能と汎用性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-06-23T11:28:37Z)
• DIPO: Dual-State Images Controlled Articulated Object Generation Powered by Diverse Data [67.99373622902827]
  DIPOは、一対のイメージから調音された3Dオブジェクトを制御可能な生成するためのフレームワークである。 本稿では,イメージペア間の関係を捉え,部分配置と関節パラメータを生成するデュアルイメージ拡散モデルを提案する。 複雑な3Dオブジェクトの大規模データセットであるPM-Xについて,レンダリング画像,URDFアノテーション,テキスト記述を伴って提案する。
  論文  参考訳（メタデータ） (2025-05-26T18:55:14Z)
• CoLLM: A Large Language Model for Composed Image Retrieval [76.29725148964368]
  Composed Image Retrieval (CIR)は、マルチモーダルクエリに基づいた画像検索を目的とした複雑なタスクである。 本稿では,イメージキャプションペアからトリプレットをオンザフライで生成するワンストップフレームワークであるCoLLMを提案する。 我々はLarge Language Models (LLMs) を利用して参照画像の埋め込みと修正テキストを生成する。
  論文  参考訳（メタデータ） (2025-03-25T17:59:50Z)
• SCOT: Self-Supervised Contrastive Pretraining For Zero-Shot Compositional Retrieval [7.248145893361865]
  合成画像検索(CIR)は、クエリ画像をユーザが提供するテキスト修正と組み合わせてターゲット画像を取得するマルチモーダル学習タスクである。 既存の方法は、FashionIQやCIRRといったラベル付き三重項のデータセットに基づいてモデルをトレーニングする、完全に教師付き学習に重点を置いている。 本研究では,既存の大規模画像・テキスト・ペア・データセットと大規模言語モデルの生成機能を組み合わせて,組込み合成ネットワークを対照的に訓練するゼロショット合成事前学習戦略であるSCOTを提案する。
  論文  参考訳（メタデータ） (2025-01-12T07:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。