論文の概要: Grounding Free-Form Instructions for Fashion Complementary Image Generation
- arxiv url: http://arxiv.org/abs/2608.23302v1
- Date: Mon, 24 Aug 2026 14:26:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.133643
- Title: Grounding Free-Form Instructions for Fashion Complementary Image Generation
- Title（参考訳）: ファッション補完画像生成のための接地自由形式インストラクション
- Abstract要約: ファッション補完画像生成(CIG)は、ユーザ意図に基づいて、シードアイテムにスタイリスティックにマッチする衣服を作成することを目的としている。
ファッション補完画像生成に自由形式命令,マルチモーダル言語グラウンド設定を導入する。
このタスクを、シード画像と命令を共同で条件付けしたRectified Flow MatchingモデルであるStyleFlowでインスタンス化する。
- 参考スコア（独自算出の注目度）: 48.32670047915891
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fashion complementary image generation (CIG) aims to create garments that stylistically match a seed item based on user intent, making it a natural multimodal grounding problem where models must interpret language in visual context. Existing CIG benchmarks rely on rigid template prompts (e.g., "a photo of a skirt"), failing to reflect natural user queries and obscuring model behavior across levels of linguistic specificity. We introduce fashion complementary image generation with free-form instructions, a multimodal language-grounding setting where a model generates a compatible garment from a seed image and a natural-language instruction. To this end, we enrich three CIG benchmarks with low-, medium-, and high-specificity instructions generated by a vision-language model and validated by human annotators. We instantiate the task with StyleFlow, a Rectified Flow Matching model that jointly conditions on the seed image and instruction within a single multimodal transformer. Across image quality metrics, catalog-alignment analysis, ablations, and human evaluation, StyleFlow consistently produces instruction-aligned and stylistically coherent garments while reducing architectural complexity and inference cost relative to auxiliary-module approaches.
- Abstract（参考訳）: ファッション補完画像生成(CIG)は、ユーザ意図に基づいて、シードアイテムにスタイリスティックにマッチする衣服を作成することを目的としており、モデルが視覚的文脈で言語を解釈しなければならない自然なマルチモーダルグラウンドリング問題である。
既存のCIGベンチマークでは、リッチなテンプレートプロンプト(例:「スカートの写真」)に依存しており、自然なユーザクエリを反映せず、言語的特異性のレベルを越えてモデルの振る舞いを隠蔽している。
本稿では,モデルがシード画像から互換性のある衣服を生成するマルチモーダル言語グラウンド設定と自然言語命令を併用したファッション補完画像生成について紹介する。
この目的のために、視覚言語モデルによって生成され、人間のアノテーションによって検証される低、中、高特異性の命令を3つのCIGベンチマークで強化する。
このタスクを,1つのマルチモーダル変換器内でのシード画像と命令を協調的に条件付けした,整流フローマッチングモデルであるStyleFlowでインスタンス化する。
画像品質指標、カタログアライメント分析、アブリゲーション、人的評価の他、StyleFlowは命令整合性およびスタイリスティックなコヒーレントな衣服を一貫して製造し、補助モジュールアプローチと比較してアーキテクチャ上の複雑さと推論コストを低減した。
関連論文リスト
- Exploring Multi-Modal Large Language Models and Two-Stage Fine-Tuning for Fashion Image Retrieval [3.1033110046835457]
ファッション領域では、このタスクは色、パターン、テクスチャといった微妙なバリエーションを理解する必要がある。
既存のアプローチは、注釈付きデータが少なく、単純なネガティブサンプリングのために制限に直面している。
本稿では,多粒大言語モデル (LLaVA) を統合し,属性認識三重項を生成する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-18T01:19:32Z) - Images in Sentences: Scaling Interleaved Instructions for Unified Visual Generation [19.404516863003057]
INSETは、テキスト命令内にネイティブ語彙として画像をシームレスに埋め込む統合生成モデルである。
本稿では,標準画像およびビデオデータセットから1500万件の高品質なインターリーブ付きサンプルを合成するスケーラブルなデータエンジンを提案する。
InterleaveBenchの結果は、INSETがマルチイメージの一貫性とテキストアライメントにおいて最先端の手法を大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2026-05-12T15:54:49Z) - UM-Text: A Unified Multimodal Model for Image Understanding [11.870303482927541]
自然言語による文脈理解と視覚テキスト編集のための統合型マルチモーダルモデルを提案する。
命令と参照画像を処理するためのビジュアル言語モデル(VLM)を導入する。
我々は,潜伏空間とRGB空間の両方において,グリフ生成をより効果的に管理するために,局所的な一貫性損失を提案する。
論文 参考訳（メタデータ） (2026-01-13T08:18:49Z) - DRC: Enhancing Personalized Image Generation via Disentangled Representation Composition [69.10628479553709]
大規模マルチモーダルモデル(LMM)を拡張した新しいパーソナライズされた画像生成フレームワークであるDRCを紹介する。
DRCは、履歴画像と参照画像から、ユーザスタイルの好みと意味的な意図をそれぞれ明示的に抽出する。
本研究は2つの重要な学習段階を包含する。1) スタイルと意味的特徴を明確に分離するために二重解離型学習を用い,難易度を考慮した再構成駆動型パラダイムを用いて最適化し,2) パーソナライズド・パーソナライズド・パーソナライズド・ジェネレーションを効果的に適用するパーソナライズド・モデリング。
論文 参考訳（メタデータ） (2025-04-24T08:10:10Z) - Translatotron-V(ison): An End-to-End Model for In-Image Machine Translation [81.45400849638347]
In-image Machine Translation (IIMT) は、ソース言語のテキストを含む画像をターゲット言語の翻訳を含む画像に変換することを目的としている。
本稿では,4つのモジュールからなるエンドツーエンドIIMTモデルを提案する。
本モデルでは,70.9%のパラメータしか持たないカスケードモデルと比較して競争性能が向上し,画素レベルのエンド・ツー・エンドIIMTモデルよりも大幅に優れていた。
論文 参考訳（メタデータ） (2024-07-03T08:15:39Z) - Training-Free Consistent Text-to-Image Generation [80.4814768762066]
テキスト・ツー・イメージ・モデルは様々なプロンプトで同じ主題を表現できる。
既存のアプローチは、特定のユーザが提供する主題を記述する新しい単語を教えるためにモデルを微調整する。
本研究では、事前学習モデルの内部アクティベーションを共有することによって、一貫した主題生成を可能にする、トレーニング不要なアプローチであるConsiStoryを提案する。
論文 参考訳（メタデータ） (2024-02-05T18:42:34Z) - Pick-and-Draw: Training-free Semantic Guidance for Text-to-Image
Personalization [56.12990759116612]
Pick-and-Drawは、パーソナライズ手法のアイデンティティ一貫性と生成多様性を高めるためのトレーニング不要なセマンティックガイダンスアプローチである。
提案手法は、パーソナライズされた拡散モデルに適用可能であり、単一の参照画像のみを必要とする。
論文 参考訳（メタデータ） (2024-01-30T05:56:12Z) - Instruct-Imagen: Image Generation with Multi-modal Instruction [90.04481955523514]
Instruct-imagenは、不均一な画像生成タスクに取り組み、目に見えないタスクを一般化するモデルである。
画像生成のための*multi-modal instruction*を導入する。
画像生成データセットの人間による評価では、インストラクション・イメージはドメイン内の以前のタスク固有のモデルと一致するか、超えている。
論文 参考訳（メタデータ） (2024-01-03T19:31:58Z) - Customize StyleGAN with One Hand Sketch [0.0]
本稿では,単一のユーザスケッチでスタイルGAN画像を制御するフレームワークを提案する。
我々は、エネルギーベース学習により、事前学習したStyleGANモデルの潜在空間における条件分布を学習する。
我々のモデルは、入力スケッチにセマンティックに整合したマルチモーダル画像を生成することができる。
論文 参考訳（メタデータ） (2023-10-29T09:32:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。