論文の概要: CaptionFuse: Training-Free Composed Product Retrieval Via VLM Intent Captioning and Weighted Embedding Fusion

• arxiv url: http://arxiv.org/abs/2610.26661v1
• Date: Mon, 19 Oct 2026 16:18:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 02:04:49.500239
• Title: CaptionFuse: Training-Free Composed Product Retrieval Via VLM Intent Captioning and Weighted Embedding Fusion
• Title（参考訳）: CaptionFuse: トレーニング不要な製品検索用Va VLMインテントキャプションと軽量埋め込みフュージョン
• Abstract要約: Composed Image Retrieval (CIR)は、自然言語で修正された参照画像に対応する製品を取得する。 VLM(Vision-Language Model)は、参照画像と修正を共同で解釈して、視覚的に接頭した製品タイトルキャプションを生成する。
• 参考スコア（独自算出の注目度）: 0.38887448816036313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Composed Image Retrieval (CIR) retrieves products matching a reference image modified by natural language---a core capability for eCommerce search. Existing training-free methods fuse CLIP embeddings via arithmetic, but we identify a fundamental limitation: user text modifications are attribute-sparse---a user who types ``make it red with shorter sleeves'' specifies what to change but not what to keep (the floral pattern, the V-neck, the fit-and-flare silhouette). We introduce language-space fusion: a Vision-Language Model (VLM) jointly interprets the reference image and modification to generate a visually grounded product-title caption---e.g., ``Red floral fit-and-flare dress with short sleeves and V-neck''---that fills in the missing attributes from the image. Our method, CaptionFuse, requires no task-specific training and is model-agnostic. A controlled experiment confirms that attribute content--- not linguistic style---drives the gains: imperative and descriptive captions with identical attributes achieve equal R@10, while both outperform raw modifications by +6.5 points.
• Abstract（参考訳）: Composed Image Retrieval (CIR)は、自然言語で修正された参照画像と一致する商品を検索する。 既存のトレーニングフリーメソッドは算術的手法でCLIPの埋め込みを融合するが、基本的な制限を識別する: ユーザテキストの修正は属性スパースである---- ``make it red with short sleeves'' とタイプするユーザは、何を変更するかは指定するが、何を保持するかは指定しない(花柄パターン、Vネック、フィットとフレアのシルエット)。 視覚言語モデル(VLM)は、参照画像と修正を共同で解釈し、画像から欠落した属性を埋める、短い袖付き赤い花柄のフィット・アンド・フレアドレス--e g, `` Red floral fit-and-flare dress を生成する。 私たちのメソッドであるCaptionFuseは、タスク固有のトレーニングを必要とせず、モデルに依存しない。 命令的および記述的キャプションが同一の属性を持つ場合、R@10と同等であり、どちらも+6.5ポイントの生の修正を上回ります。

関連論文リスト

• Injecting Image Guidance into Text-Conditioned Diffusion Models at Inference [1.7394635819080972]
  テキスト・ツー・イメージ拡散モデルはテキストから高品質な画像を生成するが、再トレーニングせずに推論時に視覚的誘導を注入する方法がない。 本稿では,視覚概念融合(VCF)について紹介する。これは,画像とテキストのプロンプトを,概念固有のトレーニングを伴わずに,推論時に2つの条件付けを行う最初の方法である。 VCFは、参照画像からスタイル、コンポジション、カラーパレットを含む視覚的属性の転送に成功し、即時付着を維持した。
  論文  参考訳（メタデータ） (2026-05-24T17:47:21Z)
• Object-Attribute Binding in Text-to-Image Generation: Evaluation and Control [58.37323932401379]
  現在の拡散モデルは、入力としてテキストプロンプトが与えられたイメージを生成するが、テキストで言及されている属性を画像の正しいオブジェクトに正しく結び付けるのに苦労する。 入力文中の構文的制約により視覚的注意マップを制御できる集中的横断注意(FCA)を提案する。 我々は、T2I生成の大幅な改善、特にいくつかのデータセットに対する属性オブジェクトのバインディングを示す。
  論文  参考訳（メタデータ） (2024-04-21T20:26:46Z)
• VIXEN: Visual Text Comparison Network for Image Difference Captioning [58.16313862434814]
  画像間の視覚的差異をテキストで簡潔に要約する手法であるVIXENを提案する。 提案するネットワークは,事前学習された大規模言語モデルに対するソフトプロンプトを構築し,画像特徴を一対にマッピングする。
  論文  参考訳（メタデータ） (2024-02-29T12:56:18Z)
• User-Aware Prefix-Tuning is a Good Learner for Personalized Image Captioning [35.211749514733846]
  従来の画像キャプション方式は、ユーザの好みや特徴を無視することが多い。 既存のほとんどの手法は、メモリネットワークやトランスフォーマーによるユーザコンテキストの融合プロセスを強調している。 本稿では,ユーザコンテキストを利用したパーソナライズされた画像キャプションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-08T02:08:00Z)
• Localizing and Editing Knowledge in Text-to-Image Generative Models [62.02776252311559]
  異なる属性に関する知識は、独立したコンポーネントにローカライズされず、代わりに条件付きUNetのコンポーネントセットに分散される。 テキスト・ツー・イメージ・モデルの概念を効果的に編集できる高速でデータフリーなモデル編集手法Diff-QuickFixを提案する。
  論文  参考訳（メタデータ） (2023-10-20T17:31:12Z)
• Sentence-level Prompts Benefit Composed Image Retrieval [69.78119883060006]
  合成画像検索(CIR)は、参照画像と相対キャプションの両方を含むクエリを用いて、特定の画像を検索するタスクである。 本稿では,事前訓練されたV-Lモデル,例えばBLIP-2を用いて文レベルのプロンプトを生成することを提案する。 提案手法は,Fashion-IQおよびCIRRデータセット上の最先端のCIR手法に対して良好に動作する。
  論文  参考訳（メタデータ） (2023-10-09T07:31:44Z)
• Text Descriptions are Compressive and Invariant Representations for Visual Learning [63.3464863723631]
  本研究では,クラスごとの複数の視覚的特徴に対する人間の理解に則って,頑健な数ショット学習環境では魅力的な性能が得られることを示す。 特に,SLR-AVD (Sparse Logistic Regression using Augmented Visual Descriptors) という新しい手法を導入する。 このメソッドはまず、まず大きな言語モデル(LLM)を介して各クラスの複数の視覚的記述を自動生成し、次にVLMを使用してこれらの記述を各画像の視覚的特徴埋め込みに変換し、最後に、これらの特徴の関連するサブセットを選択するためにスパースロジスティック回帰を使用する。
  論文  参考訳（メタデータ） (2023-07-10T03:06:45Z)
• FICE: Text-Conditioned Fashion Image Editing With Guided GAN Inversion [16.583537785874604]
  本研究では,多種多様なテキスト記述を扱える新しいテキスト条件編集モデルFICEを提案する。 FICEは、非常にリアルなファッションイメージを生成し、既存の競合するアプローチよりも強力な編集性能をもたらす。
  論文  参考訳（メタデータ） (2023-01-05T15:33:23Z)
• Describe What to Change: A Text-guided Unsupervised Image-to-Image Translation Approach [84.22327278486846]
  本稿では,画像から画像への変換に基づく新しい教師なしの手法を提案する。 本モデルは視覚的属性から画像内容を切り離し,テキスト記述を用いて後者を変更することを学習する。 実験により,提案モデルが2つの大規模公開データセットに対して有望な性能を達成することを示す。
  論文  参考訳（メタデータ） (2020-08-10T15:40:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。