論文の概要: Enhancing Product Search Interfaces with Sketch-Guided Diffusion and Language Agents

• arxiv url: http://arxiv.org/abs/2504.08739v1
• Date: Fri, 21 Mar 2025 05:44:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-20 07:02:00.532214
• Title: Enhancing Product Search Interfaces with Sketch-Guided Diffusion and Language Agents
• Title（参考訳）: Sketch-Guided DiffusionとLanguage Agentによる製品検索インタフェースの強化
• Authors: Edward Sun,
• Abstract要約: Sketch-Search Agentは、マルチモーダル言語エージェントとフリーハンドスケッチを拡散モデルの制御信号として統合することにより、画像検索エクスペリエンスを変革する新しいフレームワークである。 既存の方法とは異なり、Sketch-Search Agentには最小限のセットアップが必要で、追加のトレーニングはなく、スケッチベースの画像検索と自然言語インタラクションが優れている。 このインタラクティブデザインにより、ユーザーはスケッチを作成し、カスタマイズされた製品提案を受け取り、ユーザー中心の画像検索における拡散モデルの可能性を示すことができる。
• 参考スコア（独自算出の注目度）: 0.6961946145048322
• License:
• Abstract: The rapid progress in diffusion models, transformers, and language agents has unlocked new possibilities, yet their potential in user interfaces and commercial applications remains underexplored. We present Sketch-Search Agent, a novel framework that transforms the image search experience by integrating a multimodal language agent with freehand sketches as control signals for diffusion models. Using the T2I-Adapter, Sketch-Search Agent combines sketches and text prompts to generate high-quality query images, encoded via a CLIP image encoder for efficient matching against an image corpus. Unlike existing methods, Sketch-Search Agent requires minimal setup, no additional training, and excels in sketch-based image retrieval and natural language interactions. The multimodal agent enhances user experience by dynamically retaining preferences, ranking results, and refining queries for personalized recommendations. This interactive design empowers users to create sketches and receive tailored product suggestions, showcasing the potential of diffusion models in user-centric image retrieval. Experiments confirm Sketch-Search Agent's high accuracy in delivering relevant product search results.
• Abstract（参考訳）: 拡散モデル、トランスフォーマー、言語エージェントの急速な進歩により、新たな可能性が解き放たれたが、ユーザインターフェースや商用アプリケーションにおけるその可能性はまだ未定である。 拡散モデルのための制御信号として,マルチモーダル言語エージェントとフリーハンドスケッチを統合することで,画像検索エクスペリエンスを変換する新しいフレームワークであるSketch-Search Agentを提案する。 T2I-Adapterを使用すると、Sketch-Search Agentはスケッチとテキストプロンプトを組み合わせて高品質なクエリ画像を生成する。 既存の方法とは異なり、Sketch-Search Agentには最小限のセットアップが必要で、追加のトレーニングはなく、スケッチベースの画像検索と自然言語のインタラクションが優れている。 このマルチモーダルエージェントは、好みを動的に保持し、ランキング結果を保持し、パーソナライズされたレコメンデーションのためのクエリを精査することにより、ユーザエクスペリエンスを向上させる。 このインタラクティブデザインにより、ユーザーはスケッチを作成し、カスタマイズされた製品提案を受け取り、ユーザー中心の画像検索における拡散モデルの可能性を示すことができる。 実験により、Sketch-Search Agentが関連する製品検索結果を提供する際の精度が高いことが確認された。

関連論文リスト

• SwiftSketch: A Diffusion Model for Image-to-Vector Sketch Generation [57.47730473674261]
  我々は,画像条件付きベクトルスケッチ生成モデルであるSwiftSketchを紹介した。 SwiftSketchは、ガウス分布からサンプリングされたストローク制御ポイントを段階的に復調することによって動作する。 ControlSketchは、深度認識制御ネットを通じて正確な空間制御を組み込むことで、SDSベースの技術を強化する方法である。
  論文  参考訳（メタデータ） (2025-02-12T18:57:12Z)
• Sketch2Code: Evaluating Vision-Language Models for Interactive Web Design Prototyping [55.98643055756135]
  初歩的なスケッチのWebページプロトタイプへの変換を自動化する上で,最先端のビジョン言語モデル(VLM)を評価するベンチマークであるSketch2Codeを紹介した。 我々は、既存のVLMではSketch2Codeが困難であることを示す10の商用およびオープンソースモデルを分析した。 UI/UXの専門家によるユーザ調査では、受動的フィードバックの受信よりも、積極的に質問を行うのがかなり好まれている。
  論文  参考訳（メタデータ） (2024-10-21T17:39:49Z)
• FUSE-ing Language Models: Zero-Shot Adapter Discovery for Prompt Optimization Across Tokenizers [55.2480439325792]
  FUSEは、あるモデルのテキスト埋め込み空間から別のモデルへのマッピングを行うアダプタ層を、異なるトークン化器にまたがっても近似するアプローチである。 画像キャプションと感情に基づく画像キャプションのための視覚言語モデルと因果言語モデルに対する多目的最適化によるアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-08-09T02:16:37Z)
• Batch-Instructed Gradient for Prompt Evolution:Systematic Prompt Optimization for Enhanced Text-to-Image Synthesis [3.783530340696776]
  本研究では,テキスト・画像生成モデルの入力プロンプトを最適化するマルチエージェントフレームワークを提案する。 プロのプロンプトデータベースは、命令修飾子を高精細なプロンプトを生成するためのベンチマークとして機能する。 予備的アブレーション研究は、様々なシステムコンポーネントの有効性を強調し、今後の改善の分野を提案する。
  論文  参考訳（メタデータ） (2024-06-13T00:33:29Z)
• You'll Never Walk Alone: A Sketch and Text Duet for Fine-Grained Image Retrieval [120.49126407479717]
  事前学習したCLIPモデルを用いて,スケッチとテキストを効果的に組み合わせた新しい構成性フレームワークを提案する。 我々のシステムは、合成画像検索、ドメイン転送、きめ細かい生成における新しい応用にまで拡張する。
  論文  参考訳（メタデータ） (2024-03-12T00:27:18Z)
• Text-to-Image Diffusion Models are Great Sketch-Photo Matchmakers [120.49126407479717]
  本稿では,ゼロショットスケッチに基づく画像検索(ZS-SBIR)のためのテキスト・画像拡散モデルについて検討する。 スケッチと写真の間のギャップをシームレスに埋めるテキストと画像の拡散モデルの能力。
  論文  参考訳（メタデータ） (2024-03-12T00:02:03Z)
• Large Language Models for Captioning and Retrieving Remote Sensing Images [4.499596985198142]
  RS-CapRetはリモートセンシングタスクのためのVision and Languageメソッドである。 リモートセンシング画像の記述を生成し、テキスト記述から画像を取得することができる。
  論文  参考訳（メタデータ） (2024-02-09T15:31:01Z)
• Divide and Conquer: Language Models can Plan and Self-Correct for Compositional Text-to-Image Generation [72.6168579583414]
  CompAgentは、大規模な言語モデル(LLM)エージェントをコアとして、コンポジションテキスト・画像生成のためのトレーニング不要のアプローチである。 提案手法は,オープンワールド合成T2I生成のための総合的なベンチマークであるT2I-CompBenchに対して10%以上の改善を達成している。
  論文  参考訳（メタデータ） (2024-01-28T16:18:39Z)
• The Contemporary Art of Image Search: Iterative User Intent Expansion via Vision-Language Model [4.531548217880843]
  画像検索のための革新的なユーザ意図拡張フレームワークを提案する。 本フレームワークは,視覚モデルを用いてマルチモーダルなユーザ入力を解析・構成する。 提案フレームワークは,ユーザの画像検索体験を大幅に改善する。
  論文  参考訳（メタデータ） (2023-12-04T06:14:25Z)
• Reference-based Image Composition with Sketch via Structure-aware Diffusion Model [38.1193912666578]
  本稿では,参照画像とともに,スケッチを新しいモーダルとして組み込んだマルチインプット条件画像合成モデルを提案する。 スケッチを用いたエッジレベル制御により,画像サブパートの編集や編集が可能である。 筆者らのフレームワークは,スケッチ指導を維持しつつ,参照画像を用いて学習済み拡散モデルを微調整し,欠落した領域を完了させる。
  論文  参考訳（メタデータ） (2023-03-31T06:12:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。