論文の概要: VisualPrompter: Prompt Optimization with Visual Feedback for Text-to-Image Synthesis

• arxiv url: http://arxiv.org/abs/2506.23138v1
• Date: Sun, 29 Jun 2025 08:24:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.737243
• Title: VisualPrompter: Prompt Optimization with Visual Feedback for Text-to-Image Synthesis
• Title（参考訳）: VisualPrompter: テキスト間合成のためのビジュアルフィードバックによるプロンプト最適化
• Authors: Shiyu Wu, Mingzhen Sun, Weining Wang, Yequan Wang, Jing Liu,
• Abstract要約: VisualPrompterはトレーニングフリーのプロンプトエンジニアリングフレームワークで、ユーザー入力をモデル優先の文に洗練する。 本フレームワークは,テキスト画像アライメント評価のための複数のベンチマーク上で,最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 15.392482488365955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since there exists a notable gap between user-provided and model-preferred prompts, generating high-quality and satisfactory images using diffusion models often requires prompt engineering to optimize user inputs. Current studies on text-to-image prompt engineering can effectively enhance the style and aesthetics of generated images. However, they often neglect the semantic alignment between generated images and user descriptions, resulting in visually appealing but content-wise unsatisfying outputs. In this work, we propose VisualPrompter, a novel training-free prompt engineering framework that refines user inputs to model-preferred sentences. In particular, VisualPrompter utilizes an automatic self-reflection module to identify the missing concepts in generated images and a target-specific prompt optimization mechanism to revise the prompts in a fine-grained manner. Extensive experiments demonstrate the effectiveness of our VisualPrompter, which achieves new state-of-the-art performance on multiple benchmarks for text-image alignment evaluation. Additionally, our framework features a plug-and-play design, making it highly adaptable to various generative models.
• Abstract（参考訳）: ユーザが提供するプロンプトとモデル優先プロンプトの間には顕著なギャップがあるため、拡散モデルを用いた高品質で満足な画像を生成するには、ユーザ入力を最適化するためのプロンプトエンジニアリングが必要であることが多い。 テキスト・ツー・イメージ・プロンプト・エンジニアリングに関する最近の研究は、生成した画像のスタイルと美学を効果的に強化することができる。 しかし、生成した画像とユーザ記述のセマンティックアライメントを無視することが多く、視覚的に魅力的だが内容的に不満足な出力となる。 本研究では,モデル優先文にユーザ入力を洗練させる新しいトレーニングフリープロンプトエンジニアリングフレームワークであるVisualPrompterを提案する。 特に、VisualPrompterでは、自動自己回帰モジュールを使用して、生成したイメージの欠落した概念を識別し、ターゲット固有のプロンプト最適化機構を使用して、プロンプトをきめ細かな方法で修正する。 テキスト画像アライメント評価のための複数のベンチマークにおいて,新しい最先端性能を実現するVisualPrompterの有効性を実証した。 さらに,本フレームワークはプラグアンドプレイ設計を特徴とし,様々な生成モデルに高い適応性を実現している。

関連論文リスト

• RePrompt: Reasoning-Augmented Reprompting for Text-to-Image Generation via Reinforcement Learning [88.14234949860105]
  RePromptは、強化学習による迅速な強化プロセスに明示的な推論を導入する、新しいリプロンプトフレームワークである。 提案手法は,人手による注釈付きデータなしでエンドツーエンドのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2025-05-23T06:44:26Z)
• Self-Rewarding Large Vision-Language Models for Optimizing Prompts in Text-to-Image Generation [55.42794740244581]
  本稿では,シンプルなユーザプロンプトをテキスト・ツー・イメージ・モデルに洗練されたプロンプトに変換するための新しいプロンプト最適化フレームワークを提案する。 具体的には、ユーザプロンプトを書き換えるために大きな視覚言語モデル(LVLM)を使用し、同時にLVLMを報酬モデルとして使用し、最適化されたプロンプトによって生成された画像の美学とアライメントをスコアする。 努力的な人間のフィードバックの代わりに、私たちはLVLMの以前の知識を利用して報酬、すなわちAIフィードバックを提供します。
  論文  参考訳（メタデータ） (2025-05-22T15:05:07Z)
• Dynamic Prompt Optimizing for Text-to-Image Generation [63.775458908172176]
  テキストから画像への生成モデルを改善するために,textbfPrompt textbfAuto-textbfEditing (PAE)法を導入する。 我々は、各単語の重みと射出時間ステップを探索するために、オンライン強化学習戦略を採用し、動的微調整プロンプトを導いた。
  論文  参考訳（メタデータ） (2024-04-05T13:44:39Z)
• Prompt Expansion for Adaptive Text-to-Image Generation [51.67811570987088]
  本稿では,より少ない労力で高品質で多様な画像を生成するためのPrompt Expansionフレームワークを提案する。 Prompt Expansionモデルはテキストクエリを入力として取り、拡張されたテキストプロンプトのセットを出力する。 本研究では,Prompt Expansionにより生成された画像が,ベースライン法により生成された画像よりも美的かつ多様であることを示す人体評価研究を行う。
  論文  参考訳（メタデータ） (2023-12-27T21:12:21Z)
• NeuroPrompts: An Adaptive Framework to Optimize Prompts for Text-to-Image Generation [4.21512101973222]
  NeuroPromptsは、テキスト・ツー・イメージモデルによって生成される世代の品質を改善するためのユーザのプロンプトを強化する適応的なフレームワークである。 我々のフレームワークは,人間のプロンプトエンジニアが生成したようなプロンプトを生成するために,事前訓練された言語モデルを用いて制約付きテキストデコードを利用する。
  論文  参考訳（メタデータ） (2023-11-20T22:57:47Z)
• PromptMagician: Interactive Prompt Engineering for Text-to-Image Creation [16.41459454076984]
  本研究では,画像の検索結果を探索し,入力プロンプトを洗練させる視覚解析システムであるPromptMagicianを提案する。 システムのバックボーンは、ユーザのプロンプトを入力として取り、DiffusionDBから同様のプロンプトイメージペアを取得し、特別な(重要かつ関連性の高い)プロンプトキーワードを識別するプロンプトレコメンデーションモデルである。
  論文  参考訳（メタデータ） (2023-07-18T07:46:25Z)
• Promptify: Text-to-Image Generation through Interactive Prompt Exploration with Large Language Models [29.057923932305123]
  本稿では,テキスト・ツー・イメージ生成モデルの迅速な探索と改良を支援する対話型システムであるPromptifyを提案する。 本稿では,Promptifyがテキスト・ツー・イメージ・ワークフローを効果的に促進し,テキスト・ツー・イメージ生成に広く使用されている既存のベースライン・ツールより優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-18T22:59:11Z)
• Optimizing Prompts for Text-to-Image Generation [97.61295501273288]
  よく設計されたプロンプトは、テキストから画像へのモデルをガイドし、素晴らしい画像を生成する。 しかし、パフォーマンスプロンプトはモデル固有であり、ユーザ入力と不一致であることが多い。 本稿では,モデル優先のプロンプトにオリジナルのユーザ入力を自動的に適応するフレームワークであるpromise adaptを提案する。
  論文  参考訳（メタデータ） (2022-12-19T16:50:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。