論文の概要: Taming Text-to-Image Synthesis for Novices: User-centric Prompt Generation via Multi-turn Guidance

• arxiv url: http://arxiv.org/abs/2408.12910v2
• Date: Tue, 14 Oct 2025 08:27:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:31.915307
• Title: Taming Text-to-Image Synthesis for Novices: User-centric Prompt Generation via Multi-turn Guidance
• Title（参考訳）: 初心者向けテキスト・ツー・イメージ合成手法:マルチターン誘導によるユーザ中心のプロンプト生成
• Authors: Yilun Liu, Minggui He, Feiyu Yao, Yuhe Ji, Shimin Tao, Jingzhou Du, Duan Li, Jian Gao, Li Zhang, Hao Yang, Boxing Chen, Osamu Yoshie,
• Abstract要約: DialPromptは対話ベースのTISプロンプト生成モデルで、初心者のユーザーエクスペリエンスを強調している。 これを実現するために、先進的なユーザからの高品質なプロンプトのための15の必須次元をマイニングし、マルチターンデータセットをキュレートした。 実験によると、DialPromptは既存のアプローチに比べてユーザ中心のスコアを大幅に改善している。
• 参考スコア（独自算出の注目度）: 24.432762962671614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emergence of text-to-image synthesis (TIS) models has significantly influenced digital image creation by producing high-quality visuals from written descriptions. Yet these models are sensitive on textual prompts, posing a challenge for novice users who may not be familiar with TIS prompt writing. Existing solutions relieve this via automatic prompt expansion or generation from a user query. However, this single-turn manner suffers from limited user-centricity in terms of result interpretability and user interactivity. Thus, we propose DialPrompt, a dialogue-based TIS prompt generation model that emphasizes user experience for novice users. DialPrompt is designed to follow a multi-turn workflow, where in each round of dialogue the model guides user to express their preferences on possible optimization dimensions before generating the final TIS prompt. To achieve this, we mined 15 essential dimensions for high-quality prompts from advanced users and curated a multi-turn dataset. Through training on this dataset, DialPrompt improves user-centricity by allowing users to perceive and control the creation process of TIS prompts. Experiments indicate that DialPrompt improves significantly in user-centricity score compared with existing approaches while maintaining a competitive quality of synthesized images. In our user evaluation, DialPrompt is highly rated by 19 human reviewers (especially novices).
• Abstract（参考訳）: テキスト・ツー・イメージ合成(TIS)モデルの出現は、記述書から高品質な視覚を生成することによって、デジタル画像生成に大きな影響を与えている。 しかし、これらのモデルはテキストのプロンプトに敏感であり、TISのプロンプトに慣れていない初心者ユーザーにとっては課題となる。 既存のソリューションは、ユーザクエリから自動的なプロンプト拡張や生成を通じて、これを緩和する。 しかし、このシングルターン方式は、結果の解釈可能性やユーザ対話性の観点から、限られたユーザー中心性に悩まされている。 そこで本稿では,対話型TISプロンプト生成モデルであるDialPromptを提案する。 DialPromptはマルチターンワークフローに従うように設計されている。各ラウンドの対話において、モデルがユーザに対して、最終的なTISプロンプトを生成する前に、最適化次元に関する好みを表現するように誘導する。 これを実現するために、先進的なユーザからの高品質なプロンプトのための15の必須次元をマイニングし、マルチターンデータセットをキュレートした。 このデータセットのトレーニングを通じて、DialPromptは、ユーザがTISプロンプトの生成プロセスを認識および制御できるようにすることで、ユーザ中心性を向上させる。 実験の結果,DialPromptは既存の手法に比べてユーザ中心のスコアが有意に向上し,合成画像の競合品質が維持されていることがわかった。 ユーザ評価では、DialPromptは19人の人間レビュアー(特に初心者)に高い評価を受けています。

関連論文リスト

• VisualPrompter: Prompt Optimization with Visual Feedback for Text-to-Image Synthesis [15.392482488365955]
  VisualPrompterはトレーニングフリーのプロンプトエンジニアリングフレームワークで、ユーザー入力をモデル優先の文に洗練する。 本フレームワークは,テキスト画像アライメント評価のための複数のベンチマーク上で,最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-06-29T08:24:39Z)
• Self-Rewarding Large Vision-Language Models for Optimizing Prompts in Text-to-Image Generation [55.42794740244581]
  本稿では,シンプルなユーザプロンプトをテキスト・ツー・イメージ・モデルに洗練されたプロンプトに変換するための新しいプロンプト最適化フレームワークを提案する。 具体的には、ユーザプロンプトを書き換えるために大きな視覚言語モデル(LVLM)を使用し、同時にLVLMを報酬モデルとして使用し、最適化されたプロンプトによって生成された画像の美学とアライメントをスコアする。 努力的な人間のフィードバックの代わりに、私たちはLVLMの以前の知識を利用して報酬、すなわちAIフィードバックを提供します。
  論文  参考訳（メタデータ） (2025-05-22T15:05:07Z)
• Towards More Accurate Personalized Image Generation: Addressing Overfitting and Evaluation Bias [52.590072198551944]
  画像パーソナライズの目的は、ユーザが提供する課題に基づいて画像を作成することである。 現在の手法では、テキストプロンプトへの忠実性を保証する上で、課題に直面している。 トレーニング画像の歪みを除去するアトラクタを組み込んだ,新たなトレーニングパイプラインを導入する。
  論文  参考訳（メタデータ） (2025-03-09T14:14:02Z)
• Enhancing Intent Understanding for Ambiguous prompt: A Human-Machine Co-Adaption Strategy [28.647935556492957]
  ユーザのプロンプトと修正中の画像の相互情報を用いた人間機械協調型適応戦略を提案する。 改良されたモデルにより、複数ラウンドの調整の必要性が軽減されることが判明した。
  論文  参考訳（メタデータ） (2025-01-25T10:32:00Z)
• Enhancing Large Vision Language Models with Self-Training on Image Comprehension [131.14381425260706]
  本稿では、画像理解に特化して自己学習アプローチを強調する自己学習 on Image (STIC)を紹介する。 まず、ラベルのない画像を用いて、画像記述の好みを自己構築する。 抽出した視覚情報に対する推論をさらに自己改善するため,既存の命令調整データのごく一部をモデルに再利用する。
  論文  参考訳（メタデータ） (2024-05-30T05:53:49Z)
• Multimodal Large Language Model is a Human-Aligned Annotator for Text-to-Image Generation [87.50120181861362]
  VisionPreferは高品質できめ細かい選好データセットで、複数の選好面をキャプチャする。 我々は、VisionPrefer上で報酬モデルVP-Scoreをトレーニングし、テキストから画像への生成モデルのトレーニングを指導し、VP-Scoreの嗜好予測精度は人間のアノテーションに匹敵する。
  論文  参考訳（メタデータ） (2024-04-23T14:53:15Z)
• CAUSE: Counterfactual Assessment of User Satisfaction Estimation in Task-Oriented Dialogue Systems [60.27663010453209]
  我々は,大規模言語モデル(LLM)を利用して,満足度を考慮した対実対話を生成する。 生成されたサンプルの信頼性を確保するために、人間のアノテーションを収集します。 この結果から,TODシステムにおけるユーザ満足度推定のためのデータ拡張手法の必要性が明らかになった。
  論文  参考訳（メタデータ） (2024-03-27T23:45:31Z)
• PromptCharm: Text-to-Image Generation through Multi-modal Prompting and Refinement [12.55886762028225]
  PromptCharmは,マルチモーダル・プロンプト・エンジニアリングと改良によるテキスト・ツー・イメージ作成を容易にするシステムである。 PromptCharmは、ユーザーの初期プロンプトを自動的に洗練し、最適化する。 大規模なデータベース内で、さまざまなイメージスタイルを探索し、選択するのをサポートする。 モデルの注意値を視覚化することで、モデル説明を描画する。
  論文  参考訳（メタデータ） (2024-03-06T19:55:01Z)
• A User-Friendly Framework for Generating Model-Preferred Prompts in Text-to-Image Synthesis [33.71897211776133]
  よく設計されたプロンプトは、素晴らしい画像を生成する際にテキストと画像のモデルをガイドする可能性を実証している。 初心者にとっては、手動でプロンプトを入力することで、望ましい結果を達成することは困難である。 本稿では,ユーザ入力プロンプトをモデル優先プロンプトに自動的に変換する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-20T06:58:49Z)
• DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
  マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。 提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。 様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
  論文  参考訳（メタデータ） (2024-01-02T07:40:12Z)
• RELIC: Investigating Large Language Model Responses using Self-Consistency [58.63436505595177]
  LLM(Large Language Models)は、フィクションと事実を混同し、幻覚として知られる非事実コンテンツを生成することで有名である。 本稿では,ユーザが生成したテキストの信頼性を把握できる対話型システムを提案する。
  論文  参考訳（メタデータ） (2023-11-28T14:55:52Z)
• The Chosen One: Consistent Characters in Text-to-Image Diffusion Models [71.15152184631951]
  そこで本研究では,テキストプロンプトのみを入力として,一貫した文字生成を完全自動化する手法を提案する。 本手法は, 基本手法と比較して, 即時アライメントと同一性整合性のバランスが良くなる。
  論文  参考訳（メタデータ） (2023-11-16T18:59:51Z)
• Tailored Visions: Enhancing Text-to-Image Generation with Personalized Prompt Rewriting [13.252755478909899]
  本稿では,3115名のユーザから300万以上のプロンプトを収集した大規模テキスト画像データセットに基づいて,ユーザプロンプトを書き換える新たなアプローチを提案する。 我々の書き換えモデルは、ユーザプロンプトの表現力とアライメントを意図した視覚的出力で向上させる。
  論文  参考訳（メタデータ） (2023-10-12T08:36:25Z)
• PromptMagician: Interactive Prompt Engineering for Text-to-Image Creation [16.41459454076984]
  本研究では,画像の検索結果を探索し,入力プロンプトを洗練させる視覚解析システムであるPromptMagicianを提案する。 システムのバックボーンは、ユーザのプロンプトを入力として取り、DiffusionDBから同様のプロンプトイメージペアを取得し、特別な(重要かつ関連性の高い)プロンプトキーワードを識別するプロンプトレコメンデーションモデルである。
  論文  参考訳（メタデータ） (2023-07-18T07:46:25Z)
• Promptify: Text-to-Image Generation through Interactive Prompt Exploration with Large Language Models [29.057923932305123]
  本稿では,テキスト・ツー・イメージ生成モデルの迅速な探索と改良を支援する対話型システムであるPromptifyを提案する。 本稿では,Promptifyがテキスト・ツー・イメージ・ワークフローを効果的に促進し,テキスト・ツー・イメージ生成に広く使用されている既存のベースライン・ツールより優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-18T22:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。