論文の概要: Tailored Visions: Enhancing Text-to-Image Generation with Personalized Prompt Rewriting

• arxiv url: http://arxiv.org/abs/2310.08129v3
• Date: Sun, 7 Apr 2024 03:53:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 02:35:24.556810
• Title: Tailored Visions: Enhancing Text-to-Image Generation with Personalized Prompt Rewriting
• Title（参考訳）: Tailored Visions: パーソナライズされたプロンプト書き換えによるテキスト・ツー・イメージ・ジェネレーションの強化
• Authors: Zijie Chen, Lichao Zhang, Fangsheng Weng, Lili Pan, Zhenzhong Lan,
• Abstract要約: 本稿では,3115名のユーザから300万以上のプロンプトを収集した大規模テキスト画像データセットに基づいて,ユーザプロンプトを書き換える新たなアプローチを提案する。 我々の書き換えモデルは、ユーザプロンプトの表現力とアライメントを意図した視覚的出力で向上させる。
• 参考スコア（独自算出の注目度）: 13.252755478909899
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite significant progress in the field, it is still challenging to create personalized visual representations that align closely with the desires and preferences of individual users. This process requires users to articulate their ideas in words that are both comprehensible to the models and accurately capture their vision, posing difficulties for many users. In this paper, we tackle this challenge by leveraging historical user interactions with the system to enhance user prompts. We propose a novel approach that involves rewriting user prompts based on a newly collected large-scale text-to-image dataset with over 300k prompts from 3115 users. Our rewriting model enhances the expressiveness and alignment of user prompts with their intended visual outputs. Experimental results demonstrate the superiority of our methods over baseline approaches, as evidenced in our new offline evaluation method and online tests. Our code and dataset are available at https://github.com/zzjchen/Tailored-Visions.
• Abstract（参考訳）: この分野における大きな進歩にもかかわらず、個々のユーザの欲求や好みと密接に一致したパーソナライズされた視覚表現を作ることは依然として困難である。 このプロセスでは、モデルに理解可能な言葉でアイデアを表現し、ビジョンを正確に捉え、多くのユーザにとって困難を呈する。 本稿では,システムとの歴史的ユーザインタラクションを活用してユーザプロンプトを強化することで,この問題に対処する。 本稿では,3115名のユーザから300万以上のプロンプトを収集した大規模テキスト画像データセットに基づいて,ユーザプロンプトを書き換える新たなアプローチを提案する。 我々の書き換えモデルは、ユーザプロンプトの表現力とアライメントを意図した視覚的出力で向上させる。 実験の結果,新しいオフライン評価手法とオンラインテストで実証されたように,本手法がベースラインアプローチよりも優れていることが示された。 私たちのコードとデータセットはhttps://github.com/zzjchen/Tailored-Visions.comで公開されています。

関連論文リスト

• Bringing Characters to New Stories: Training-Free Theme-Specific Image Generation via Dynamic Visual Prompting [71.29100512700064]
  テーマ固有の画像生成のためのトレーニング不要なT-Prompterを提案する。 T-Prompterは参照イメージを生成モデルに統合し、ユーザはターゲットテーマをシームレスに指定できる。 提案手法は,一貫したストーリー生成,キャラクターデザイン,リアルなキャラクタ生成,スタイル誘導画像生成を可能にする。
  論文  参考訳（メタデータ） (2025-01-26T19:01:19Z)
• Enhancing Intent Understanding for Ambiguous Prompts through Human-Machine Co-Adaptation [20.954269395301885]
  ユーザのプロンプトと修正中の画像の相互情報を用いた人間機械協調型適応戦略を提案する。 改良されたモデルにより、複数ラウンドの調整の必要性が軽減されることが判明した。
  論文  参考訳（メタデータ） (2025-01-25T10:32:00Z)
• Personalized Graph-Based Retrieval for Large Language Models [51.7278897841697]
  ユーザ中心の知識グラフを利用してパーソナライゼーションを強化するフレームワークを提案する。 構造化されたユーザ知識を直接検索プロセスに統合し、ユーザ関連コンテキストにプロンプトを拡大することにより、PGraphはコンテキスト理解と出力品質を向上させる。 また,ユーザ履歴が不足あるいは利用できない実環境において,パーソナライズされたテキスト生成タスクを評価するために設計された,パーソナライズドグラフベースのテキスト生成ベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-04T01:46:49Z)
• What Do You Want? User-centric Prompt Generation for Text-to-image Synthesis via Multi-turn Guidance [23.411806572667707]
  テキスト・ツー・イメージ合成(TIS)モデルは、テキスト・プロンプトの品質と特異性に大きく依存している。 既存のソリューションは、ユーザクエリから自動モデル優先のプロンプト生成を通じてこれを緩和する。 ユーザ中心性を重視したマルチターン対話型TISプロンプト生成モデルであるDialPromptを提案する。
  論文  参考訳（メタデータ） (2024-08-23T08:35:35Z)
• Prompt Refinement with Image Pivot for Text-to-Image Generation [103.63292948223592]
  テキスト・ツー・イメージ生成のための画像Pivot(PRIP)を用いたPrompt Refinementを提案する。 PRIPは精細化処理を2つのデータリッチなタスクに分解する。 これは幅広いベースラインを著しく上回り、ゼロショット方式で見えないシステムに効果的に転送する。
  論文  参考訳（メタデータ） (2024-06-28T22:19:24Z)
• User Embedding Model for Personalized Language Prompting [9.472634942498859]
  自由形式のテキストでユーザ履歴を効率よく処理し,それを埋め込みとして表現する新しいユーザ埋め込みモジュール(UEM)を導入する。 本実験は, より長い歴史を扱う上で, このアプローチの優れた能力を示すものである。 この研究の主な貢献は、埋め込みとして表現されたユーザ信号で言語モデルをバイアスする能力を示すことである。
  論文  参考訳（メタデータ） (2024-01-10T00:35:52Z)
• Prompt Expansion for Adaptive Text-to-Image Generation [51.67811570987088]
  本稿では,より少ない労力で高品質で多様な画像を生成するためのPrompt Expansionフレームワークを提案する。 Prompt Expansionモデルはテキストクエリを入力として取り、拡張されたテキストプロンプトのセットを出力する。 本研究では,Prompt Expansionにより生成された画像が,ベースライン法により生成された画像よりも美的かつ多様であることを示す人体評価研究を行う。
  論文  参考訳（メタデータ） (2023-12-27T21:12:21Z)
• RELIC: Investigating Large Language Model Responses using Self-Consistency [58.63436505595177]
  LLM(Large Language Models)は、フィクションと事実を混同し、幻覚として知られる非事実コンテンツを生成することで有名である。 本稿では,ユーザが生成したテキストの信頼性を把握できる対話型システムを提案する。
  論文  参考訳（メタデータ） (2023-11-28T14:55:52Z)
• Promptify: Text-to-Image Generation through Interactive Prompt Exploration with Large Language Models [29.057923932305123]
  本稿では,テキスト・ツー・イメージ生成モデルの迅速な探索と改良を支援する対話型システムであるPromptifyを提案する。 本稿では,Promptifyがテキスト・ツー・イメージ・ワークフローを効果的に促進し,テキスト・ツー・イメージ生成に広く使用されている既存のベースライン・ツールより優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-18T22:59:11Z)
• A Simple Long-Tailed Recognition Baseline via Vision-Language Model [92.2866546058082]
  視覚の世界は自然にオープンクラスの長い尾の分布を示しており、現代の視覚システムには大きな課題をもたらしている。 視覚認識のための新しい経路におけるコントラスト言語事前学習の最近の進歩 我々は、長い尾の認識にコントラッシブな視覚言語モデルを活用するために、BALLADを提案する。
  論文  参考訳（メタデータ） (2021-11-29T17:49:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。