論文の概要: Prompt Refinement with Image Pivot for Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2407.00247v1
• Date: Fri, 28 Jun 2024 22:19:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 05:50:47.934826
• Title: Prompt Refinement with Image Pivot for Text-to-Image Generation
• Title（参考訳）: テキスト・ツー・イメージ生成のための画像Pivotによるプロンプトリファインメント
• Authors: Jingtao Zhan, Qingyao Ai, Yiqun Liu, Yingwei Pan, Ting Yao, Jiaxin Mao, Shaoping Ma, Tao Mei,
• Abstract要約: テキスト・ツー・イメージ生成のための画像Pivot(PRIP)を用いたPrompt Refinementを提案する。 PRIPは精細化処理を2つのデータリッチなタスクに分解する。 これは幅広いベースラインを著しく上回り、ゼロショット方式で見えないシステムに効果的に転送する。
• 参考スコア（独自算出の注目度）: 103.63292948223592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For text-to-image generation, automatically refining user-provided natural language prompts into the keyword-enriched prompts favored by systems is essential for the user experience. Such a prompt refinement process is analogous to translating the prompt from "user languages" into "system languages". However, the scarcity of such parallel corpora makes it difficult to train a prompt refinement model. Inspired by zero-shot machine translation techniques, we introduce Prompt Refinement with Image Pivot (PRIP). PRIP innovatively uses the latent representation of a user-preferred image as an intermediary "pivot" between the user and system languages. It decomposes the refinement process into two data-rich tasks: inferring representations of user-preferred images from user languages and subsequently translating image representations into system languages. Thus, it can leverage abundant data for training. Extensive experiments show that PRIP substantially outperforms a wide range of baselines and effectively transfers to unseen systems in a zero-shot manner.
• Abstract（参考訳）: テキスト・ツー・イメージ生成では,ユーザが提供する自然言語のプロンプトを,システムに好まれるキーワード強化プロンプトに自動的に書き換えることがユーザエクスペリエンスに不可欠である。 このような迅速な改善プロセスは、"ユーザ言語"から"システム言語"へのプロンプトの翻訳と類似している。 しかし、このような並列コーパスの不足は、迅速な精錬モデルの訓練を困難にしている。 ゼロショット機械翻訳技術に触発されて,画像Pivot(PRIP)を用いたPrompt Refinementを導入する。 PRIPは、ユーザとシステム言語の間の中間的な"pivot"として、ユーザ優先のイメージの潜在表現を革新的に使用します。 改良処理を2つのデータリッチなタスクに分解する: ユーザ言語からユーザ優先の画像の表現を推論し、その後、画像表現をシステム言語に翻訳する。 これにより、豊富なデータをトレーニングに活用することができる。 大規模な実験により、PRIPは広範囲のベースラインを著しく上回り、ゼロショット方式で見えないシステムに効果的に転送することを示した。

関連論文リスト

• TIPO: Text to Image with Text Presampling for Prompt Optimization [16.001151202788304]
  TIPOは、言語モデル(LM)によるテキスト・ツー・イメージ(T2I)生成を強化するために設計された革新的なフレームワークである。 LLM(Large Language Models)や強化学習(RL)に依存する従来のアプローチとは異なり、TIPOはトレーニングされたプロンプトデータセットの配布によって、ユーザの入力プロンプトを調整する。
  論文  参考訳（メタデータ） (2024-11-12T19:09:45Z)
• User-Aware Prefix-Tuning is a Good Learner for Personalized Image Captioning [35.211749514733846]
  従来の画像キャプション方式は、ユーザの好みや特徴を無視することが多い。 既存のほとんどの手法は、メモリネットワークやトランスフォーマーによるユーザコンテキストの融合プロセスを強調している。 本稿では,ユーザコンテキストを利用したパーソナライズされた画像キャプションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-08T02:08:00Z)
• PromptMagician: Interactive Prompt Engineering for Text-to-Image Creation [16.41459454076984]
  本研究では,画像の検索結果を探索し,入力プロンプトを洗練させる視覚解析システムであるPromptMagicianを提案する。 システムのバックボーンは、ユーザのプロンプトを入力として取り、DiffusionDBから同様のプロンプトイメージペアを取得し、特別な(重要かつ関連性の高い)プロンプトキーワードを識別するプロンプトレコメンデーションモデルである。
  論文  参考訳（メタデータ） (2023-07-18T07:46:25Z)
• CoPL: Contextual Prompt Learning for Vision-Language Understanding [21.709017504227823]
  画像の局所的な特徴にプロンプトを調整できるコンテキスト型プロンプト学習(CoPL)フレームワークを提案する。 これまでの研究における重要なイノベーションは、素早い学習プロセスの一部としてローカルな画像機能を使うこと、そしてさらに重要なのは、そのタスクに適したローカルな機能に基づいてこれらのプロンプトを重み付けすることである。 本手法は, 工法の現状と比較して, 性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-07-03T10:14:33Z)
• Text-based Person Search without Parallel Image-Text Data [52.63433741872629]
  テキストベースの人物探索(TBPS)は,対象者の画像を与えられた自然言語記述に基づいて大きな画像ギャラリーから検索することを目的としている。 既存の手法は、並列画像テキストペアによるトレーニングモデルによって支配されており、収集には非常にコストがかかる。 本稿では,並列画像テキストデータなしでTBPSを探索する試みについて述べる。
  論文  参考訳（メタデータ） (2023-05-22T12:13:08Z)
• Texts as Images in Prompt Tuning for Multi-Label Image Recognition [70.9310322461598]
  我々は、画像テキストのコントラスト学習により、テキストを画像として扱うことができ、即時チューニングやTaIプロンプトの導入が可能であることを主張する。 特にTaIプロンプトをマルチラベル画像認識に適用し、野生の文が画像の代替として機能し、迅速なチューニングを行う。 提案したTaI-DPTは,複数ベンチマークで0ショットCLIPよりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-11-23T07:00:11Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision [57.031588264841]
  高価なフィルタリングや後処理のステップを使わずに得られる10億以上の画像アルトテキストペアのノイズの多いデータセットを活用します。 単純なデュアルエンコーダアーキテクチャは、画像とテキストペアの視覚的および言語的表現を、対照的な損失を使って整列させることを学ぶ。 コーパスのスケールはノイズを補うことができ、そのような単純な学習方式であっても最先端の表現に繋がることを示す。
  論文  参考訳（メタデータ） (2021-02-11T10:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。