論文の概要: Enhance Image-to-Image Generation with LLaVA-generated Prompts

• arxiv url: http://arxiv.org/abs/2406.01956v3
• Date: Tue, 12 Nov 2024 06:36:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:17:00.621599
• Title: Enhance Image-to-Image Generation with LLaVA-generated Prompts
• Title（参考訳）: LLaVA生成プロンプトによる画像から画像への変換
• Authors: Zhicheng Ding, Panfeng Li, Qikai Yang, Siyang Li,
• Abstract要約: LLaVAは入力画像を分析し、テキスト記述を生成するフレームワークを提案する。 これらのプロンプトと元のイメージは、イメージ・ツー・イメージ生成パイプラインに入力される。 広汎な実験は、LLaVA生成プロンプトが画像類似性を促進する効果を示す。
• 参考スコア（独自算出の注目度）: 1.8231467712783558
• License:
• Abstract: This paper presents a novel approach to enhance image-to-image generation by leveraging the multimodal capabilities of the Large Language and Vision Assistant (LLaVA). We propose a framework where LLaVA analyzes input images and generates textual descriptions, hereinafter LLaVA-generated prompts. These prompts, along with the original image, are fed into the image-to-image generation pipeline. This enriched representation guides the generation process towards outputs that exhibit a stronger resemblance to the input image. Extensive experiments demonstrate the effectiveness of LLaVA-generated prompts in promoting image similarity. We observe a significant improvement in the visual coherence between the generated and input images compared to traditional methods. Future work will explore fine-tuning LLaVA prompts for increased control over the creative process. By providing more specific details within the prompts, we aim to achieve a delicate balance between faithfulness to the original image and artistic expression in the generated outputs.
• Abstract（参考訳）: 本稿では,Large Language and Vision Assistant (LLaVA) のマルチモーダル機能を活用することで,画像から画像へ変換する新たな手法を提案する。 LLaVAが入力画像を解析してテキスト記述を生成するフレームワークを提案する。 これらのプロンプトと元のイメージは、イメージ・ツー・イメージ生成パイプラインに入力される。 このリッチ表現は、入力画像とより強い類似性を示す出力に向けて生成過程を導く。 広汎な実験は、LLaVA生成プロンプトが画像類似性を促進する効果を示す。 従来の手法と比較して,生成画像と入力画像の視覚的コヒーレンスに大きな改善が見られた。 今後は、クリエイティビティプロセスのコントロールを強化するための、微調整のLLaVAプロンプトを探求する予定である。 プロンプト内でより具体的な情報を提供することにより、生成した出力における原画像への忠実度と芸術表現との微妙なバランスを達成することを目指している。

関連論文リスト

• Attention Prompting on Image for Large Vision-Language Models [63.794304207664176]
  本稿では,画像上の注意喚起という新しいプロンプト手法を提案する。 我々は,CLIPのような補助モデルを用いて,テキストクエリに依存する入力画像に対するアテンションヒートマップを生成する。 各種バイソン言語ベンチマークの実験により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-09-25T17:59:13Z)
• Dynamic Prompt Optimizing for Text-to-Image Generation [63.775458908172176]
  テキストから画像への生成モデルを改善するために,textbfPrompt textbfAuto-textbfEditing (PAE)法を導入する。 我々は、各単語の重みと射出時間ステップを探索するために、オンライン強化学習戦略を採用し、動的微調整プロンプトを導いた。
  論文  参考訳（メタデータ） (2024-04-05T13:44:39Z)
• Prompt Expansion for Adaptive Text-to-Image Generation [51.67811570987088]
  本稿では,より少ない労力で高品質で多様な画像を生成するためのPrompt Expansionフレームワークを提案する。 Prompt Expansionモデルはテキストクエリを入力として取り、拡張されたテキストプロンプトのセットを出力する。 本研究では,Prompt Expansionにより生成された画像が,ベースライン法により生成された画像よりも美的かつ多様であることを示す人体評価研究を行う。
  論文  参考訳（メタデータ） (2023-12-27T21:12:21Z)
• VL-GPT: A Generative Pre-trained Transformer for Vision and Language Understanding and Generation [79.02357561313785]
  視覚・言語データの同時認識・生成に長けたトランスモデルであるVL-GPT(Vision-Language Generative Pre-Traited Transformer)を導入する。 VL-GPTは、直感的な自己回帰的目的を用いることで、画像とテキストのモダリティを統一した事前学習アプローチを実現する。
  論文  参考訳（メタデータ） (2023-12-14T18:59:43Z)
• BeautifulPrompt: Towards Automatic Prompt Engineering for Text-to-Image Synthesis [14.852061933308276]
  極めて単純な生記述から高品質なプロンプトを生成するための深層生成モデルである BeautifulPrompt を提案する。 私たちの研究では、まず、高品質で高品質な収集プロンプトペアよりも美しいプロンプトモデルを微調整しました。 さらに、より優れたテキスト・ツー・イメージ生成サービスを提供するために、クラウドネイティブなAIプラットフォームへのBeautifulPromptの統合についても紹介します。
  論文  参考訳（メタデータ） (2023-11-12T06:39:00Z)
• SUR-adapter: Enhancing Text-to-Image Pre-trained Diffusion Models with Large Language Models [56.88192537044364]
  本研究では,事前学習拡散モデルに対するセマンティック・アダプタ (SUR-adapter) と呼ばれる簡易なパラメータ効率の良い微調整手法を提案する。 ユーザエクスペリエンスの向上により,テキストから画像への拡散モデルの使いやすさが向上する。
  論文  参考訳（メタデータ） (2023-05-09T05:48:38Z)
• Unified Multi-Modal Latent Diffusion for Joint Subject and Text Conditional Image Generation [63.061871048769596]
  本稿では, 特定対象を含む画像と共同テキストを入力シーケンスとして用いた, Unified Multi-Modal Latent Diffusion (UMM-Diffusion) を提案する。 より具体的には、入力テキストと画像の両方を1つの統一マルチモーダル潜在空間に符号化する。 入力テキストと画像の両面から複雑な意味を持つ高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-03-16T13:50:20Z)
• Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation [10.39028769374367]
  本稿では,画像間翻訳の領域にテキスト・ツー・イメージ合成を取り入れた新しいフレームワークを提案する。 本手法は,事前学習したテキスト・画像拡散モデルのパワーを利用して,対象のテキストに適合する新たな画像を生成する。
  論文  参考訳（メタデータ） (2022-11-22T20:39:18Z)
• Visual Prompt Tuning for Generative Transfer Learning [26.895321693202284]
  生成的知識伝達による視覚変換器の学習法を提案する。 我々は,映像を自己回帰的あるいは非自己回帰的変換器への視覚トークンのシーケンスとして表現する最先端の生成的視覚変換器を基盤とする。 新しい領域に適応するために、画像トークンシーケンスへのプロンプトと呼ばれる学習可能なトークンを優先するプロンプトチューニングを用いる。
  論文  参考訳（メタデータ） (2022-10-03T14:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。