論文の概要: Imagine Before You Draw: Visual Prompt Engineering for Image Generation

• arxiv url: http://arxiv.org/abs/2606.04457v1
• Date: Wed, 03 Jun 2026 05:01:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.558571
• Title: Imagine Before You Draw: Visual Prompt Engineering for Image Generation
• Title（参考訳）: 絵を描く前に想像してみよう:画像生成のためのビジュアル・プロンプト・エンジニアリング
• Authors: Liyu Jia, Fengda Zhang, Jiachun Pan, Kesen Zhao, Saining Zhang, Wang Lin, Weijia Wu, Yue Liao, Aojun Zhou, Hanwang Zhang,
• Abstract要約: 内部フレームワークにシームレスに統合可能なVisual Prompt Engineering (VPE)を提案する。 我々は,クラス条件生成,テキスト・ツー・イメージ生成,画像編集にまたがってVPEを検証する。 その結果, VPEはコンバージェンスを加速し, 天井の質を高め, 内部統合により, 編集保存性を大幅に向上することがわかった。
• 参考スコア（独自算出の注目度）: 67.81347924426714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Incorporating visual semantic representations as an intermediate step before image generation can reduce the modeling difficulty between text and images, thereby improving generation quality. Recent works such as X-Omni and BLIP3o-Next have explored this direction, but they typically use a two-stage external pipeline: a separate autoregressive model first generates semantic tokens, which are then fed as conditioning to an independent diffusion decoder. Since the decoder cannot jointly access the original input and the semantic plan, this design introduces an information bottleneck that limits detail preservation in downstream tasks such as editing. Internal architectures such as Transfusion, BAGEL, and Show-o2 avoid this bottleneck by enabling cross-modal interaction within a single model, but they still face the difficult text-to-pixel modeling gap without intermediate semantic guidance. We propose Visual Prompt Engineering (VPE), which can be seamlessly integrated into such internal frameworks. Specifically, the model first autoregressively generates visual semantic tokens (e.g., SigLIP 2) as "visual prompts" that capture the semantic layout, then generates the full image tokens conditioned on this plan. We validate VPE across class-conditional generation, text-to-image generation, and image editing, covering various token types and model architectures. Results show that VPE can accelerate convergence, raise quality ceilings, and through internal integration, achieve substantially better editing preservation (PSNR: 26.76 vs. 19.92) than external alternatives of the same parameter scale, while maintaining competitive editing responsiveness.
• Abstract（参考訳）: 画像生成の中間段階として視覚意味表現を組み込むことにより、テキストと画像間のモデリングの難しさを低減し、生成品質を向上させることができる。 X-OmniやBLIP3o-Nextといった最近の研究は、この方向を探索しているが、通常は2段階の外部パイプラインを使用する。 デコーダは、元の入力とセマンティックプランを共同でアクセスできないため、この設計では、編集などの下流タスクの詳細な保存を制限する情報ボトルネックが導入された。 Transfusion、BAGEL、Show-o2といった内部アーキテクチャは、単一のモデル内でモダル間相互作用を可能にすることで、このボトルネックを回避するが、中間的なセマンティックガイダンスなしでは、難しいテキストとピクセルのモデリングギャップに直面している。 このような内部フレームワークにシームレスに統合可能なVisual Prompt Engineering (VPE)を提案する。 具体的には、まずモデルが視覚的セマンティックトークン(例えば、SigLIP 2)を「視覚的プロンプト」として自動生成し、セマンティックレイアウトをキャプチャし、このプランで条件付けられた全画像トークンを生成する。 我々は,VPEをクラス条件生成,テキスト画像生成,画像編集などにわたって検証し,さまざまなトークンタイプやモデルアーキテクチャを網羅する。 その結果、VPEはコンバージェンスを加速し、品質天井を上昇させ、内部統合により、同じパラメータスケールの外部代替品よりも大幅に優れた編集保存(PSNR:26.76 vs. 19.92)を実現し、競争力のある編集応答性を維持した。

関連論文リスト

• Edit2Interp: Adapting Image Foundation Models from Spatial Editing to Video Frame Interpolation with Few-Shot Learning [5.6616478694920405]
  ビデオフレーム補間(VFI)において,Low-Rank Adaptation (LoRA) を用いた64-256のトレーニングサンプルのみを用いて,大規模な画像編集モデル(Qwen-Image-Edit)を適用可能であることを示す。 我々の研究は、基礎画像編集モデルが時間的課題の未解決の可能性を秘めており、資源制約のあるシナリオにおける映像合成のためのデータ効率の高い経路を提供するものであることを証明している。
  論文  参考訳（メタデータ） (2026-03-16T09:07:25Z)
• Multimodal Representation Alignment for Image Generation: Text-Image Interleaved Control Is Easier Than You Think [38.258453761376586]
  本稿では,画像生成モデルにおける任意のテキストイメージインターリーブド制御のための効率的なフレームワークであるDream Engineを提案する。 提案手法は,テキスト・イメージアライメントとマルチモーダル・インターリーブド・インストラクション・チューニングからなる2段階の訓練パラダイムを利用する。 本手法は,GenEvalベンチマークで0.69点の総合スコアを達成し,有効であることを示す。
  論文  参考訳（メタデータ） (2025-02-27T15:08:39Z)
• Prompt-Consistency Image Generation (PCIG): A Unified Framework Integrating LLMs, Knowledge Graphs, and Controllable Diffusion Models [20.19571676239579]
  生成した画像と対応する記述とのアライメントを強化するための,拡散に基づく新しいフレームワークを提案する。 この枠組みは不整合現象の包括的解析に基づいて構築され,画像の表示に基づいて分類する。 次に、最先端の制御可能な画像生成モデルとビジュアルテキスト生成モジュールを統合し、元のプロンプトと整合した画像を生成する。
  論文  参考訳（メタデータ） (2024-06-24T06:12:16Z)
• MM-Interleaved: Interleaved Image-Text Generative Modeling via Multi-modal Feature Synchronizer [106.79844459065828]
  本稿では,画像テキストデータのエンドツーエンド生成モデルであるMM-Interleavedを提案する。 マルチスケールおよびマルチイメージ機能同期モジュールを導入し、以前のコンテキストできめ細かい画像機能に直接アクセスできるようにする。 MM-Interleavedはマルチモーダルな指示に従って視覚的詳細を認識し、テキストと視覚の両方の条件に従って一貫した画像を生成する。
  論文  参考訳（メタデータ） (2024-01-18T18:50:16Z)
• BLIP-Diffusion: Pre-trained Subject Representation for Controllable Text-to-Image Generation and Editing [73.74570290836152]
  BLIP-Diffusionはマルチモーダル制御をサポートする新しい主観駆動画像生成モデルである。 他の主観駆動生成モデルとは異なり、BLIP-Diffusionは主観表現を提供するために事前訓練された新しいマルチモーダルエンコーダを導入する。
  論文  参考訳（メタデータ） (2023-05-24T04:51:04Z)
• eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [87.52504764677226]
  大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
  論文  参考訳（メタデータ） (2022-11-02T17:43:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。