論文の概要: Seeing is Believing: Aligning Prompt Rewriting with Visual Anchors for Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2606.08492v1
• Date: Sun, 07 Jun 2026 07:34:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.143864
• Title: Seeing is Believing: Aligning Prompt Rewriting with Visual Anchors for Text-to-Image Generation
• Title（参考訳）: テキスト・ツー・イメージ・ジェネレーションのための視覚アンカーによるプロンプト書き換え
• Authors: Xuanyi Liu, Deyi Ji, Junyu Lu, Jing Wang, Qianxiong Xu, Xuhang Chen, Tianrun Chen, Siwei Ma,
• Abstract要約: FaithRewriterは、テキスト・ツー・イメージ(T2I)生成のための新しいプロンプト・エンハンスメントフレームワークである。 マルチモーダルMLLMを使用して、元のプロンプトから画像を中間視覚キューとして生成する。 このキューはプロンプトと組み合わされ、大規模なLCMに供給され、視覚的に接地された拡張を生成する。
• 参考スコア（独自算出の注目度）: 47.66938332688579
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the impressive capabilities of text-to-image (T2I) models, an intent-generation gap often persists due to the brevity and ambiguity of user prompts. Existing approaches primarily polish the prompt for fluency and readability. However, the enhancement process still lacks visual grounding. As a result, the rewriter may over-infer missing details, causing an intent-generation gap. To address this limitation, we propose FaithRewriter, a novel prompt-enhancement framework for T2I generation. Specifically, FaithRewriter first leverages a multimodal MLLM to generate an image from the original prompt as an intermediate visual cue. This cue is then combined with the prompt and fed into a large-scale LLM to produce visually grounded augmentations that better reflect how the intended content should appear in images. Finally, these augmentations are distilled into a small-scale LLM for efficient deployment, enhancing its ability to generate effective T2I prompts. Experiments show that FaithRewriter yields prompts that are more faithful to the user intent and more visually plausible than strong baselines, helping narrow the intent-generation gap.
• Abstract（参考訳）: T2I(text-to-image)モデルの印象的な機能にもかかわらず、ユーザプロンプトの簡潔さとあいまいさにより、意図生成のギャップは持続することが多い。 既存のアプローチは、主に流布と可読性のプロンプトを洗練します。 しかし、拡張プロセスにはまだ視覚的な基盤が欠けている。 その結果、リライタは詳細を過度に推測し、インテントジェネレーションのギャップを生じさせる可能性がある。 この制限に対処するため,T2I 生成のための新しいプロンプト・エンハンスメントフレームワークである FaithRewriter を提案する。 具体的には、FaithRewriterはまずマルチモーダルMLLMを利用して、元のプロンプトから画像を中間視覚キューとして生成する。 このキューはプロンプトと組み合わされ、大規模なLCMに入力され、画像に意図されたコンテンツがどのように現れるかをよりよく反映する視覚的基盤の強化が生成される。 最後に、これらの拡張は、効率的な展開のために小規模のLCMに蒸留され、効率的なT2Iプロンプトを生成する能力を高める。 実験によると、FaithRewriterは、ユーザー意図に忠実で、強力なベースラインよりも視覚的に妥当なプロンプトを出力し、インテント生成のギャップを狭める。

関連論文リスト

• Large Language Models are Universal Reasoners for Visual Generation [30.240422733570366]
  We propose UniReasoner to close the understanding-generation gap in text-to-image generation。 我々はUniReasonerが同じ拡散バックボーンの下で構成的アライメントと意味的忠実性を改善することを示す。
  論文  参考訳（メタデータ） (2026-05-05T17:57:36Z)
• Think-Then-Generate: Reasoning-Aware Text-to-Image Diffusion with LLM Encoders [46.79030733172859]
  本稿では,テキスト・トゥ・イメージ(T2I)拡散モデルのためのシンプソン・リライト(T2G)パラダイムを提案する。 推論に基づく画像生成と編集ベンチマークにより,現実の一貫性,セマンティックアライメント,視覚的リアリズムが大幅に改善された。 この結果は,推論,表現,実証能力を備えた次世代統一モデルに向けての有望な一歩となる。
  論文  参考訳（メタデータ） (2026-01-15T12:19:05Z)
• Improving Text-to-Image Generation with Input-Side Inference-Time Scaling [47.94598818606364]
  本稿では,T2Iのバックボーンに入力する前に,大規模言語モデルを用いてユーザ入力を洗練するプロンプト書き換えフレームワークを提案する。 その結果, 画像テキストのアライメント, 視覚的品質, 審美性を一貫して改善し, 高いベースラインを達成できた。 これらの結果は,T2Iシステムを改善する上で,迅速な書き換えは効果的でスケーラブルで実用的なモデルに依存しない戦略であることを示唆している。
  論文  参考訳（メタデータ） (2025-10-14T00:51:39Z)
• Text to Image for Multi-Label Image Recognition with Joint Prompt-Adapter Learning [69.33115351856785]
  本稿では,PEFTのテキストキャプションのみを使用する場合のモダリティギャップ問題に対処するため,T2I-PALと呼ばれる新しい手法を提案する。 T2I-PALの中核となる設計は、事前訓練されたテキスト-画像生成モデルを利用して、テキストキャプションからフォトリアリスティックで多様な画像を生成することである。 MS-COCO、VOC2007、NAS-WIDEを含む複数のベンチマークに対する大規模な実験は、我々のT2I-PALが認識性能を平均3.47%向上させることができることを示している。
  論文  参考訳（メタデータ） (2025-06-12T11:09:49Z)
• RePrompt: Reasoning-Augmented Reprompting for Text-to-Image Generation via Reinforcement Learning [88.14234949860105]
  RePromptは、強化学習による迅速な強化プロセスに明示的な推論を導入する、新しいリプロンプトフレームワークである。 提案手法は,人手による注釈付きデータなしでエンドツーエンドのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2025-05-23T06:44:26Z)
• Prompt-Free Diffusion: Taking "Text" out of Text-to-Image Diffusion Models [94.25020178662392]
  テキスト・トゥ・イメージ(T2I)の研究はこの1年で爆発的に成長した。 テキストプロンプトエンジニアリングと、カスタマイズされた結果のための高品質なテキストプロンプトの検索は、科学よりも芸術的だ。 本稿では,事前学習したT2I拡散モデルから"Text"を抽出し,ユーザの負担を軽減した。
  論文  参考訳（メタデータ） (2023-05-25T16:30:07Z)
• If at First You Don't Succeed, Try, Try Again: Faithful Diffusion-based Text-to-Image Generation by Selection [53.320946030761796]
  拡散ベースのテキスト・トゥ・イメージ(T2I)モデルは、テキスト・プロンプトへの忠実さを欠く可能性がある。 大規模なT2I拡散モデルは通常想定されるよりも忠実であり、複雑なプロンプトに忠実な画像を生成することができることを示す。 本稿では,テキストプロンプトの候補画像を生成するパイプラインを導入し,自動スコアリングシステムにより最適な画像を選択する。
  論文  参考訳（メタデータ） (2023-05-22T17:59:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。