論文の概要: From Structural Feedback to Prompt Policies: Learning Faithful Text-to-Image Prompt Editors

• arxiv url: http://arxiv.org/abs/2610.36146v1
• Date: Mon, 26 Oct 2026 18:50:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.404628
• Title: From Structural Feedback to Prompt Policies: Learning Faithful Text-to-Image Prompt Editors
• Title（参考訳）: 構造的フィードバックからプロンプトポリシーへ:忠実なテキストと画像のプロンプトエディタを学習する
• Abstract要約: StruPOは、ポリシー条件付けと画像接地管理のための共有表現として、キャリブレーションされたシーングラフを使用する構造対応プロンプトエディタである。 制御された短縮は、これらの利得をグラフ条件付け、局所的な編集、画像基底学習に結びつける。
• 参考スコア（独自算出の注目度）: 22.98801863318715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt optimization should improve the image a user receives without changing the scene the user requested. Yet stylistic rewriting can weaken object attributes and relations even when global text--image similarity remains high. We propose StruPO, a structure-aware prompt editor that uses a calibrated scene graph as a shared representation for policy conditioning and image-grounded supervision. The graph exposes what should be preserved, while deletion, reordering, and insertion provide a token-aligned way to modify the prompt. This turns structural feedback from an external critique into a training signal for a reusable editing policy. Learning from that signal requires handling both uncertain grounding and stochastic image generation. StruPO retains grounding confidence through smooth reward shaping and averages multiple images for each edit before computing group-relative advantages. Experiments span three disjoint 2K-prompt test sets and four frozen generation backbones, with comparisons to learned prompt optimizers, iterative structural feedback, diffusion-model fine-tuning, and inference-time attention control. StruPO improves the faithfulness--aesthetics trade-off, with consistent gains in relational fidelity. Independent automatic evaluators and a 15-annotator study provide complementary evidence, and human preference margins increase with relation complexity. Controlled ablations connect these gains to graph conditioning, local editing, and image-grounded learning. The resulting policy produces reusable optimized text in one pass after graph calibration, without an iterative critique--rewrite loop.
• Abstract（参考訳）: プロンプト最適化は、ユーザーが要求したシーンを変更することなく、ユーザーが受信した画像を改善するべきである。 しかし、スタイリスティックな書き換えは、グローバルテキストであっても、オブジェクトの属性や関係を弱める可能性がある。 ポリシー条件の共有表現としてキャリブレーションされたシーングラフを用いた構造対応プロンプトエディタであるStruPOを提案する。 グラフは保存すべきものを公開し、削除、再順序付け、挿入はプロンプトを変更するトークン整合性を提供する。 これにより、構造的フィードバックを外部批判から再利用可能な編集ポリシーのトレーニング信号に変換する。 その信号から学ぶには、不確実な接地と確率的な画像生成の両方を扱う必要がある。 StruPOは、スムーズな報酬形成による基盤的信頼を維持し、グループ相対的な利点を計算する前に、編集毎に複数のイメージを平均化する。 実験は3つの解離した2Kプロンプトテストセットと4つの凍結した生成バックボーン、学習されたプロンプトオプティマイザ、反復的構造フィードバック、拡散モデル微調整、推論時アテンションコントロールにまたがる。 StruPOは忠実さ、美学のトレードオフを改善し、リレーショナル忠実度は一貫して向上する。 独立自動評価器と15-アノテータの研究は相補的な証拠を提供し、人間の嗜好マージンは関係複雑性とともに増加する。 制御された短縮は、これらの利得をグラフ条件付け、局所的な編集、画像基底学習に結びつける。 結果として得られたポリシーは、反復的な批評-書き直しループなしで、グラフキャリブレーション後の1パスで再利用可能な最適化されたテキストを生成する。

関連論文リスト

• InstructionCrafter: Generating Consistent and High-Fidelity Visual Instructions [6.198298884034955]
  既存のテキスト画像生成アプローチは、ステップ忠実性、クロスイメージ一貫性、フレーム単位の視覚的品質を満たすことは滅多にない。 InstructionCrafterは、時間的および命令的アライメントの最適化を分離する鍵となるアイデアを持つ拡散ベースのフレームワークである。 私たちのコードとトレーニングされたモデルは公開されます。
  論文  参考訳（メタデータ） (2026-08-09T04:01:21Z)
• PRISM: Prompt Refinement via Image-grounded Self-rewarding Mechanism for Text-to-Image Generation [6.601249008729316]
  PRISM(Prompt Refinement optimization framework)を提案する。 PRISMは、生成した画像を構造化された視覚診断で解釈することで、プロンプトイメージフィードバックループを閉じる。 実験により、PRISMは全体像の品質と微粒なセマンティックアライメントを改善することが示された。
  論文  参考訳（メタデータ） (2026-07-27T12:31:32Z)
• EditTransfer++: Toward Faithful and Efficient Visual-Prompt-Guided Image Editing [43.64132452334661]
  本稿では,構造化トレーニングと効率的な条件付けを組み合わせたフレームワークであるEditTransfer++について述べる。 EditTransfer++は,従来の手法よりもはるかに高速な推論で,最先端の視覚的即興忠実性を実現する。
  論文  参考訳（メタデータ） (2026-05-08T09:01:20Z)
• Scale Your Instructions: Enhance the Instruction-Following Fidelity of Unified Image Generation Model by Self-Adaptive Attention Scaling [54.54513714247062]
  OmniGenのような統合画像生成モデルの最近の進歩により、単一のフレームワーク内で多様な画像生成および編集タスクの処理が可能になった。 テキスト命令が複数のサブインストラクションを含む場合,テキスト命令の無視に悩まされることがわかった。 本稿では,サブインストラクション毎に注意力の活性化を動的にスケールするために,自己適応型注意スケーリングを提案する。
  論文  参考訳（メタデータ） (2025-07-22T05:25:38Z)
• UIP2P: Unsupervised Instruction-based Image Editing via Edit Reversibility Constraint [87.20985852686785]
  本研究では,教師なし指導に基づく画像編集手法を提案する。 本稿では,編集可逆性制約 (ERC) と呼ばれる新しい編集機構を導入することで,これらの課題に対処する。 これにより、地道に編集されたイメージの必要性を回避し、実際のイメージキャプチャペアまたはイメージキャプチャインストラクショントリプルからなるデータセットで、初めてトレーニングをアンロックすることが可能になります。
  論文  参考訳（メタデータ） (2024-12-19T18:59:58Z)
• Noisy-Correspondence Learning for Text-to-Image Person Re-identification [50.07634676709067]
  本稿では,雑音対応においても頑健な視覚関係を学習するための新しいロバスト二重埋め込み法(RDE)を提案する。 提案手法は,3つのデータセット上での合成ノイズ対応と非合成ノイズ対応を両立させる。
  論文  参考訳（メタデータ） (2023-08-19T05:34:13Z)
• Divide, Evaluate, and Refine: Evaluating and Improving Text-to-Image Alignment with Iterative VQA Feedback [20.78162037954646]
  テキストと画像のアライメントの評価と改善に対する分解的アプローチを導入する。 人間のユーザスタディでは、提案手法が従来の最先端の手法を8.7%超え、テキストと画像のアライメントの精度が向上した。
  論文  参考訳（メタデータ） (2023-07-10T17:54:57Z)
• StyleDiffusion: Prompt-Embedding Inversion for Text-Based Editing [115.49488548588305]
  画像の編集のために、事前訓練された拡散モデルの驚くべき能力を活用することに重点が置かれている。 彼らはモデルを微調整するか、事前訓練されたモデルの潜在空間で画像を反転させる。 選択された地域に対する不満足な結果と、非選択された地域における予期せぬ変化の2つの問題に悩まされている。
  論文  参考訳（メタデータ） (2023-03-28T00:16:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。