論文の概要: PromptEcho: Annotation-Free Reward from Vision-Language Models for Text-to-Image Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2604.12652v1
• Date: Tue, 14 Apr 2026 12:21:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.436076
• Title: PromptEcho: Annotation-Free Reward from Vision-Language Models for Text-to-Image Reinforcement Learning
• Title（参考訳）: PromptEcho: テキストと画像の強化学習のための視覚言語モデルからの注釈なしリワード
• Authors: Jinlong Liu, Wanggui He, Peng Zhang, Mushui Liu, Hao Jiang, Pipei Huang,
• Abstract要約: 強化学習は、テキスト・ツー・イメージ(T2I)モデルの迅速な追従能力を改善することができる。 本稿では,EmphnoアノテーションとEmphno報酬モデルトレーニングを必要とする報酬構築手法であるPromptEchoを提案する。
• 参考スコア（独自算出の注目度）: 14.637088591693088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) can improve the prompt following capability of text-to-image (T2I) models, yet obtaining high-quality reward signals remains challenging: CLIP Score is too coarse-grained, while VLM-based reward models (e.g., RewardDance) require costly human-annotated preference data and additional fine-tuning. We propose PromptEcho, a reward construction method that requires \emph{no} annotation and \emph{no} reward model training. Given a generated image and a guiding query, PromptEcho computes the token-level cross-entropy loss of a frozen VLM with the original prompt as the label, directly extracting the image-text alignment knowledge encoded during VLM pretraining. The reward is deterministic, computationally efficient, and improves automatically as stronger open-source VLMs become available. For evaluation, we develop DenseAlignBench, a benchmark of concept-rich dense captions for rigorously testing prompt following capability. Experimental results on two state-of-the-art T2I models (Z-Image and QwenImage-2512) demonstrate that PromptEcho achieves substantial improvements on DenseAlignBench (+26.8pp / +16.2pp net win rate), along with consistent gains on GenEval, DPG-Bench, and TIIFBench without any task-specific training. Ablation studies confirm that PromptEcho comprehensively outperforms inference-based scoring with the same VLM, and that reward quality scales with VLM size. We will open-source the trained models and the DenseAlignBench.
• Abstract（参考訳）: 強化学習(RL)は、テキスト・ツー・イメージ(T2I)モデルの迅速な追従能力を改善することができるが、高品質な報酬信号を得るのは難しい: CLIP Scoreは粗い粒度であり、VLMベースの報酬モデル(例えばRewardDance)は、人手による手書きの好みデータと追加の微調整を必要とする。 本稿では,「emph{no}アノテーション」と「emph{no}報酬モデルトレーニング」を必要とする報酬構築手法であるPromptEchoを提案する。 生成された画像とガイドクエリが与えられた後、PromptEchoは、凍結されたVLMのトークンレベルのクロスエントロピー損失を、元のプロンプトをラベルとして計算し、VLM事前訓練中に符号化された画像テキストアライメント知識を直接抽出する。 報酬は決定論的であり、計算的に効率的であり、より強力なオープンソースVLMが利用可能になると自動的に改善される。 評価のためにDenseAlignBenchを開発した。DenseAlignBenchは概念に富んだ高密度キャプションのベンチマークで,プロンプト追従能力を厳格に検証する。 2つの最先端T2Iモデル(Z-ImageとQwenImage-2512)の実験結果は、PromptEchoがDenseAlignBench(+26.8pp / +16.2pp)の大幅な改善を達成し、GenEval、DPG-Bench、TIIFBenchをタスク固有の訓練なしで一貫したゲインを達成していることを示している。 アブレーション研究では、PromptEchoが推論ベースのスコアを同じVLMで総合的に上回り、報酬品質はVLMサイズでスケールすることを確認した。 トレーニングされたモデルとDenseAlignBenchをオープンソースにします。

関連論文リスト

• Molecular Identifier Visual Prompt and Verifiable Reinforcement Learning for Chemical Reaction Diagram Parsing [52.825281124618535]
  反応図解析(RxnDP)は、文献から化学合成情報を抽出するために重要である。 近年の視覚言語モデル(VLM)はこの複雑な視覚的推論タスクを自動化するための有望なパラダイムとして登場した。 この研究はVLMベースのRxnDPを2つの相補的視点、すなわち表現の促進と学習パラダイムから強化する。
  論文  参考訳（メタデータ） (2026-03-16T09:17:05Z)
• PromptEnhancer: A Simple Approach to Enhance Text-to-Image Models via Chain-of-Thought Prompt Rewriting [31.35160142315478]
  本稿では,テキスト・ツー・イメージ(T2I)モデルのための新規で普遍的なプロンプト書き換えフレームワークであるPromptEnhancerを紹介する。 モデル固有の微調整やイメージ・リワードスコアのような暗黙の報酬信号に依存する従来の手法とは異なり、我々のフレームワークはリライターをジェネレータから切り離す。 Hunyuan Image 2.1モデルの実験では、PromptEnhancerは幅広い意味的および構成的課題において画像テキストアライメントを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2025-09-04T16:46:10Z)
• Free$^2$Guide: Training-Free Text-to-Video Alignment using Image LVLM [54.755023509791364]
  Free$2$Guideは、生成したビデオをテキストプロンプトで整列するための、勾配のない、トレーニングなしのフレームワークである。 我々のフレームワークは、計算オーバーヘッドを伴わずにアライメントを向上させるために、複数の報酬モデルのフレキシブルアンサンブルをサポートする。
  論文  参考訳（メタデータ） (2024-11-26T02:14:47Z)
• Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning [56.29097276129473]
  分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。 新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。 新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
  論文  参考訳（メタデータ） (2024-01-03T07:59:17Z)
• Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
  Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。 近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。 本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
  論文  参考訳（メタデータ） (2022-05-26T03:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。