論文の概要: Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2607.11886v1
• Date: Mon, 13 Jul 2026 17:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.583876
• Title: Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation
• Title（参考訳）: MLLMはテキスト・画像生成のためのゼロショット・リワードモデル
• Abstract要約: SpectraRewardは、事前訓練されたMLLMを、画像生成強化学習のための既製の報酬モデルに変える。 Self-SpectraRewardは、外部報酬モデルや外部知識なしでクローズドループの自己改善フレームワークを形成する。
• 参考スコア（独自算出の注目度）: 52.00324244076857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose SpectraReward, a training-free reward function that turns pretrained MLLMs into off-the-shelf reward models for image-generation reinforcement learning. Instead of asking the MLLM to judge a generated image or answer decomposed verification questions, SpectraReward measures how well the original prompt can be recovered from the generated image through a single image-conditioned, teacher-forced forward pass. We use the average image-conditioned prompt log-likelihood as the reward, directly reusing the MLLM's pretrained image-text alignment ability without preference labels, reward-model fine-tuning. We further introduce Self-SpectraReward, a special case for unified multimodal models where the policy's own understanding branch serves as the reward model for its generation branch, forming a closed-loop self-improving framework without external reward models or external knowledge. Extensive experiments validate SpectraReward through a broad image-generation RL study covering two diffusion models, three RL algorithms, nine reward MLLM backbones from four MLLM families spanning 4B to 235B parameters, and five out-of-distribution text-to-image benchmarks. Results show that both SpectraReward and Self-SpectraReward significantly and consistently improve generation performance and outperform prior MLLM-derived reward training methods. Further analysis reveals that larger reward MLLMs are not always better, while Self-SpectraReward can match or surpass much larger external reward models, suggesting that reward-policy alignment is a key factor for effective image-generation RL. Project Page: https://huangrh99.github.io/SpectraReward/
• Abstract（参考訳）: 本稿では、事前学習したMLLMを、画像生成強化学習のための既製の報酬モデルに変換する訓練不要報酬関数SpectraRewardを提案する。 SpectraRewardは、MLLMに生成された画像の判断や、分解された検証の質問に対する回答を求める代わりに、生成した画像から、教師が強制した1つのフォワードパスを通じて、元のプロンプトがどれだけうまく回復できるかを測定する。 我々は、平均的な画像条件付きプロンプトログを報酬として使用し、優先ラベルなしでMLLMの事前訓練された画像テキストアライメント能力を直接再利用し、報酬モデル微調整を行う。 さらに、ポリシー独自の理解ブランチが生成ブランチの報酬モデルとして機能し、外部報酬モデルや外部知識のないクローズドループ自己改善フレームワークを形成する、統一マルチモーダルモデルのための特別なケースであるSelf-SpectraRewardを紹介する。 広範囲にわたる実験により、SpectraRewardは、2つの拡散モデル、3つのRLアルゴリズム、および4Bから235BパラメータにまたがるMLLMファミリーの9つの報酬MLLMバックボーン、および5つのアウト・オブ・ディストリビューション・テキスト・ツー・イメージベンチマークを含む画像生成RL研究を通じて検証された。 その結果,SpectraReward と Self-SpectraReward はともに生成性能を向上し,MLLM 由来の報奨訓練手法よりも優れていた。 さらに分析したところ、より大きな報酬MLLMは必ずしも良いとは限りませんが、Self-SpectraRewardはより大きな外部報酬モデルにマッチしたり、超えたりすることが可能であり、報酬-政治アライメントが効果的な画像生成RLの鍵となることを示唆しています。 Project Page: https://huangrh99.github.io/SpectraReward/

関連論文リスト

• Leveraging Verifier-Based Reinforcement Learning in Image Editing [41.64251379221566]
  本稿では,下流画像編集のための階層検証型推論報酬モデル(RRM)を構築するフレームワークであるEdit-R1を紹介する。 我々の実験は、編集固有の報酬モデルとして強力なVLMを超越していることを示した。
  論文  参考訳（メタデータ） (2026-04-30T06:54:39Z)
• RetouchIQ: MLLM Agents for Instruction-Based Image Retouching with Generalist Reward [64.78078130943489]
  本稿では、報酬モデルでガイドされたMLLMエージェントを介して命令ベースの実行可能画像編集を行うフレームワークであるRetouchIQを紹介する。 RetouchIQは従来のMLLMベースの編集システムや拡散ベースの編集システムよりも意味的一貫性と知覚的品質の両方を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2026-02-19T17:11:59Z)
• The Image as Its Own Reward: Reinforcement Learning with Adversarial Reward for Image Generation [52.648073272395635]
  本稿では、報酬モデルとジェネレータの両方を反復的に更新する逆報酬を持つRLフレームワークであるAdv-GRPOを紹介する。 パラメータ更新を制約するKL正規化とは異なり、学習した報酬は生成元を直接視覚出力に導く。 人的評価では,Flow-GRPO と SD3 がそれぞれ 70.0% と 72.4% の画像品質,美学に優れていた。
  論文  参考訳（メタデータ） (2025-11-25T12:35:57Z)
• FreeRet: MLLMs as Training-Free Retrievers [21.04237443940747]
  FreeRetは、任意のMLLMを2段階のレトリバーに変換するプラグイン・アンド・プレイフレームワークである。 MMEBとMMEB-V2のベンチマークでは、FreeRetは何百万ものペアでトレーニングされたモデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-09-29T11:28:42Z)
• Learning Only with Images: Visual Reinforcement Learning with Reasoning, Rendering, and Visual Feedback [33.127607245587576]
  本稿では,MLLMが生画像のみから複雑な視覚的推論を学習できるようにするフレームワークを提案する。 我々は、この相対的容易さが強化学習による最適化に理想的な報酬信号を提供することを示した。 RRVF訓練モデルは既存のMLLMを上回り、微調整ベースラインを監督するだけでなく、より優れた一般化を示す。
  論文  参考訳（メタデータ） (2025-07-28T12:21:19Z)
• Generalist Reward Models: Found Inside Large Language Models [50.7432354447554]
  我々は,従来の次世代予測によって訓練されたLarge Language Models (LLM) の中に,強力な報酬モデルが存在することを示す。 この内因性報酬は、オフライン逆強化学習によって学習された報酬関数ではないことを実証する。 また、この内因性報酬を用いた後続の強化学習が、ベースモデルと比較して明らかに優れたエラー境界を持つポリシーにつながることを証明した。
  論文  参考訳（メタデータ） (2025-06-29T13:45:54Z)
• Agentic Reward Modeling: Integrating Human Preferences with Verifiable Correctness Signals for Reliable Reward Systems [54.4392552373835]
  リワードモデル(RM)は、大規模言語モデル(LLM)のトレーニングと推論時間のスケールアップに不可欠である 本稿では,報酬モデルと検証可能な正当性信号を組み合わせた報酬システムであるエージェント報酬モデルを提案する。 我々は,既存の報奨モデルベンチマークと実世界の下流タスクのベスト・オブ・n検索に関する総合的な実験を行う。
  論文  参考訳（メタデータ） (2025-02-26T17:19:12Z)
• RL-VLM-F: Reinforcement Learning from Vision Language Foundation Model Feedback [24.759613248409167]
  リワードエンジニアリングは、強化学習研究における長年の課題である。 エージェントが新しいタスクを学習するための報酬関数を自動生成するRL-VLM-Fを提案する。 我々は、RL-VLM-Fが、様々な領域にまたがる効果的な報酬とポリシーを効果的に生成できることを実証した。
  論文  参考訳（メタデータ） (2024-02-06T04:06:06Z)
• Rethinking the Role of Proxy Rewards in Language Model Alignment [39.53237479058083]
  逆報酬工学による大規模言語モデルのアライメントにおける代行報酬の役割について検討する。 我々は,金の報酬信号とプロキシのモノトニックな関係を達成し,金の報酬信号を再現することを目指している。 以上の結果から,金の報酬をうまくエミュレートするには,十分な長さの質問に対する応答を生成する必要があることが示唆された。
  論文  参考訳（メタデータ） (2024-02-02T11:58:08Z)
• Language Reward Modulation for Pretraining Reinforcement Learning [61.76572261146311]
  本稿では,強化学習のための事前学習信号としてLRFの機能を活用することを提案する。 我々の VLM プレトレーニングアプローチは,従来の LRF の使い方とは違い,ロボット操作タスクにおけるサンプル効率の学習を温めることができる。
  論文  参考訳（メタデータ） (2023-08-23T17:37:51Z)
• DPOK: Reinforcement Learning for Fine-tuning Text-to-Image Diffusion Models [97.31200133440308]
  我々は、オンライン強化学習を用いて、テキスト・ツー・イメージモデルを微調整する。 拡散モデルに焦点をあて、微調整タスクをRL問題として定義する。 我々のアプローチはDPOKと呼ばれ、政策最適化とKL正規化を統合している。
  論文  参考訳（メタデータ） (2023-05-25T17:35:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。