論文の概要: Post-Training Frontier Text-to-Image Models by Composing Preference and Rubric Rewards

• arxiv url: http://arxiv.org/abs/2610.02967v1
• Date: Fri, 02 Oct 2026 08:05:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.273513
• Title: Post-Training Frontier Text-to-Image Models by Composing Preference and Rubric Rewards
• Title（参考訳）: 選好とルーブリック・リワードの合成による訓練後のフロンティアテクスト・トゥ・イメージモデル
• Abstract要約: 我々は、オープンドメインのテキスト・ツー・イメージ生成のためのシンプルで効果的なポストトレーニングレシピを開発した。 重み付けされた平均値が最適以下に最適化されることを示す。 以上の結果から,フロンティア生成モデルトレーニングに有効な報酬は,ユーザの意図を広範囲にカバーする必要があることが示唆された。
• 参考スコア（独自算出の注目度）: 76.6650702756116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent text-to-image generation models have achieved remarkable visual quality, but improving them through post-training remains challenging because no single reward signal captures the full range of human preference. In this work, we develop a simple and effective post-training recipe for open-domain text-to-image generation based on the composition of complementary reward signals. Our reward system consists of two main components: a preference reward, trained on large-scale human preference data using a Bradley-Terry objective to capture overall human aesthetic and perceptual preferences, and rubric-based rewards, which explicitly evaluate prompt faithfulness and other desirable properties while providing safeguards against reward hacking. A key challenge is how to combine these heterogeneous reward signals. We show that a naive weighted average leads to suboptimal optimization behavior, and propose a simple reward composition strategy that more effectively balances preference optimization with rubric satisfaction. In the Arena text-to-image leaderboard (https://arena.ai/), our RL-trained Flux2dev achieves an Elo rating 69 points above the base model, and our post-trained Ideogram-4 surpasses every open-source model on the leaderboard, reaching an Elo of 1223.5. (Claims of state-of-the-art performance are based on the Arena leaderboard snapshot as of September 4, 2026.) Our results suggest that effective rewards for frontier generative-model training require broad coverage of user intent and robustness to exploitation under optimization. To support reproducible research, we release Arena-T2I-Training, a 1K subset of training data that recovers some gains of full-scale training, providing a resource that we hope will facilitate future work on post-training for text-to-image models.
• Abstract（参考訳）: 近年のテキスト・ツー・イメージ生成モデルは目覚ましい品質を達成しているが、報酬信号が人間の好みの完全な範囲を捉えないため、ポストトレーニングによる改善は依然として困難である。 本研究では,補完的な報酬信号の合成に基づく,オープンドメインテキスト画像生成のための簡易かつ効果的なポストトレーニングレシピを開発する。 報奨システムは、Bradley-Terry目標を用いて大規模人間の嗜好データに基づいて訓練された選好報酬と、報奨ハッキングに対する保護を提供しながら、迅速な忠実性やその他の望ましい特性を明示的に評価するルーリックベースの報奨の2つの主要コンポーネントから構成される。 鍵となる課題は、これらの不均一な報酬信号をどのように組み合わせるかである。 重み付き平均が最適以下に最適化されることを示すとともに、より効果的に選好最適化と滑稽満足度をバランスさせる単純な報奨合成戦略を提案する。 Arenaのテキスト・トゥ・イメージのリーダーボード(https://arena.ai/)では、RLでトレーニングされたFlux2devがベースモデルよりも69ポイント高く、ポストトレーニングされたIdeogram-4がリーダボード上のすべてのオープンソースモデルを超え、Eloが1223.5に達した。 (2026年9月4日現在、アリーナのリーダーボードのスナップショットをベースとしている。) この結果から,フロンティア生成モデルトレーニングに有効な報奨は,ユーザ意図の広範なカバーと,最適化による活用への堅牢性を必要とすることが示唆された。 再現可能な研究を支援するため,本研究では,フルスケールトレーニングの成果を回復するトレーニングデータの1KサブセットであるArena-T2I-Trainingをリリースする。

関連論文リスト

• Qwen-Image-2.0-RL Technical Report [66.2346321737379]
  Qwen-Image-2.0-RLは、人間のフィードバックとオンライン蒸留から強化学習を応用した後学習パイプラインである。 Qwen-Image-2.0-RLは、Qwen-Image-Benchで57.84点、Eloでは1193点、画像編集では1349点を達成している。
  論文  参考訳（メタデータ） (2026-06-25T23:49:50Z)
• Improving Text-to-Image Generation with Intrinsic Self-Confidence Rewards [54.92596581841942]
  テキスト・ツー・イメージ生成モデルのポストトレーニングは、人間の好み、事実性、そして美学を改善するための有望な道である。 本稿では,外部報酬管理を自己自信信号に置き換えるポストトレーニングフレームワークであるSOLACEを紹介する。
  論文  参考訳（メタデータ） (2026-03-01T04:39:09Z)
• Understanding Reward Hacking in Text-to-Image Reinforcement Learning [43.358394359914314]
  テキスト・ツー・イメージ(T2I)RLポストトレーニングにおける報酬ハッキングの挙動を解析する。 多様な報酬モデルにまたがって、我々は共通の失敗モード、すなわちアーティファクトが引き起こす画像の生成を識別する。 そこで本稿では, アーティファクトフリーおよびアーティファクト入りサンプルの小さなデータセットに基づいて, 軽量かつ適応的なアーティファクト報酬モデルを提案する。
  論文  参考訳（メタデータ） (2026-01-06T23:43:47Z)
• The Image as Its Own Reward: Reinforcement Learning with Adversarial Reward for Image Generation [52.648073272395635]
  本稿では、報酬モデルとジェネレータの両方を反復的に更新する逆報酬を持つRLフレームワークであるAdv-GRPOを紹介する。 パラメータ更新を制約するKL正規化とは異なり、学習した報酬は生成元を直接視覚出力に導く。 人的評価では,Flow-GRPO と SD3 がそれぞれ 70.0% と 72.4% の画像品質,美学に優れていた。
  論文  参考訳（メタデータ） (2025-11-25T12:35:57Z)
• MIRO: MultI-Reward cOnditioned pretraining improves T2I quality and efficiency [21.27005111847166]
  現在のテキスト・ツー・イメージ生成モデルは、大規模な未処理データセットに基づいて訓練されている。 トレーニング中に複数の報酬モデルにモデルを条件付けすることで,モデルがユーザの好みを直接学習できるようにする。
  論文  参考訳（メタデータ） (2025-10-29T18:59:17Z)
• Agentic Reward Modeling: Integrating Human Preferences with Verifiable Correctness Signals for Reliable Reward Systems [54.4392552373835]
  リワードモデル(RM)は、大規模言語モデル(LLM)のトレーニングと推論時間のスケールアップに不可欠である 本稿では,報酬モデルと検証可能な正当性信号を組み合わせた報酬システムであるエージェント報酬モデルを提案する。 我々は,既存の報奨モデルベンチマークと実世界の下流タスクのベスト・オブ・n検索に関する総合的な実験を行う。
  論文  参考訳（メタデータ） (2025-02-26T17:19:12Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)
• SimPO: Simple Preference Optimization with a Reference-Free Reward [43.136307294076545]
  直接選好最適化 (DPO) は、広く使われているオフライン選好最適化アルゴリズムである。 我々はDPOに対するよりシンプルで効果的なアプローチであるSimPOを提案する。 SimPO は、応答長を大幅に増加させることなく、DPO を一貫して大幅に上回る。
  論文  参考訳（メタデータ） (2024-05-23T16:01:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。