論文の概要: AutoRubric-T2I: Robust Rule-Based Reward Model for Text-to-Image Alignment
- arxiv url: http://arxiv.org/abs/2605.17602v1
- Date: Sun, 17 May 2026 19:00:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:48.225801
- Title: AutoRubric-T2I: Robust Rule-Based Reward Model for Text-to-Image Alignment
- Title（参考訳）: AutoRubric-T2I:テキストと画像のアライメントのためのロバストルールに基づくリワードモデル
- Abstract要約: AutoRubric-T2Iは、VLM審査員を導くための明示的なルーブリックを自動的に合成し、選択する最初のルーブリック学習フレームワークである。
本稿では,AutoRubric-T2Iがアノテートされた嗜好データの0.01%以下を用いて,高品質で解釈可能な報奨信号を生成することを示す。
- 参考スコア（独自算出の注目度）: 44.851672394450105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Aligning Text-to-Image (T2I) generation models with human preferences increasingly relies on image reward models that score or rank generated images according to prompt alignment and perceptual quality. Existing reward models are commonly trained as Bradley-Terry (BT) preference models on large-scale human preference corpora, making them costly to train, difficult to adapt, and opaque in their evaluation criteria. Meanwhile, Vision-Language Model (VLM) judges can provide more fine-grained assessments through textual rubrics, but their manually designed or heuristically generated scoring rules may fail to reliably reflect human preferences. In this paper, we propose AutoRubric-T2I, the first rubric learning framework in T2I that automatically synthesizes and selects explicit rubrics for guiding VLM judges. AutoRubric-T2I first synthesizes reasoning traces from preference pairs into candidate rubrics, then uses a VLM judge to score paired images under each rubric, producing pairwise rubric-score differences for preference learning. To remove noisy and redundant rules, we further employ a $\ell_1$-Regularized Logistic Regression Refiner, which selects the Top-$N$ most discriminative rubrics. Extensive evaluations show that AutoRubric-T2I produces high-quality, interpretable reward signals using less than 0.01% of the annotated preference data, substantially reducing the need for large-scale reward-model training. On image reward benchmarks such as MMRB2, AutoRubric-T2I outperforms strong reward model baselines. We further validate AutoRubric-T2I as an RL reward on downstream T2I tasks, including TIIF and UniGenBench++, where it improves generation quality over scalar reward models using the Flow-GRPO pipeline on diffusion models.
- Abstract（参考訳）: 人間の好みを持つテキスト・ツー・イメージ(T2I)生成モデルの調整は、素早いアライメントと知覚品質に応じて生成された画像のスコアやランク付けを行うイメージ報酬モデルにますます依存している。
既存の報酬モデルは通常、大規模な人間の嗜好コーパスにおけるBradley-Terry(BT)選好モデルとして訓練されており、訓練にコストがかかり、適応が難しく、評価基準に不透明である。
一方、VLM(Vision-Language Model)の審査員は、テキストのルーブリックを通じてよりきめ細かい評価を行うことができるが、手動で設計またはヒューリスティックに生成されたスコアリングルールは、人間の好みを確実に反映できない可能性がある。
本稿では,VLM審査員を導くための明示的なルーブリックを自動的に合成し,選択する,T2Iにおける最初のルーブリック学習フレームワークであるAutoRubric-T2Iを提案する。
AutoRubric-T2Iはまず、好みのペアから候補のルーブリックへの推論トレースを合成し、次にVLMの判定器を使用して各ルーブリックの下でペアの画像をスコアし、ペアのルーブリックスコアの違いを優先学習に生み出す。
ノイズと冗長なルールを削除するために、さらに$\ell_1$-regularized Logistic Regression Refinerを使用します。
広範囲な評価の結果,AutoRubric-T2Iは注釈付き嗜好データの0.01%未満で高品質で解釈可能な報奨信号を生成し,大規模な報奨モデルトレーニングの必要性を大幅に低減した。
MMRB2のような画像報酬ベンチマークでは、AutoRubric-T2Iは強力な報酬モデルベースラインを上回っている。
さらに, TIIFやUniGenBench++など, 下流T2IタスクにおけるRL報酬としてAutoRubric-T2Iを検証し, 拡散モデル上でのFlow-GRPOパイプラインを用いたスカラー報酬モデルよりも生成品質を向上させる。
関連論文リスト
- RubricRM: Generative Reward Modeling via Dynamic Rubrics for Image Generation and Editing [9.858046310638803]
本稿では,評価次元,重み,評価基準を有する入力固有ルーリックを生成し,そのルーリックを候補画像に応用するペアワイズ生成報酬モデリングフレームワークを提案する。
我々は、2段階のトレーニングパイプラインを用いて、テキスト・ツー・イメージ生成と画像編集のための専用RMモデルを訓練する。
論文 参考訳（メタデータ） (2026-08-27T10:56:47Z) - Follow-Your-Preference++: Rethinking Preference Alignment for Image Inpainting [17.648992293002088]
我々は、広く使われている直接選好最適化フレームワークを採用し、一般公開された報奨モデルを用いた選好学習データを構築した。
報酬モデルの単純なアンサンブルはそのようなバイアスを緩和し、堅牢で一般化可能な性能をもたらす。
我々のモデルは、標準メトリクス、大規模視覚言語モデル評価、人的評価において、最先端のモデルよりも大幅に優れています。
論文 参考訳（メタデータ） (2026-06-02T06:22:07Z) - RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。
提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。
その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
論文 参考訳（メタデータ） (2026-04-13T15:38:09Z) - OpenRubrics: Towards Scalable Synthetic Rubric Generation for Reward Modeling and LLM Alignment [38.1645520104553]
OpenRubricsは,ルーブリック世代とルーブリックベースの報酬モデルをトレーニングするための,大規模な(プロンプト,エクスプリシット)ペアのコレクションである。
識別的・包括的評価信号を引き出すために,優先的・拒否的な応答を対比することにより,厳格な規則(単純質)と原則(簡易品質)の両方を導出するコントラスト生成(CRG)を導入する。
この結果から,ごみは費用対人評価と自動報酬モデリングのギャップを狭めるような,スケーラブルなアライメント信号を提供することがわかった。
論文 参考訳（メタデータ） (2025-10-09T03:31:26Z) - IRIS: Intrinsic Reward Image Synthesis [49.099059035701934]
自己回帰的T2Iモデルが外部報酬やラベル付きデータに頼ることなく内部信号からどのように学習できるかを示す。
自己回帰型T2Iモデルを改善するためのフレームワークとして,本質的な報酬のみを用いて強化学習を行うIRISを提案する。
論文 参考訳（メタデータ） (2025-09-29T22:38:25Z) - T2I-Eval-R1: Reinforcement Learning-Driven Reasoning for Interpretable Text-to-Image Evaluation [60.620408007636016]
T2I-Eval-R1は,大まかな品質スコアのみを用いて,オープンソースのMLLMを訓練する新しい強化学習フレームワークである。
提案手法では,グループ相対政策最適化を命令調整プロセスに統合し,スカラースコアと解釈可能な推論チェーンの両方を生成する。
論文 参考訳（メタデータ） (2025-05-23T13:44:59Z) - RFMI: Estimating Mutual Information on Rectified Flow for Text-to-Image Alignment [51.85242063075333]
フローマッチングフレームワークでトレーニングされたRectified Flow (RF)モデルは、Text-to-Image (T2I)条件生成における最先端のパフォーマンスを達成した。
しかし、複数のベンチマークでは、合成画像はプロンプトとの整合性に乏しいことが示されている。
RFMI(Mutual Information (MI) 推定器) を導入し,MI推定に事前学習モデル自体を用いる。
論文 参考訳（メタデータ） (2025-03-18T15:41:45Z) - CARMO: Dynamic Criteria Generation for Context-Aware Reward Modelling [27.86204841898399]
大規模な言語モデルでのリワードモデリングは、ハッキングに報奨を与える可能性がある。
本稿では,この問題を緩和するためにコンテキストアウェア・リワード・モデリング(CARMO)を提案する。
我々は、生成モデルに対するゼロショット設定における新しい最先端性能を確立し、Reward Benchの2.1%の改善を実現した。
論文 参考訳（メタデータ） (2024-10-28T21:18:49Z) - ReNO: Enhancing One-step Text-to-Image Models through Reward-based Noise Optimization [59.72782742378666]
本稿では,Reward-based Noise Optimization (ReNO) を提案する。
20-50秒の計算予算の中で、ReNOによって強化されたワンステップモデルは、現在のすべてのオープンソーステキスト・トゥ・イメージ・モデルの性能を一貫して上回った。
論文 参考訳（メタデータ） (2024-06-06T17:56:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。