論文の概要: Rethinking Visual Reasoning in Text-to-Image Reward Modeling
- arxiv url: http://arxiv.org/abs/2611.17585v1
- Date: Thu, 12 Nov 2026 23:09:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.275793
- Title: Rethinking Visual Reasoning in Text-to-Image Reward Modeling
- Title(参考訳): テキスト・ツー・イメージ・リワード・モデリングにおける視覚的推論の再考
- Abstract要約: 広範に使用されている報酬モデルでは,対象とした視覚的推論評価が不十分であることが判明した。
本稿では,ペアリング軸を反転させることで,視覚的推論の指導を嗜好学習に注入するデータ中心の介入を提案する。
Inference-time best-of-n selection と RL post-training にまたがって、結果として得られる報酬モデルにより、困難な合成プロンプトのテキスト・ツー・イメージ生成が改善される。
- 参考スコア(独自算出の注目度): 71.45836964546652
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reward models are a core component of modern text-to-image systems, serving as the objective for inference-time selection and RL-based post-training. A key prerequisite is visual understanding: to judge prompt adherence and ground aesthetic preferences, a reward model must bind attributes, resolve relations, and count reliably. We find that widely-used reward models perform poorly on targeted visual reasoning evaluations. Even when starting from strong vision-language backbones, preference fine-tuning erodes these capabilities, and continual-learning baselines fail to mitigate a steep tradeoff between visual reasoning and preference accuracy. We propose a data-centric intervention that injects visual reasoning supervision into preference learning by flipping the pairing axis. To complement conventional human preference data (paired images under a shared prompt), we convert existing visual reasoning datasets into preference pairs that share the same image but differ in prompt, and train on the mixture. This yields a Pareto improvement in both visual understanding and preference prediction. Across inference-time best-of-n selection and RL post-training, the resulting reward model improves text-to-image generation on challenging compositional prompts (GenEval) by an average of 4.0% and 5.5% respectively, outperforming HPSv3 which was trained on 6x more preference pairs.
- Abstract(参考訳): リワードモデルは、推論時間選択とRLベースのポストトレーニングの目的として機能する、現代のテキスト・画像システムの中核となるコンポーネントである。
視覚的理解は重要な前提条件であり、即興の順守と地上の美的嗜好を判断するためには、報酬モデルが属性を結び付け、関係を解決し、確実に数えなければならない。
広範に使用されている報酬モデルでは,対象とした視覚的推論評価が不十分であることが判明した。
強い視覚言語によるバックボーンから始めると、好みの微調整がこれらの能力を損なうため、継続的な学習ベースラインは、視覚的推論と好みの正確さの間の急なトレードオフを和らげることができない。
本稿では,ペアリング軸を反転させることで,視覚的推論の指導を嗜好学習に注入するデータ中心の介入を提案する。
従来の人間の嗜好データ(共有プロンプトに基づくペア画像)を補完するため、既存の視覚推論データセットを、同じ画像を共有するがプロンプトが異なる選好ペアに変換し、混合を訓練する。
これにより、視覚的理解と嗜好予測の両方においてParetoの改善がもたらされる。
inference-time best-of-n selection と RL post-training 全体で、結果として得られる報酬モデルにより、挑戦的な合成プロンプト(GenEval)のテキスト・ツー・イメージ生成が平均4.0%と5.5%向上し、HPSv3は6倍の選好ペアでトレーニングされた。
関連論文リスト
- Listener-Rewarded Thinking in VLMs for Image Preferences [38.07052490646366]
視覚報酬モデルをトレーニングするためのリスナー強化GRPOフレームワークを提案する。
我々のリスナー型報酬方式は,ImageRewardベンチマークにおいて最も精度が高い。
これらの結果から、聞き手による報酬は、視覚言語モデルと微妙な人間の嗜好を整合させる、スケーラブルでデータ効率のよい経路を提供することが示された。
論文 参考訳(メタデータ) (2025-06-28T09:53:17Z) - Unified Reward Model for Multimodal Understanding and Generation [32.22714522329413]
本稿では,マルチモーダル理解と生成評価のための最初の統一報酬モデルUnifiedRewardを提案する。
まず、構築した大規模人間の嗜好データセットに基づいてUnifiedRewardを開発し、画像生成/映像生成/理解タスクを含む。
論文 参考訳(メタデータ) (2025-03-07T08:36:05Z) - Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation [67.88747330066049]
きめ細かいフィードバックは、画像の品質と迅速な調整におけるニュアンスドの区別を捉えます。
粗いフィードバックに対する優位性を示すことは、自動ではないことを示す。
きめ細かいフィードバックを抽出し活用する上で重要な課題を特定します。
論文 参考訳(メタデータ) (2024-06-24T17:19:34Z) - Enhancing Large Vision Language Models with Self-Training on Image Comprehension [131.14381425260706]
本稿では、画像理解に特化して自己学習アプローチを強調する自己学習 on Image (STIC)を紹介する。
まず、ラベルのない画像を用いて、画像記述の好みを自己構築する。
抽出した視覚情報に対する推論をさらに自己改善するため,既存の命令調整データのごく一部をモデルに再利用する。
論文 参考訳(メタデータ) (2024-05-30T05:53:49Z) - Calibrated Self-Rewarding Vision Language Models [27.686545023186852]
LVLM(Large Vision-Language Models)は、訓練済みの大規模言語モデル(LLM)と視覚モデルを統合することで、指導チューニングを通じて大幅に進歩した。
LVLMは、しばしば幻覚現象を示し、生成されたテキスト応答は言語的に妥当に見えるが、入力画像に矛盾する。
本稿では,候補応答を反復的に生成し,各応答に対する報酬を評価し,微調整のための選好データをキュレートすることで,モデルの自己改善を可能にするCalibrated Self-Rewarding(CSR)アプローチを提案する。
論文 参考訳(メタデータ) (2024-05-23T14:30:33Z) - Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。
また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
論文 参考訳(メタデータ) (2024-01-11T17:56:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。