論文の概要: Do Visual RL Gains Scale at Test Time? A Quantile View of Post-Training
- arxiv url: http://arxiv.org/abs/2611.02366v1
- Date: Mon, 02 Nov 2026 01:26:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:48:44.613855
- Title: Do Visual RL Gains Scale at Test Time? A Quantile View of Post-Training
- Title(参考訳): ビジュアルRLはテスト時間でスケールアップするのか? : ポストトレーニングの量的視点
- Abstract要約: 強化学習(Reinforcement Learning、RL)は、視覚生成モデルの単一サンプル品質を改善するが、Best-of-Nサンプリングを通じて追加の推論計算を提供することが多い。
我々の中心的な貢献は、視覚的RLにおけるスケーリング転送の障害モードを体系的に識別し、特徴付けることである。
この結果から,視覚生成モデルの評価と最適化は単一サンプルの品質だけでなく,推論時間スケーリングが生み出す全報酬分布の再評価にも有効であることが示唆された。
- 参考スコア(独自算出の注目度): 14.710985327628
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning (RL) post-training improves the single-sample quality of visual generative models, but deployment often provides additional inference compute through Best-of-N sampling. Whether RL gains transfer under such test-time scaling, particularly on difficult held-out tasks, remains poorly understood in the visual domain. Our central contribution is to systematically identify and characterize a failure mode of scaling transfer in visual RL: across multiple RL methods, model backbones, and evaluations spanning compositional generation, text rendering, and preference alignment, higher single-sample reward does not necessarily imply a better quality-compute frontier. RL gains may attenuate, saturate, or even reverse at large sampling budgets, with the base model eventually outperforming its post-trained counterpart. We explain these regimes through a quantile-transfer framework, showing that Best-of-N places increasing weight on the upper tail of the reward distribution as N grows. Consequently, RL can improve typical samples while compressing or degrading the rare high-quality outcomes that test-time scaling exploits. As a simple intervention motivated by this analysis, we introduce Quantile Utility Policy Optimization (QUPO), which optimizes a controllable mixture of quantile utilities corresponding to different inference budgets. Experiments on SD3.5-M and BAGEL show that QUPO better preserves upper-tail quality and substantially improves scaling on challenging held-out prompts relative to standard RL post-training. Our results suggest that visual generative models should be evaluated and optimized not only for single-sample quality, but for how post-training reshapes the full reward distribution that inference-time scaling exploits.
- Abstract(参考訳): 強化学習(Reinforcement Learning、RL)は、視覚生成モデルの単一サンプル品質を改善するが、Best-of-Nサンプリングを通じて追加の推論計算を提供することが多い。
このようなテストタイムスケーリング、特に難易度の高いタスクにおいて、RLがトランスファーを得るかどうかは、視覚領域ではよく分かっていない。
我々の中心的な貢献は、視覚的RLにおけるスケーリングの障害モードを体系的に識別し、特徴付けることである: 複数のRLメソッド、モデルバックボーン、および構成生成、テキストレンダリング、および優先アライメントにまたがる評価において、より高いシングルサンプル報酬は必ずしもより良い品質のフロンティアを意味するとは限らない。
RLゲインは大規模なサンプリング予算で減らしたり、飽和したり、あるいは逆転したりし、ベースモデルは最終的に訓練後のモデルよりも優れる。
そこで,Nが成長するにつれて,Best-of-Nが報酬分布の上部に重みを増すことを示す。
その結果、RLはテストタイムスケーリングが生み出す稀な高品質な成果を圧縮または分解しながら、典型的なサンプルを改善することができる。
この分析によって動機付けられた簡単な介入として、異なる推論予算に対応する量子ユーティリティの制御可能な混合を最適化するQuantile Utility Policy Optimization (QUPO)を導入する。
SD3.5-M と BAGEL の実験により,QUPO は上尾部品質を良好に保ち,通常のRL ポストトレーニングと比較して,挑戦的なホールトアウトプロンプトのスケーリングを大幅に改善することが示された。
この結果から,視覚生成モデルの評価と最適化は,単一サンプルの品質だけでなく,推論時間スケーリングが生み出す全報酬分布の再評価にも有効であることが示唆された。
関連論文リスト
- Optimizing Visual Generative Models via Distribution-wise Rewards [57.46109819595665]
本稿では,実世界のデータ分布との整合性を確保するために,分布ワイド報酬を用いた生成モデルを微調整する新しいフレームワークを提案する。
提案手法は,SiTでは5.77,EDM2では3.74から3.52まで,様々なベースモデルでFID-50Kを大幅に改善する。
論文 参考訳(メタデータ) (2026-07-02T15:08:56Z) - Policy-based Tuning of Autoregressive Image Models with Instance- and Distribution-Level Rewards [16.135177543347773]
自己回帰モデル(AR)は画像生成に非常に効果的であるが、標準の最大形推定トレーニングではサンプルの品質と多様性を直接最適化することができない。
本稿では,トークンベースのAR推論をマルコフ決定プロセスとして,グループ相対ポリシー最適化によって最適化した軽量なRLフレームワークを提案する。
私たちの中核的な貢献は、新しい流通レベルのLeave-One-Out FID(LOO-FID)の報酬の導入です。
論文 参考訳(メタデータ) (2026-03-24T11:28:36Z) - Data Distribution as a Lever for Guiding Optimizers Toward Superior Generalization in LLMs [60.68927774057402]
はじめに、単純さのバイアスが小さくなれば、より良い一般化がもたらされることを示す。
この知見に触発されて、訓練後のサンプルのアップサンプリングや強化によるトレーニングデータ分布がSBを減少させ、一般化の改善につながることを示す。
我々はPhi2-2.7B, Llama3.2-1B, Gemma3-1B-PT, Qwen3-0.6B-Base など複数の言語モデルの性能向上を図る。
論文 参考訳(メタデータ) (2026-01-31T07:40:36Z) - RS-Prune: Training-Free Data Pruning at High Ratios for Efficient Remote Sensing Diffusion Foundation Models [14.093802378976315]
拡散型リモートセンシング(RS)生成基盤モデルは、多量のグローバルな代表データに依存している。
本稿では,高プルーニング率で高品質なサブセットを迅速に選択する,トレーニングフリーな2段階データプルーニング手法を提案する。
実験の結果, トレーニングデータの85%を刈り取った後も, コンバージェンスと生成品質が著しく向上することがわかった。
論文 参考訳(メタデータ) (2025-12-29T06:44:06Z) - Enhancing Diffusion-based Restoration Models via Difficulty-Adaptive Reinforcement Learning with IQA Reward [93.04811239892852]
強化学習(Reinforcement Learning, RL)は近年, 拡散モデルに組み入れられている。
本稿では,拡散型修復モデルにRLを効果的に組み込む方法について検討する。
論文 参考訳(メタデータ) (2025-11-03T14:57:57Z) - BroRL: Scaling Reinforcement Learning via Broadened Exploration [88.69554867685243]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルにおいて複雑な推論能力を解き放つ鍵となる要素として登場した。
最近のProRLは、トレーニングステップの数を増やすことで、RLのスケーリングを約束している。
RL, BroR-Lineasing the followingary paradigm for scaling RL, BroR-Lincreasing the rollouts per example to hundreds。
論文 参考訳(メタデータ) (2025-10-01T17:59:02Z) - MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。
我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。
数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
論文 参考訳(メタデータ) (2025-09-25T14:58:29Z) - Bridging SFT and DPO for Diffusion Model Alignment with Self-Sampling Preference Optimization [67.8738082040299]
自己サンプリング優先最適化(SSPO)は,訓練後強化学習のための新しいアライメント手法である。
SSPOは、SFTのトレーニング安定性を維持しながら、ペアデータと報酬モデルの必要性を排除する。
SSPOは、テキスト・ツー・イメージベンチマークにおける以前のアプローチを全て上回り、テキスト・ツー・ビデオベンチマークにおける優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2024-10-07T17:56:53Z) - Light-weight probing of unsupervised representations for Reinforcement Learning [20.638410483549706]
線形探索が教師なしRL表現の品質評価の代行的タスクであるかどうかを検討する。
本稿では,Atari100kベンチマークにおける下流RL性能と,探索タスクが強く相関していることを示す。
これにより、事前学習アルゴリズムの空間を探索し、有望な事前学習レシピを特定するためのより効率的な方法が提供される。
論文 参考訳(メタデータ) (2022-08-25T21:08:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。