論文の概要: Generator-Aligned Reward Modeling with Target-Aware Bounded Optimization for Visual Generation

• arxiv url: http://arxiv.org/abs/2611.07648v1
• Date: Thu, 05 Nov 2026 08:34:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.603055
• Title: Generator-Aligned Reward Modeling with Target-Aware Bounded Optimization for Visual Generation
• Title（参考訳）: ビジュアルジェネレーションのためのターゲット認識境界最適化を用いたジェネレータ適応リワードモデリング
• Abstract要約: ポストトレーニングは、視覚的生成モデルにおける望ましい属性を強化することを目的としている。 実際のトレーニングデータは、ジェネレータの出力分布をミスマッチする可能性がある。 非有界報酬は過度に最適化され、生成品質が低下する可能性がある。
• 参考スコア（独自算出の注目度）: 50.92978140285748
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training aims to enhance desired attributes in visual generative models while preserving their general generation capabilities. Reward-guided post-training faces two challenges: real training data may mismatch the generator's output distribution, and attribute supervision may be confounded by unrelated content. Unbounded reward maximization can also cause overoptimization and degrade generation quality. We propose a framework combining Generator-Aligned Reward Modeling (GARM) and Target-Aware Bounded Optimization (TABO). GARM mitigates distribution mismatch through generator-support matching and reduces content confounding using content-matched real contrasts, yielding generator-relevant, attribute-focused reward supervision. TABO maps the learned reward to a smooth, upper-bounded function calibrated from real target-positive examples. This transformation is independent of the optimization algorithm and supports both direct reward-gradient and policy-based optimization. We further introduce Target-Aware GRPO (TA-GRPO), an adaptation of Flow-GRPO that combines fixed stage-wise advantage scaling, a generator-to-target curriculum, and timestep-balanced credit assignment for flow-based video optimization. Experiments show that GARM improves target-attribute expression while maintaining competitive generation quality. TABO better balances attribute enhancement and visual quality than unconstrained reward maximization, while TA-GRPO improves target enhancement over vanilla Flow-GRPO and reduces unintended attribute leakage on neutral prompts. These results highlight the importance of generator-aligned reward supervision and controlled, data-calibrated optimization for targeted visual generation.
• Abstract（参考訳）: ポストトレーニングは、一般的な生成能力を保ちながら、視覚的生成モデルにおける望ましい属性を強化することを目的としている。 Reward-guided Post-Trainingは、実際のトレーニングデータはジェネレータの出力分布を間違える可能性があるし、属性の監督は関連のないコンテンツによって構成される可能性がある。 非有界報酬の最大化は過度に最適化し、生成品質を低下させる。 本稿では,ジェネレータ・アラインド・リワード・モデリング(GARM)とターゲット・アウェア・バウンド・最適化(TABO)を組み合わせたフレームワークを提案する。 GARMは、ジェネレータ対応マッチングによる配信ミスマッチを緩和し、コンテンツマッチングされた実コントラストによるコンテンツ共有を低減し、ジェネレータ関連、属性中心の報酬管理を提供する。 TABOは学習した報酬を、実際の目標陽性例からキャリブレーションされた滑らかな上界関数にマップする。 この変換は最適化アルゴリズムとは独立であり、直接報酬階調とポリシーベースの最適化の両方をサポートする。 さらに,固定ステージワイド・アドバンスト・スケーリング,ジェネレータ・ツー・ターゲット・カリキュラム,フローベースビデオ最適化のためのタイムステップバランス・クレジット割り当てを組み合わせたFlow-GRPOの適応であるTarget-Aware GRPO(TA-GRPO)についても紹介する。 実験により、GARMは競争力のある生成品質を維持しながら、目標属性表現を改善することが示された。 TABOは、制限のない報酬の最大化よりも属性の強化と視覚的品質を向上し、TA-GRPOはバニラフロー-GRPOよりも目標の強化を改善し、中立的なプロンプトに対する意図しない属性のリークを低減する。 これらの結果は,対象の視覚生成に対して,ジェネレータによる報酬管理と,データキャリブレーションによる最適化の重要性を強調した。

関連論文リスト

• Elite-Weighted Supervised Fine-tuning for Goal-Directed Molecular Optimization [10.535230019723613]
  Elite-Weighted Supervised Fine-tuning (EW-SFT)は、高色分子のエリート選択を誘導するために報酬を使用する。 EW-SFTは、対応するネイティブキナーゼ基準化合物よりも一貫して優れている。
  論文  参考訳（メタデータ） (2026-08-31T18:10:51Z)
• AdaPilot: Towards Scene-Adaptive Policy Learning for Cross-Generator Text-to-Image Quality Optimization [45.94478417302147]
  AdaPilotはシーン適応型、クロスジェネレータ変換可能な品質最適化ポリシーを学習する。 AdaPilotは、ジェネレータ内部からポリシーを分離し、クロスジェネレータ転送を可能にする。 1つのポリシーはゼロショットを、正の平均ゲインを維持しながら、目に見えないジェネレータに転送する。
  論文  参考訳（メタデータ） (2026-08-25T04:09:41Z)
• RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
  本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。 提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。 その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
  論文  参考訳（メタデータ） (2026-04-13T15:38:09Z)
• GAS: Enhancing Reward-Cost Balance of Generative Model-assisted Offline Safe RL [21.30558932544297]
  Online Safe Reinforcement Learning (OSRL) は、制約を満たしつつ意思決定における高いパフォーマンスを達成するための政策を学ぶことを目的としている。 生成モデル(GM)の強い能力に触発された最近の研究は、条件付き生成プロセスとしてOSRLにおける意思決定を再構成している。 本稿では,報酬と制約満足度を効果的にバランスしながら縫合能力を向上するアルゴリズムであるGal-Assisted Stitching (GAS)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T05:44:48Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• GARDO: Reinforcing Diffusion Models without Reward Hacking [54.841464430913476]
  オンライン強化学習(RL)による微調整拡散モデルにより,テキストと画像のアライメントが向上する可能性が示された。 このミスマッチは、しばしば報酬のハッキングにつながり、プロキシスコアは増加し、実際の画像品質は低下し、生成の多様性は崩壊する。 我々は、サンプル効率、効率的な探索、報酬ハッキングの軽減という競合する要求に対処するため、Gated and Adaptive Regularization with Diversity-Aware Optimization (GARDO)を提案する。
  論文  参考訳（メタデータ） (2025-12-30T10:55:45Z)
• Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
  VGPOは時間次元とグループ次元の両方で値の推定を再定義する。 スパース端末の報酬を密度の高いプロセス認識値推定に変換する。 標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
  論文  参考訳（メタデータ） (2025-12-13T16:31:26Z)
• Growing with the Generator: Self-paced GRPO for Video Generation [45.5073437581357]
  グループ相対政策最適化は、ビデオ生成後のモデルのための強力な強化学習パラダイムとして登場した。 本稿では,報奨フィードバックをジェネレータと共進化させる能力を考慮したGRPOフレームワークであるSelf-Paced GRPOを提案する。 生成品質が向上するにつれて、粗い視覚的忠実度から時間的コヒーレンス、微粒なテキスト・ビデオ・セマンティックアライメントに重点を移すプログレッシブ報酬機構を導入する。
  論文  参考訳（メタデータ） (2025-11-24T17:56:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。