論文の概要: NormGuard: Reward-Preserving Norm Constraints in Flow-Matching Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2606.27771v1
- Date: Fri, 26 Jun 2026 06:56:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.399168
- Title: NormGuard: Reward-Preserving Norm Constraints in Flow-Matching Reinforcement Learning
- Title（参考訳）: NormGuard: フローマッチング強化学習における逆保存ノルム制約
- Abstract要約: 強化学習(RL)は、フローベースジェネレータの報酬アライメントを改善するが、しばしば知覚品質を低下させる。
3つのポストトレーニング法(NFT, AWM, DPO)にまたがるこのドリフトの単純な構造的シグネチャを同定する。
RLファインチューニングは、基準に対してステップごとの速度ノルムを$|v_|$で$5%から$5%$で膨らませる。
- 参考スコア（独自算出の注目度）: 42.29085249260694
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning (RL) post-training improves the reward alignment of flow-based generators, but often degrades perceptual quality in ways that are not captured by the reward proxy. We identify a simple structural signature of this drift: across three post-training methods (NFT, AWM, DPO), RL fine-tuning inflates the per-step velocity norm $\|v_θ\|$ by $5\%$ to $15\%$ relative to the reference. A form of norm inflation has been studied in classifier-free guidance (CFG), where rescaling the velocity back to a reference norm at inference time can mitigate the resulting artifacts. However, this inference-time correction does not transfer cleanly to RL: rescaling $v_θ$ to match $\|v_{\text{ref}}\|$ at inference time neither improves reward nor fixes the quality degradation, because the inflation is co-adapted into the model weights. Furthermore, an adjoint sensitivity analysis shows that velocity magnitude rescaling carries no coherent first-order reward signal at the batch level, indicating that suppressing norm inflation is unlikely to remove a consistently reward-carrying component. Since inference-time renormalization fails while norm suppression carries no reward cost, training-time intervention is the appropriate strategy. Together, these findings motivate \methodname, a hinge penalty that activates only when $\|v_θ\|$ exceeds $\|v_{\text{ref}}\|$ and composes additively with any velocity-local base loss. Across two base models, three post-training methods, and two reward proxies, \methodname consistently improves MLLM-judged image quality and forensic realism while preserving reward, with gains that amplify under few-step inference and are not explained by early stopping.
- Abstract（参考訳）: 強化学習(Reinforcement Learning、RL)は、フローベースジェネレータの報酬アライメントを改善するが、報酬プロキシが取得しない方法で知覚品質を低下させることが多い。
3つのポストトレーニング法(NFT, AWM, DPO)にまたがって、RL微調整はステップごとの速度ノルム$\|v_θ\|$を基準に対して5\%$から15\%$に膨らませる。
標準インフレーションの形式は分類器フリーガイダンス(CFG)で研究されており、推論時に基準ノルムに速度を戻すことで、結果のアーティファクトを緩和することができる。
しかし、この推論時間補正はRLにクリーンに転送されない: $v_θ$ を $\|v_{\text{ref}}\|$ に再スケーリングすると、インフレーションはモデル重みに共適応するため、報酬も品質劣化も改善しない。
さらに、随伴感度解析により、ベロシティのスケール再スケーリングはバッチレベルでのコヒーレントな1次報酬信号を持たないことが示され、ノルムインフレーションの抑制が一貫した報奨成分を除去する可能性が示唆された。
予測時再正規化は失敗するが、ノルム抑制は報酬コストを伴わないため、トレーニング時の介入が適切な戦略である。
これらの発見はともに、$\|v_θ\|$が$\|v_{\text{ref}}\|$を超える場合にのみ活性化するヒンジペナルティである \methodname を動機付け、速度局所的なベース損失を加法的に生成する。
2つのベースモデル、3つのポストトレーニング方法、および2つの報酬プロキシにおいて、Shamethodnameは、報酬を保ちながらMLLMによる画像品質と法医学的リアリズムを一貫して改善し、数ステップの推論で増幅するゲインを早期停止によって説明しない。
関連論文リスト
- Two is better than one: A Collapse-free Multi-Reward RLIF Training Framework [6.490241400619907]
内部フィードバックからの強化学習は、スケーラブルで教師なしの代替手段として最近登場した。
本稿では,学習信号を2つの補完成分に分解するマルチリワードRLIFフレームワークを提案する。
提案手法は,外部の地平監督に頼らずに,安定した長距離推論を支援することができることを示す。
論文 参考訳（メタデータ） (2026-05-21T15:30:47Z) - When to Stop Reusing: Dynamic Gradient Gating for Sample-Efficient RLVR [46.88928401641895]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデル(LLM)における高度な推論の主流パラダイムとなっている。
RLVRでは、複数の勾配更新のために各ロールアウトバッチを再利用することでポリシーシフトが増幅され、パフォーマンスが大幅に低下する。
我々は,textitDisproportionate Weight Divergence (DWD) 現象を同定した。
軽量な介入であるtextitDynamic Gradient Gating (DGG) を提案する。
論文 参考訳（メタデータ） (2026-05-19T06:23:43Z) - Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。
VIGORはポリシーモデルのみを使用する単純な報酬です。
数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
論文 参考訳（メタデータ） (2026-05-11T03:15:37Z) - MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。
既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。
我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
論文 参考訳（メタデータ） (2026-05-07T16:20:42Z) - Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。
トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。
本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。
また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
論文 参考訳（メタデータ） (2026-04-14T18:19:54Z) - Improved Mean Flows: On the Challenges of Fastforward Generative Models [81.10827083963655]
MeanFlow (MF)は、最近ワンステップ生成モデリングのフレームワークとして確立されている。
ここでは、トレーニング目標とガイダンスメカニズムの両方において、重要な課題に対処する。
我々の改革により、より標準的な回帰問題が発生し、訓練安定性が向上する。
全体として、スクラッチから完全にトレーニングされた$textbfimproved MeanFlow$$(textbfiMF$)メソッドは、ImageNet 256$times$256上の単一の関数評価(1-NFE)で$textbf1.72$ FIDを達成する。
論文 参考訳（メタデータ） (2025-12-01T18:59:49Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - Catastrophic Overfitting, Entropy Gap and Participation Ratio: A Noiseless $l^p$ Norm Solution for Fast Adversarial Training [6.393645655578601]
我々は,破滅的オーバーフィッティング(CO)を緩和するために,$lp$のトレーニング規範を制御する新しいソリューションを提案する。
我々の研究は、COが$l2$ノルムよりも$linfty$ノルムでより広く見られるという経験的観察によって動機づけられている。
参加率とエントロピー測定による勾配濃度の定量化により、勾配情報に基づいてトレーニング基準を自動的に調整する適応的な$lp$-FGSMを開発する。
論文 参考訳（メタデータ） (2025-05-05T04:41:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。