論文の概要: PCPO: Proportionate Credit Policy Optimization for Aligning Image Generation Models

• arxiv url: http://arxiv.org/abs/2509.25774v1
• Date: Tue, 30 Sep 2025 04:43:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:45:00.017312
• Title: PCPO: Proportionate Credit Policy Optimization for Aligning Image Generation Models
• Title（参考訳）: PCPO:画像生成モデル調整のための多元的信用政策最適化
• Authors: Jeongjae Lee, Jong Chul Ye,
• Abstract要約: 安定的な客観的な改革と原則的なタイムステップの再重み付けを通じて、比例的な信用割当を強制する枠組みであるPCPO(Proportionate Credit Policy Optimization)を導入する。 PCPOは、最先端のDanceGRPOを含むすべての面で、既存の方針勾配ベースラインを大幅に上回っている。
• 参考スコア（独自算出の注目度）: 54.18605375476406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While reinforcement learning has advanced the alignment of text-to-image (T2I) models, state-of-the-art policy gradient methods are still hampered by training instability and high variance, hindering convergence speed and compromising image quality. Our analysis identifies a key cause of this instability: disproportionate credit assignment, in which the mathematical structure of the generative sampler produces volatile and non-proportional feedback across timesteps. To address this, we introduce Proportionate Credit Policy Optimization (PCPO), a framework that enforces proportional credit assignment through a stable objective reformulation and a principled reweighting of timesteps. This correction stabilizes the training process, leading to significantly accelerated convergence and superior image quality. The improvement in quality is a direct result of mitigating model collapse, a common failure mode in recursive training. PCPO substantially outperforms existing policy gradient baselines on all fronts, including the state-of-the-art DanceGRPO.
• Abstract（参考訳）: 強化学習はテキスト・ツー・イメージ(T2I)モデルのアライメントを推し進めてきたが、現状の方針勾配法はいまだにトレーニングの不安定性と高分散によって妨げられ、収束速度を妨げ、画像品質を損なう。 生成標本の数学的構造が時間経過を通じて揮発性および非局所的なフィードバックを生じる不均質な信用割当である。 これを解決するために,安定的な客観的な改革と原則的なタイムステップの再重み付けを通じて,比例的な信用割当を実施する枠組みであるProportionate Credit Policy Optimization (PCPO)を導入する。 この補正によりトレーニングプロセスが安定化され、コンバージェンスが大幅に向上し、画質が向上する。 品質の向上は、再帰的トレーニングにおける共通の失敗モードであるモデル崩壊の緩和の直接的な結果である。 PCPOは、最先端のDanceGRPOを含むすべての面で、既存の方針勾配ベースラインを大幅に上回っている。

関連論文リスト

• Q-Hawkeye: Reliable Visual Policy Optimization for Image Quality Assessment [25.916354359994624]
  本稿では,RLに基づく信頼性の高い視覚ポリシー最適化フレームワークであるQ-Hawkeyeを提案する。 Q-Hawkeyeは、複数のロールアウトにまたがる予測スコアのばらつきを用いて予測の不確実性を推定する。 本稿では,実際の視覚的証拠に品質判断を根拠として,モデルに制約を与えるインプシット知覚損失を導入する。
  論文  参考訳（メタデータ） (2026-01-30T12:42:32Z)
• A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
  強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。 トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。 我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
  論文  参考訳（メタデータ） (2026-01-30T08:47:19Z)
• M-GRPO: Stabilizing Self-Supervised Reinforcement Learning for Large Language Models with Momentum-Anchored Policy Optimization [9.358876832727239]
  自己教師付き強化学習(RL)は、大規模言語モデル(LLM)の推論能力を高めるための有望なアプローチを示す 従来の手法では,長期のトレーニングにおいて,パフォーマンスが急激に低下する「政治崩壊」という,致命的な障害モードに悩まされていることがわかった。 我々は、ゆっくりと進化する運動量モデルを利用して安定したトレーニングターゲットを提供するフレームワークであるM-GRPOを紹介する。 また,低エントロピートラジェクトリを動的に振る舞うIQR(Interquartile Range)に基づく適応フィルタリング手法を提案する。
  論文  参考訳（メタデータ） (2025-12-15T08:07:23Z)
• Stabilizing Reinforcement Learning with LLMs: Formulation and Practices [61.361819972410046]
  本稿では,REINFORCEなどの政策勾配法において,真のシーケンスレベルの報酬を代用トークンレベルの目的によって最適化できる理由と条件を示す。 この洞察は、RLトレーニングの安定化において、広く採用されているいくつかのテクニックの重要な役割について、原則化された説明を提供する。
  論文  参考訳（メタデータ） (2025-12-01T07:45:39Z)
• GRPO-Guard: Mitigating Implicit Over-Optimization in Flow Matching via Regulated Clipping [63.33669214116784]
  GRPO-Guardは、既存のGRPOフレームワークのシンプルで効果的な拡張である。 PPOクリッピングが有害な更新を適切に制限することを保証するため、バランスとステップ一貫性の重要度を回復する。 重いKL正則化に頼ることなく、暗黙の過最適化を実質的に緩和する。
  論文  参考訳（メタデータ） (2025-10-25T14:51:17Z)
• BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
  適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。 BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。 AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
  論文  参考訳（メタデータ） (2025-10-21T12:55:04Z)
• From Competition to Synergy: Unlocking Reinforcement Learning for Subject-Driven Image Generation [37.43722287763904]
  被写体駆動画像生成モデルは、アイデンティティ保存(忠実さ)とアクシデンス(親和性)の基本的なトレードオフに直面している 本稿では,Synergy-Aware Reward ShapingとTime-Aware Dynamic Weightingという2つの重要なイノベーションを特徴とする新しいフレームワークを提案する。 本モデルでは,重要な特徴を保存し,複雑なテキストのプロンプトに正確に準拠する画像を生成する。
  論文  参考訳（メタデータ） (2025-10-21T03:32:26Z)
• Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
  強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。 本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。 アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
  論文  参考訳（メタデータ） (2025-10-01T12:29:32Z)
• ACPO: Adaptive Curriculum Policy Optimization for Aligning Vision-Language Models in Complex Reasoning [17.928214942495412]
  ACPOは、安定的で、準政治的な探索段階から、効率的で、非政治的な搾取段階へ、原則的な移行を編成する動的カリキュラムを採用している。 我々は、MathVista、LogicVista、MMMU-Proなど、挑戦的なマルチモーダル推論ベンチマークのスイートで広範な実験を行う。 その結果,ACPOはDAPOやPAPOなどの強いベースラインを一貫して上回り,最先端性能,収束の促進,訓練安定性の向上を実現している。
  論文  参考訳（メタデータ） (2025-10-01T09:11:27Z)
• STAGE: Stable and Generalizable GRPO for Autoregressive Image Generation [16.40446848402754]
  近年,テキスト・ツー・イメージ・ジェネレーションを改善するために強化学習が研究されている。 既存のGRPOアルゴリズムを自己回帰(AR)イメージモデルに適用することは依然として困難である。 本研究では,AR画像生成のためのGRPOを再検討し,不必要なトークンからの矛盾した勾配と不安定なポリシーエントロピーダイナミクスの2つの主要な問題を特定する。
  論文  参考訳（メタデータ） (2025-09-29T16:50:21Z)
• TempFlow-GRPO: When Timing Matters for GRPO in Flow Models [22.023027865557637]
  本稿では,フローベース生成に固有の時間構造を捕捉し,活用する,原理的なGRPOフレームワークを提案する。 新しい革新は、基礎となる生成力学を尊重する時間的に認識された最適化をモデルに与える。
  論文  参考訳（メタデータ） (2025-08-06T11:10:39Z)
• Relative Entropy Pathwise Policy Optimization [66.03329137921949]
  そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
  論文  参考訳（メタデータ） (2025-07-15T06:24:07Z)
• Enhancing Variational Autoencoders with Smooth Robust Latent Encoding [54.74721202894622]
  変分オートエンコーダ(VAE)は拡散に基づく生成モデルをスケールアップする上で重要な役割を果たしている。 Smooth Robust Latent VAEは、世代品質とロバスト性の両方を向上する、新しい対向トレーニングフレームワークである。 実験により、SRL-VAEは、Nightshade攻撃や画像編集攻撃に対して、画像再構成とテキスト誘導画像編集において、生成品質とロバスト性の両方を改善することが示された。
  論文  参考訳（メタデータ） (2025-04-24T03:17:57Z)
• ROCM: RLHF on consistency models [8.905375742101707]
  一貫性モデルにRLHFを適用するための報酬最適化フレームワークを提案する。 正規化戦略として様々な$f$-divergencesを調査し、報酬とモデルの一貫性のバランスを崩す。
  論文  参考訳（メタデータ） (2025-03-08T11:19:48Z)
• Generative Diffusion Prior for Unified Image Restoration and Enhancement [62.76390152617949]
  既存の画像復元法は、主に自然画像の後方分布を利用する。 教師なしサンプリング方式で後部分布を効果的にモデル化するための生成拡散優先(GDP)を提案する。 GDPは、線形逆問題、非線形問題、ブラインド問題を解くために、プレトレインデノナイジング拡散生成モデル(DDPM)を利用する。
  論文  参考訳（メタデータ） (2023-04-03T16:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。