論文の概要: Policy-based Tuning of Autoregressive Image Models with Instance- and Distribution-Level Rewards

• arxiv url: http://arxiv.org/abs/2603.23086v1
• Date: Tue, 24 Mar 2026 11:28:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.453458
• Title: Policy-based Tuning of Autoregressive Image Models with Instance- and Distribution-Level Rewards
• Title（参考訳）: インスタンスと分散レベルリワードを考慮した自己回帰画像モデルのポリシーに基づくチューニング
• Authors: Orhun Buğra Baran, Melih Kandemir, Ramazan Gokberk Cinbis,
• Abstract要約: 自己回帰モデル(AR)は画像生成に非常に効果的であるが、標準の最大形推定トレーニングではサンプルの品質と多様性を直接最適化することができない。 本稿では,トークンベースのAR推論をマルコフ決定プロセスとして,グループ相対ポリシー最適化によって最適化した軽量なRLフレームワークを提案する。 私たちの中核的な貢献は、新しい流通レベルのLeave-One-Out FID(LOO-FID)の報酬の導入です。
• 参考スコア（独自算出の注目度）: 16.135177543347773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive (AR) models are highly effective for image generation, yet their standard maximum-likelihood estimation training lacks direct optimization for sample quality and diversity. While reinforcement learning (RL) has been used to align diffusion models, these methods typically suffer from output diversity collapse. Similarly, concurrent RL methods for AR models rely strictly on instance-level rewards, often trading off distributional coverage for quality. To address these limitations, we propose a lightweight RL framework that casts token-based AR synthesis as a Markov Decision Process, optimized via Group Relative Policy Optimization (GRPO). Our core contribution is the introduction of a novel distribution-level Leave-One-Out FID (LOO-FID) reward; by leveraging an exponential moving average of feature moments, it explicitly encourages sample diversity and prevents mode collapse during policy updates. We integrate this with composite instance-level rewards (CLIP and HPSv2) for strict semantic and perceptual fidelity, and stabilize the multi-objective learning with an adaptive entropy regularization term. Extensive experiments on LlamaGen and VQGAN architectures demonstrate clear improvements across standard quality and diversity metrics within only a few hundred tuning iterations. The results also show that the model can be updated to produce competitive samples even without Classifier-Free Guidance, and bypass its 2x inference cost.
• Abstract（参考訳）: 自己回帰モデル(AR)は画像生成に非常に効果的であるが、標準の最大形推定トレーニングではサンプルの品質と多様性を直接最適化することができない。 拡散モデルを調整するために強化学習(RL)が用いられているが、これらの手法は通常、出力の多様性の崩壊に悩まされる。 同様に、ARモデルの並行RLメソッドはインスタンスレベルの報酬に厳密に依存しており、しばしば品質の分散カバレッジをトレードオフする。 これらの制約に対処するため,トークンベースのAR合成をグループ相対ポリシー最適化(GRPO)により最適化したマルコフ決定プロセスとしてキャストする軽量なRLフレームワークを提案する。 機能モーメントの指数的な移動平均を利用して、サンプルの多様性を明示的に促進し、ポリシー更新時のモード崩壊を防止する。 我々はこれを、厳密な意味と知覚の忠実度のために複合インスタンスレベル報酬(CLIPとHPSv2)と統合し、適応的エントロピー正規化項で多目的学習を安定化させる。 LlamaGenとVQGANアーキテクチャに関する大規模な実験は、数百回のチューニングイテレーションで標準品質と多様性メトリクスをまたいだ明確な改善を実証している。 また,2倍の推論コストを回避し,分類自由ガイダンスを使わずに,競合サンプルを生成するためにモデルを更新できることが示唆された。

関連論文リスト

• RS-Prune: Training-Free Data Pruning at High Ratios for Efficient Remote Sensing Diffusion Foundation Models [14.093802378976315]
  拡散型リモートセンシング(RS)生成基盤モデルは、多量のグローバルな代表データに依存している。 本稿では,高プルーニング率で高品質なサブセットを迅速に選択する,トレーニングフリーな2段階データプルーニング手法を提案する。 実験の結果, トレーニングデータの85%を刈り取った後も, コンバージェンスと生成品質が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2025-12-29T06:44:06Z)
• Enhancing Diffusion-based Restoration Models via Difficulty-Adaptive Reinforcement Learning with IQA Reward [93.04811239892852]
  強化学習(Reinforcement Learning, RL)は近年, 拡散モデルに組み入れられている。 本稿では,拡散型修復モデルにRLを効果的に組み込む方法について検討する。
  論文  参考訳（メタデータ） (2025-11-03T14:57:57Z)
• G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
  本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。 複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。 G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2025-10-02T12:57:12Z)
• MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
  VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。 我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。 数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
  論文  参考訳（メタデータ） (2025-09-25T14:58:29Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
  本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• Adaptive Multi-Fidelity Reinforcement Learning for Variance Reduction in Engineering Design Optimization [0.0]
  多要素強化学習(Multi-fidelity Reinforcement Learning, RL)フレームワークは、様々な精度とコストの分析モデルを統合することにより、計算資源を効率的に活用する。 本研究では,複数の不均一な非階層的低忠実度モデルを高忠実度モデルとともに動的に活用する適応型多忠実RLフレームワークを提案する。 提案手法の有効性はオクトコプター設計最適化問題において実証され,2つの低忠実度モデルと高忠実度シミュレータを用いた。
  論文  参考訳（メタデータ） (2025-03-23T22:29:08Z)
• ROCM: RLHF on consistency models [8.905375742101707]
  一貫性モデルにRLHFを適用するための報酬最適化フレームワークを提案する。 正規化戦略として様々な$f$-divergencesを調査し、報酬とモデルの一貫性のバランスを崩す。
  論文  参考訳（メタデータ） (2025-03-08T11:19:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。