論文の概要: AR-CoPO: Align Autoregressive Video Generation with Contrastive Policy Optimization

• arxiv url: http://arxiv.org/abs/2603.17461v1
• Date: Wed, 18 Mar 2026 08:07:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.577082
• Title: AR-CoPO: Align Autoregressive Video Generation with Contrastive Policy Optimization
• Title（参考訳）: AR-CoPO: コントラストポリシー最適化による自動回帰ビデオ生成
• Authors: Dailan He, Guanlin Feng, Xingtong Ge, Yi Zhang, Bingqi Ma, Guanglu Song, Yu Liu, Hongsheng Li,
• Abstract要約: ストリーミング自動回帰(AR)ビデオジェネレータと数段蒸留を組み合わせることで、低レイテンシで高品質な合成を実現する。 本稿では,ストリーミングAR生成に対するNighbor GRPOのコントラスト的視点を適応させるフレームワークであるAR-CoPOを提案する。
• 参考スコア（独自算出の注目度）: 47.39648302477585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Streaming autoregressive (AR) video generators combined with few-step distillation achieve low-latency, high-quality synthesis, yet remain difficult to align via reinforcement learning from human feedback (RLHF). Existing SDE-based GRPO methods face challenges in this setting: few-step ODEs and consistency model samplers deviate from standard flow-matching ODEs, and their short, low-stochasticity trajectories are highly sensitive to initialization noise, rendering intermediate SDE exploration ineffective. We propose AR-CoPO (AutoRegressive Contrastive Policy Optimization), a framework that adapts the Neighbor GRPO contrastive perspective to streaming AR generation. AR-CoPO introduces chunk-level alignment via a forking mechanism that constructs neighborhood candidates at a randomly selected chunk, assigns sequence-level rewards, and performs localized GRPO updates. We further propose a semi-on-policy training strategy that complements on-policy exploration with exploitation over a replay buffer of reference rollouts, improving generation quality across domains. Experiments on Self-Forcing demonstrate that AR-CoPO improves both out-of-domain generalization and in-domain human preference alignment over the baseline, providing evidence of genuine alignment rather than reward hacking.
• Abstract（参考訳）: ストリーミング自己回帰(AR)ビデオジェネレータと数段蒸留を組み合わせることで、低レイテンシで高品質な合成を実現するが、人間のフィードバック(RLHF)からの強化学習により整合が困難である。 数ステップのODEと一貫性モデル サンプルは標準的なフローマッチング ODE から逸脱し、その短い低確率軌道は初期化ノイズに非常に敏感であり、中間SDE探索は非効率である。 本稿では,近隣のGRPOのコントラスト的視点をストリーミングAR生成に適用するフレームワークであるAR-CoPO(AutoRegressive Contrastive Policy Optimization)を提案する。 AR-CoPOは、ランダムに選択されたチャンクで近隣候補を構築し、シーケンスレベルの報酬を割り当て、ローカライズされたGRPO更新を実行するフォーク機構を介してチャンクレベルのアライメントを導入する。 さらに、参照ロールアウトのリプレイバッファを悪用し、ドメイン間の生成品質を向上させることで、政治上の探究を補完するセミ・オン・ポリティクス・トレーニング戦略を提案する。 セルフフォースの実験では、AR-CoPOはドメイン外の一般化と、ベースライン上のドメイン内の人間の嗜好アライメントの両方を改善し、報酬ハックよりも真のアライメントの証拠を提供する。

関連論文リスト

• DenseGRPO: From Sparse to Dense Reward for Flow Matching Model Alignment [49.45064510462232]
  テキスト・画像生成のためのGRPOベースのアプローチは、スパース報酬問題に悩まされる。 textbfDenseGRPOは、人間の好みと深い報酬を一致させる新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-01-28T03:39:05Z)
• Coverage Improvement and Fast Convergence of On-policy Preference Learning [67.36750525893514]
  言語モデルアライメントのためのオンラインのオンラインプライオリティ学習アルゴリズムは、オフラインのアルゴリズムよりも大幅に優れている。 我々は,サンプリング政策の包括的範囲が政治訓練を通じてどのように進展するかを分析する。 一般機能クラス設定における報奨蒸留のための原則的オンライン方式を開発した。
  論文  参考訳（メタデータ） (2026-01-13T10:46:06Z)
• VAR RL Done Right: Tackling Asynchronous Policy Conflicts in Visual Autoregressive Generation [31.201343197395573]
  ビジュアル生成はAutoRegressive(AR)、拡散、Visual AutoRegressive(VAR)の3つのパラダイムで支配されている。 ARや拡散とは異なり、VARは生成ステップをまたいだ異種入力構造で動作し、厳しい非同期ポリシーの衝突を引き起こす。 本稿では,これらの対立を明示的に管理することで,グループ相対政策最適化(GRPO)を強化する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2026-01-05T16:36:40Z)
• Growing with the Generator: Self-paced GRPO for Video Generation [45.5073437581357]
  グループ相対政策最適化は、ビデオ生成後のモデルのための強力な強化学習パラダイムとして登場した。 本稿では,報奨フィードバックをジェネレータと共進化させる能力を考慮したGRPOフレームワークであるSelf-Paced GRPOを提案する。 生成品質が向上するにつれて、粗い視覚的忠実度から時間的コヒーレンス、微粒なテキスト・ビデオ・セマンティックアライメントに重点を移すプログレッシブ報酬機構を導入する。
  論文  参考訳（メタデータ） (2025-11-24T17:56:03Z)
• Neighbor GRPO: Contrastive ODE Policy Optimization Aligns Flow Models [48.3520220561093]
  グループ相対政策最適化は、画像とビデオ生成モデルと人間の嗜好の整合性を示す。 現代のフローマッチングモデルに適用することは、決定論的サンプリングパラダイムのために難しい。 SDE の必要性を完全に回避する新しいアライメントアルゴリズム Neighbor GRPO を提案する。
  論文  参考訳（メタデータ） (2025-11-21T05:02:47Z)
• G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
  本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。 複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。 G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2025-10-02T12:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。