論文の概要: CoRe: Co-Evolving Reward Models for Mitigating Latent Reward Hacking in Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2609.36245v1
• Date: Mon, 28 Sep 2026 20:38:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.006924
• Title: CoRe: Co-Evolving Reward Models for Mitigating Latent Reward Hacking in Video Diffusion Models
• Title（参考訳）: CoRe:ビデオ拡散モデルにおける遅延リワードハックの緩和のための共進化リワードモデル
• Abstract要約: CoReは、潜在空間アライメントをジェネレータと報酬モデルの間の動的相互作用として扱う共進化型報酬フレームワークである。 Wan2.1-T2V-1.3B では、CoRe が事前訓練されたモデルと事前アライメント法の両方よりも連続的に生成品質を向上させることを示した。
• 参考スコア（独自算出の注目度）: 26.18170089909039
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Latent reward models (LRMs) enable efficient alignment of video diffusion models by scoring intermediate states directly in latent space. However, we find that optimizing against a fixed latent reward rapidly leads to latent reward hacking: the predicted reward stays high while perceptual and motion quality deteriorate. Our analysis identifies distributional escape as the central cause: within a few hundred updates, the generator moves beyond the reward model's training support, where its scores no longer reflect video quality. Based on this insight, we introduce CoRe, a co-evolving reward framework that treats latent-space alignment as a dynamic interaction between the generator and the reward model. Rather than optimizing against a stationary proxy, CoRe continually refits the reward model on the generator's current samples while anchoring it to real-video preferences, so the generator cannot gain reward by drifting away from the data. On Wan2.1-T2V-1.3B, experiments show that CoRe consistently improves generation quality over both the pretrained model and prior alignment methods, while avoiding the quality collapse of fixed-reward optimization.
• Abstract（参考訳）: 潜時報酬モデル(LRM)は、潜時空間の中間状態を直接スコアリングすることにより、映像拡散モデルの効率的なアライメントを可能にする。 しかし、固定された潜伏報酬に対する最適化は、迅速に潜伏報酬のハッキングにつながることが判明した。 我々の分析では、分散エスケープが中心的な原因であると認識し、数百回の更新で、ジェネレータは報酬モデルのトレーニングサポートを超えて移動し、スコアはビデオの品質を反映しない。 この知見に基づいて、我々は、ラテント空間アライメントをジェネレータと報酬モデルの間の動的相互作用として扱う共進化型報酬フレームワークであるCoReを紹介する。 静止プロキシに最適化するのではなく、CoReはジェネレータの現在のサンプルの報酬モデルを継続的に修正し、実際のビデオ設定に固定するので、データからドリフトすることで報酬を得ることはできない。 Wan2.1-T2V-1.3B実験では、CoReは固定逆最適化の品質崩壊を回避しつつ、事前訓練されたモデルと事前アライメント手法の両方で生成品質を一貫して改善することを示した。

関連論文リスト

• RMB: Reward Model Boosting Mitigates Reward Hacking [26.152198203272565]
  ヒューマンフィードバックからの強化学習(Reinforcement Learning from Human Feedback)は、大きな言語モデルと人間の好みを整合させる技術である。 ポリシーの最適化がプロキシの報酬モデルを改善するという、報酬のハッキング問題に悩まされることが多い。 本稿では,RLHF に対する報酬信号の堅牢性と信頼性を高める新しい手法である Reward Model Boosting (RMB) を提案する。
  論文  参考訳（メタデータ） (2026-09-27T05:03:12Z)
• RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling [30.036504233085623]
  ビデオ生成モデルの最適化には強化学習が不可欠である。 ビデオ報酬モデルは、複雑な主観的なビデオ品質を直接1つのスコアにマッピングするため、不安定なスカラースコアを生成する。 RewardVerseは,ルーリックベースのビデオ報酬フレームワークである。
  論文  参考訳（メタデータ） (2026-09-19T11:01:14Z)
• Reward Lightning: Fast Video Generation via Homologous Preference Distillation [16.909916837264074]
  Reward Lightningは、単一の共有表現内でビデオ拡散モデルを調整し、加速する統合フレームワークである。 その中心となる原理はホモロジーであり、不随伴表現に対して最適化されたときに生じる勾配の矛盾を緩和する。 実験により、LRMは画素レベルの報酬ベースラインと潜在レベルの報酬ベースラインを11.0%$と14.7%$の優先精度で上回っていることが示された。
  論文  参考訳（メタデータ） (2026-07-04T17:32:35Z)
• Pareto-Guided Optimal Transport for Multi-Reward Alignment [59.776579791864805]
  我々は、不均一な報酬上限の下で、統一されたグローバルターゲットに対して最適化する方法を示す。 我々は、様々な報酬信号特性に合わせたオンラインとオフラインの最適化戦略を開発した。 提案手法は, 関節支配率(JDR)が11%向上し, 人体評価において約80%の勝利率を達成した。
  論文  参考訳（メタデータ） (2026-05-13T08:19:48Z)
• RationalRewards: Reasoning Rewards Scale Visual Generation Both Training and Test Time [51.256131853751754]
  本研究では,多次元的批判を明示的に生成するために報酬モデルを教えることで,受動的評価器から能動的最適化ツールへ変換することを示す。 提案手法では, 嗜好データから高品質な論理を復元する原理的フレームワークであるpreference-Anchored Rationalization (PARROT) を導入する。 その結果、RationalRewards (8B) は、オープンソース報酬モデル間の最先端の好み予測を実現する。
  論文  参考訳（メタデータ） (2026-04-13T15:38:09Z)
• GDRO: Group-level Reward Post-training Suitable for Diffusion Models [55.948229011478304]
  グループレベルの報酬は、モデルを目標とする報酬と整合させるのに成功します。 Group-level Direct Reward Optimization (GDRO)は、グループレベルの報酬アライメントのための新しいトレーニング後のパラダイムである。 GDROは完全なオフライントレーニングをサポートし、画像ロールアウトサンプリングの大幅なコスト削減を実現する。 これは拡散サンプラー非依存であり、取得性に対するODE-to-SDE近似の必要性を排除している。
  論文  参考訳（メタデータ） (2026-01-05T11:47:18Z)
• Reward Forcing: Efficient Streaming Video Generation with Rewarded Distribution Matching Distillation [69.57572900337176]
  本稿では,効率的なストリーミングビデオ生成のための新しいフレームワークであるReward Forcingを紹介する。 EMA-Sinkトークンは、長期コンテキストと最近のダイナミクスの両方をキャプチャし、初期フレームコピーを防ぐ。 Re-DMDは、視覚言語モデルにより評価されたより大きなダイナミックスを持つサンプルを優先順位付けすることで、モデル出力分布を高逆領域にバイアスする。
  論文  参考訳（メタデータ） (2025-12-04T11:12:13Z)
• Elephant in the Room: Unveiling the Impact of Reward Model Quality in Alignment [50.21842377409232]
  重要な役割の報酬モデルが整列するにもかかわらず、以前の作品は一貫してパフォーマンスを見落としている。 本研究は、まず、広く使われている嗜好データセットHH-RLHFの品質を調査し、クリーンバージョンCHH-RLHFをキュレートする。 本稿では,CHH-RLHFに基づいて,従来のアライメント作業で使用する幅広い報酬モデルの精度をベンチマークし,最適化と評価の両方に使用するという信頼性の欠如を明らかにした。
  論文  参考訳（メタデータ） (2024-09-26T04:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。