論文の概要: Manifold-Aware Exploration for Reinforcement Learning in Video Generation

• arxiv url: http://arxiv.org/abs/2603.21872v1
• Date: Mon, 23 Mar 2026 12:04:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.650392
• Title: Manifold-Aware Exploration for Reinforcement Learning in Video Generation
• Title（参考訳）: 映像生成における強化学習のためのマニフォールド対応探索
• Authors: Mingzhe Zheng, Weijie Kong, Yue Wu, Dengyang Jiang, Yue Ma, Xuanhua He, Bin Lin, Kaixiong Gong, Zhao Zhong, Liefeng Bo, Qifeng Chen, Harry Yang,
• Abstract要約: FlowGRPOのようなビデオ生成のためのグループ相対ポリシー最適化(GRPO)手法は、言語モデルや画像よりもはるかに信頼性が低い。 このギャップは、ビデオ生成が複雑な解空間を持ち、探索に使用されるODE-to-SDE変換が余剰ノイズを注入できるため生じる。 SAGE-GRPO(Stable Alignment via Exploration)を提案する。
• 参考スコア（独自算出の注目度）: 62.48300523142513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group Relative Policy Optimization (GRPO) methods for video generation like FlowGRPO remain far less reliable than their counterparts for language models and images. This gap arises because video generation has a complex solution space, and the ODE-to-SDE conversion used for exploration can inject excess noise, lowering rollout quality and making reward estimates less reliable, which destabilizes post-training alignment. To address this problem, we view the pre-trained model as defining a valid video data manifold and formulate the core problem as constraining exploration within the vicinity of this manifold, ensuring that rollout quality is preserved and reward estimates remain reliable. We propose SAGE-GRPO (Stable Alignment via Exploration), which applies constraints at both micro and macro levels. At the micro level, we derive a precise manifold-aware SDE with a logarithmic curvature correction and introduce a gradient norm equalizer to stabilize sampling and updates across timesteps. At the macro level, we use a dual trust region with a periodic moving anchor and stepwise constraints so that the trust region tracks checkpoints that are closer to the manifold and limits long-horizon drift. We evaluate SAGE-GRPO on HunyuanVideo1.5 using the original VideoAlign as the reward model and observe consistent gains over previous methods in VQ, MQ, TA, and visual metrics (CLIPScore, PickScore), demonstrating superior performance in both reward maximization and overall video quality. The code and visual gallery are available at https://dungeonmassster.github.io/SAGE-GRPO-Page/.
• Abstract（参考訳）: FlowGRPOのようなビデオ生成のためのグループ相対ポリシー最適化(GRPO)手法は、言語モデルや画像よりもはるかに信頼性が低い。 このギャップは、ビデオ生成が複雑な解空間を持ち、探索に使用されるODE-to-SDE変換は、余剰ノイズを注入し、ロールアウト品質を低下させ、報奨評価を信頼性が低くし、トレーニング後のアライメントが不安定になるため生じる。 この問題に対処するために、事前学習されたモデルは有効なビデオデータ多様体の定義であり、コア問題をこの多様体の近傍での探索の制約として定式化し、ロールアウト品質が維持され、報酬推定が信頼性を保つことを保証する。 SAGE-GRPO(Stable Alignment via Exploration)を提案する。 マイクロレベルでは、対数曲率補正を施した正確な多様体対応SDEを導出し、サンプリングとタイムステップ間の更新を安定化する勾配ノルム等化器を導入する。 マクロレベルでは、周期的移動アンカーと段階的制約を持つ二重信頼領域を用いて、信頼領域は多様体に近づき、長水平ドリフトを制限するチェックポイントを追跡する。 我々は,HunyuanVideo1.5上のSAGE-GRPOを,元のVideoAlignを報酬モデルとして評価し,VQ,MQ,TAおよびビジュアルメトリクス(CLIPScore,PickScore)の従来の手法よりも一貫した利得を観察し,報酬の最大化と全体的な画質の両方において優れた性能を示す。 コードとビジュアルギャラリーはhttps://dungeonmassster.github.io/SAGE-GRPO-Page/で公開されている。

関連論文リスト

• VIGOR: VIdeo Geometry-Oriented Reward for Temporal Generative Alignment [15.619170225414571]
  ビデオ拡散モデルは、トレーニング中に明らかな幾何学的監督が欠如し、矛盾したアーティファクトにつながった。 本稿では,事前学習した幾何学的基礎モデルを利用して,多視点の一貫性を評価する幾何学的報酬モデルを提案する。 提案手法は, 誤差計算をポイントワイズで行うことにより, より物理的に基礎的かつロバストな誤差測定値が得られる。
  論文  参考訳（メタデータ） (2026-03-17T09:04:10Z)
• VideoHEDGE: Entropy-Based Hallucination Detection for Video-VLMs via Semantic Clustering and Spatiotemporal Perturbations [4.509454543418357]
  ビデオ対応視覚モデル (VideoVLMs) の幻覚は、今も頻繁かつ高信頼である。 質問応答における幻覚検出のためのモジュラーフレームワークであるVideoHedGEを紹介する。
  論文  参考訳（メタデータ） (2026-01-13T13:42:05Z)
• Mind the Generative Details: Direct Localized Detail Preference Optimization for Video Diffusion Models [65.16788152626499]
  LocalDPOは、ビデオ拡散モデルと人間の好みを一致させる新しいフレームワークを構築している。 そこで我々は,LocalDPOがビデオの忠実度,時間的コヒーレンス,人間の嗜好スコアを,他のポストトレーニングアプローチよりも一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-01-07T16:32:17Z)
• CAMP-VQA: Caption-Embedded Multimodal Perception for No-Reference Quality Assessment of Compressed Video [9.172799792564009]
  本稿では,大規模モデルの意味理解機能を活用した新しいNR-VQAフレームワークであるCAMP-VQAを提案する。 本手法では,フレーム間変動から抽出したキーフラグメントを統合する品質対応ビデオメタデータ機構を提案する。 我々のモデルは既存のNR-VQA法を一貫して上回り、手作業の細かいアノテーションを使わずに精度の向上を実現している。
  論文  参考訳（メタデータ） (2025-11-10T16:37:47Z)
• HyPCV-Former: Hyperbolic Spatio-Temporal Transformer for 3D Point Cloud Video Anomaly Detection [1.475698751142657]
  HyV-Formerは、複数の異常カテゴリにわたる最先端の異常検出を実現し、TIMoデータセットは7%改善され、DADデータセットは5.6%向上した。
  論文  参考訳（メタデータ） (2025-08-01T09:50:20Z)
• Transform-Equivariant Consistency Learning for Temporal Sentence Grounding [66.10949751429781]
  ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。 私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。 特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
  論文  参考訳（メタデータ） (2023-05-06T19:29:28Z)
• Flow-Guided Sparse Transformer for Video Deblurring [124.11022871999423]
  FlowGuided Sparse Transformer (F GST) はビデオデブリのためのフレームワークである。 FGSW-MSAは、推定光流のガイダンスを楽しみ、隣り合うフレームの同じシーンパッチに対応する、空間的にスパースな要素を世界中にサンプリングする。 提案するFGSTは,DVDおよびGOPROデータセットの最先端パッチよりも優れており,実際のビデオの劣化に対して,より視覚的に満足な結果が得られる。
  論文  参考訳（メタデータ） (2022-01-06T02:05:32Z)
• Robust Unsupervised Video Anomaly Detection by Multi-Path Frame Prediction [61.17654438176999]
  本稿では,フレーム予測と適切な設計による新規で頑健な非教師付きビデオ異常検出手法を提案する。 提案手法は,CUHK Avenueデータセット上で88.3%のフレームレベルAUROCスコアを得る。
  論文  参考訳（メタデータ） (2020-11-05T11:34:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。