論文の概要: Harness Local Rewards for Global Benefits: Effective Text-to-Video Generation Alignment with Patch-level Reward Models

• arxiv url: http://arxiv.org/abs/2502.06812v1
• Date: Tue, 04 Feb 2025 21:10:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-16 04:07:10.108836
• Title: Harness Local Rewards for Global Benefits: Effective Text-to-Video Generation Alignment with Patch-level Reward Models
• Title（参考訳）: グローバルベネフィットのためのハーネスローカルリワード:パッチレベルのリワードモデルを用いた効果的なテキスト・ビデオ生成アライメント
• Authors: Shuting Wang, Haihong Tang, Zhicheng Dou, Chenyan Xiong,
• Abstract要約: 本稿では,パッチ報酬モデルからの局所的なフィードバックを明示的に取り入れた,VGMのためのポストトレーニング戦略HALOを提案する。 効果的なパッチ報酬モデルを開発するために,GPT-4oを蒸留し,映像報酬モデルを継続的に訓練する。 VGM最適化にパッチ報酬を調和的に組み込むため、DMのための粒度DPO(Gran-DPO)アルゴリズムを導入する。
• 参考スコア（独自算出の注目度）: 38.98156652382102
• License:
• Abstract: The emergence of diffusion models (DMs) has significantly improved the quality of text-to-video generation models (VGMs). However, current VGM optimization primarily emphasizes the global quality of videos, overlooking localized errors, which leads to suboptimal generation capabilities. To address this issue, we propose a post-training strategy for VGMs, HALO, which explicitly incorporates local feedback from a patch reward model, providing detailed and comprehensive training signals with the video reward model for advanced VGM optimization. To develop an effective patch reward model, we distill GPT-4o to continuously train our video reward model, which enhances training efficiency and ensures consistency between video and patch reward distributions. Furthermore, to harmoniously integrate patch rewards into VGM optimization, we introduce a granular DPO (Gran-DPO) algorithm for DMs, allowing collaborative use of both patch and video rewards during the optimization process. Experimental results indicate that our patch reward model aligns well with human annotations and HALO substantially outperforms the baselines across two evaluation methods. Further experiments quantitatively prove the existence of patch defects, and our proposed method could effectively alleviate this issue.
• Abstract（参考訳）: 拡散モデル(DM)の出現により,テキスト・ビデオ生成モデル(VGM)の品質が大幅に向上した。 しかしながら、現在のVGM最適化は、主にビデオのグローバルな品質を強調し、局所的なエラーを見落とし、最適以下の生成能力をもたらす。 この問題に対処するため、我々はパッチ報酬モデルからの局所的なフィードバックを明示的に取り入れたVGMのポストトレーニング戦略HALOを提案し、より高度なVGM最適化のためのビデオ報酬モデルで詳細な総合的なトレーニング信号を提供する。 効果的なパッチ報酬モデルを開発するために,GPT-4oを蒸留してビデオ報酬モデルを継続的に訓練し,トレーニング効率を高め,ビデオとパッチ報酬の分布の整合性を確保する。 さらに、VGM最適化にパッチ報酬を調和的に組み込むため、最適化プロセス中にパッチ報酬とビデオ報酬の協調利用を可能にする粒度のDPO(Gran-DPO)アルゴリズムを導入している。 実験の結果,パッチ報酬モデルは人間のアノテーションとよく一致し,HALOは2つの評価手法でベースラインを大幅に上回ることがわかった。 さらなる実験によりパッチ欠陥の存在が定量的に証明され,提案手法はこの問題を効果的に緩和することができる。

関連論文リスト

• IPO: Iterative Preference Optimization for Text-to-Video Generation [15.763879468841818]
  人間のフィードバックを取り入れて生成した映像の質を高めるための反復選好最適化手法を提案する。 IPOは、直接選好最適化(Direct Preference Optimization)やポイントワイズスコア(point-wise score)のように、ビデオ世代をペアワイズランキングで正当化する批判モデルを活用する。 さらに、IPOは批判モデルにマルチモダリティの大規模言語モデルを導入し、リトレーニングや緩和を必要とせず、自動的に好みラベルを割り当てることを可能にする。
  論文  参考訳（メタデータ） (2025-02-04T08:14:34Z)
• Improving Video Generation with Human Feedback [81.48120703718774]
  ビデオ生成は大きな進歩を遂げているが、動画とプロンプト間の不規則な動きや不一致といった問題が続いている。 我々は、人間のフィードバックを利用してこれらの問題を緩和し、ビデオ生成モデルを洗練する体系的なパイプラインを開発する。 多次元ビデオ報酬モデルであるVideoRewardを導入し、アノテーションと様々なデザイン選択が報奨効果に与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-23T18:55:41Z)
• OnlineVPO: Align Video Diffusion Model with Online Video-Centric Preference Optimization [30.6130504613716]
  本稿では,ビデオ拡散モデルに特化した嗜好学習手法であるOnlineVPOを紹介する。 OnlineVPOは、ビデオ報酬モデルを使用して、簡潔なビデオフィードバックをオンザフライで提供することにより、効率的かつ効率的な選好ガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-12-19T18:34:50Z)
• Approximated Variational Bayesian Inverse Reinforcement Learning for Large Language Model Alignment [0.618727087412292]
  大規模言語モデル(LLM)のアライメントは、有用で無害なコンテンツを生成するために不可欠である。 既存のアプローチでは、好みに基づく人間のフィードバックデータを利用して報酬関数を学習する。 近似変分アライメント学習(AVRIL)によるLLMアライメントを実現するための新しいトレーニング目標である近似変分アライメント(AVA)を提案する。
  論文  参考訳（メタデータ） (2024-11-14T10:37:34Z)
• Direct Preference Optimization of Video Large Multimodal Models from Language Model Reward [118.65089648651308]
  本稿では,映像コンテンツのプロキシとして詳細な動画キャプションを利用する新しいフレームワークを提案する。 本稿では,DPOによる報酬の調整により,ビデオ質問応答(QA)タスクにおけるビデオLMMの性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2024-04-01T17:28:16Z)
• Improving Reinforcement Learning from Human Feedback with Efficient Reward Model Ensemble [67.4269821365504]
  人間のフィードバックからの強化学習(Reinforcement Learning from Human Feedback, RLHF)は、大きな言語モデルと人間の価値を整合させる手法として広く採用されている。 しかし、RLHFは限られた量の人間の嗜好データで訓練された報酬モデルに依存している。 報奨モデルによりより正確な予測が可能となる報奨アンサンブル法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T00:17:37Z)
• InstructVideo: Instructing Video Diffusion Models with Human Feedback [65.9590462317474]
  InstructVideo は人からのフィードバックでテキスト・ビデオ拡散モデルに報酬の微調整を施す。 InstructVideoには2つの重要な要素がある: 1) 全DDIMサンプリングチェーンを通じて発生する報酬微調整のコストを改善するために、編集として報酬微調整を再放送する。
  論文  参考訳（メタデータ） (2023-12-19T17:55:16Z)
• Aligning Large Multimodal Models with Factually Augmented RLHF [176.54751941088819]
  大規模マルチモーダルモデル(LMM)はモダリティにまたがって構築され、2つのモダリティ間のミスアライメントは「ハロシン化」をもたらす。 テキスト領域から視覚言語アライメントのタスクまで,RLHF(Reinforcement Learning from Human Feedback)を適応させる。 本稿では、報酬モデルに付加的な事実情報を追加するFactually Augmented RLHFという新しいアライメントアルゴリズムを提案する。 提案手法は,テキストのみのGPT-4の性能レベルが94%であるLLaVA-Benchデータセットにおいて,顕著な改善を実現している。
  論文  参考訳（メタデータ） (2023-09-25T20:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。