論文の概要: Prompt-A-Video: Prompt Your Video Diffusion Model via Preference-Aligned LLM

• arxiv url: http://arxiv.org/abs/2412.15156v1
• Date: Thu, 19 Dec 2024 18:32:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:32:58.912249
• Title: Prompt-A-Video: Prompt Your Video Diffusion Model via Preference-Aligned LLM
• Title（参考訳）: Prompt-A-Video:Preference-Aligned LLMによるビデオ拡散モデルのプロンプト
• Authors: Yatai Ji, Jiacheng Zhang, Jie Wu, Shilong Zhang, Shoufa Chen, Chongjian GE, Peize Sun, Weifeng Chen, Wenqi Shao, Xuefeng Xiao, Weilin Huang, Ping Luo,
• Abstract要約: テキスト・ビデオ・モデルは高品質のテキスト・ビデオ・ペアを最適化することで顕著な進歩を遂げた。 現在の精製の自動化手法は、モダリティ・一貫性、コスト分散、モデルウナウエアといった課題に直面する。 Prompt-A-Videoは、特定のビデオ拡散モデルに合わせた、ビデオ中心、労働自由、調整されたプロンプトの製作に優れる。
• 参考スコア（独自算出の注目度）: 54.2320450886902
• License:
• Abstract: Text-to-video models have made remarkable advancements through optimization on high-quality text-video pairs, where the textual prompts play a pivotal role in determining quality of output videos. However, achieving the desired output often entails multiple revisions and iterative inference to refine user-provided prompts. Current automatic methods for refining prompts encounter challenges such as Modality-Inconsistency, Cost-Discrepancy, and Model-Unaware when applied to text-to-video diffusion models. To address these problem, we introduce an LLM-based prompt adaptation framework, termed as Prompt-A-Video, which excels in crafting Video-Centric, Labor-Free and Preference-Aligned prompts tailored to specific video diffusion model. Our approach involves a meticulously crafted two-stage optimization and alignment system. Initially, we conduct a reward-guided prompt evolution pipeline to automatically create optimal prompts pool and leverage them for supervised fine-tuning (SFT) of the LLM. Then multi-dimensional rewards are employed to generate pairwise data for the SFT model, followed by the direct preference optimization (DPO) algorithm to further facilitate preference alignment. Through extensive experimentation and comparative analyses, we validate the effectiveness of Prompt-A-Video across diverse generation models, highlighting its potential to push the boundaries of video generation.
• Abstract（参考訳）: テキスト・ツー・ビデオ・モデルは高品質なテキスト・ビデオ・ペアの最適化を通じて顕著な進歩を遂げており、テキスト・プロンプトは出力ビデオの品質を決定する上で重要な役割を担っている。 しかし、所望の出力を達成するには、ユーザが提供するプロンプトを洗練させるために、複数のリビジョンと反復推論が必要となることが多い。 現在の精製法は,テキスト・ビデオ拡散モデルに適用した場合,モダリティ・一貫性,コスト・不一致,モデル・ウナウェアといった課題に直面する。 これらの問題に対処するために,ビデオ中心,労働自由,優先適応のプロンプトを制作する上で優れた,プロンプト・A・ビデオ(Prompt-A-Video)と呼ばれるLCMベースのプロンプト適応フレームワークを導入する。 当社のアプローチでは、2段階最適化とアライメントを慎重に構築する。 最初は報酬誘導型プロンプト進化パイプラインを用いて、最適なプロンプトプールを自動生成し、それらをLLMの教師付き微調整(SFT)に活用する。 次に、SFTモデルのためのペアワイズデータを生成するために多次元報酬を用い、続いて直接選好最適化(DPO)アルゴリズムを用いて、選好アライメントをさらに容易にする。 広範にわたる実験と比較分析を通じて,様々な世代モデルにおけるPrompt-A-Videoの有効性を検証し,ビデオ生成の境界を押し上げる可能性を強調した。

関連論文リスト

• VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval [8.908777234657046]
  大規模言語モデルと視覚言語モデル(LLM/LVLM)は、様々な領域で広く普及している。 ここでは、(i)Convolutional ProjectionとFeature Refinementモジュールを通してこれらの制限に対処する新しいHD/MRフレームワークであるVideoLightsを提案する。 QVHighlights、TVSum、Charades-STAベンチマークに関する総合的な実験は、最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-12-02T14:45:53Z)
• Optical-Flow Guided Prompt Optimization for Coherent Video Generation [51.430833518070145]
  我々は,光フローによる映像生成プロセスをガイドするMotionPromptというフレームワークを提案する。 ランダムフレーム対に適用した訓練された識別器の勾配を用いて,逆サンプリングステップにおける学習可能なトークン埋め込みを最適化する。 提案手法により,生成したコンテンツの忠実さを損なうことなく,自然な動きのダイナミクスを忠実に反映した視覚的コヒーレントな映像シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2024-11-23T12:26:52Z)
• Direct Preference Optimization of Video Large Multimodal Models from Language Model Reward [118.65089648651308]
  本稿では,映像コンテンツのプロキシとして詳細な動画キャプションを利用する新しいフレームワークを提案する。 本稿では,DPOによる報酬の調整により,ビデオ質問応答(QA)タスクにおけるビデオLMMの性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2024-04-01T17:28:16Z)
• Tuning Large Multimodal Models for Videos using Reinforcement Learning from AI Feedback [38.708690624594794]
  ビデオとテキストのマルチモーダルアライメントは、主にマルチモーダル命令・チューンデータのボリュームと品質が不足しているため、依然として困難である。 本稿では,AIフィードバックからの強化学習(Reinforcement Learning from AI Feedback, RLAIF)と呼ばれる,マルチモーダルAIシステムを用いた新たなアライメント戦略を提案する。 具体的には、嗜好フィードバックの生成中に、詳細な映像記述を文脈として提供することによって、文脈対応報酬モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-06T06:27:40Z)
• VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
  本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。 データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。 機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
  論文  参考訳（メタデータ） (2023-12-04T19:48:02Z)
• LLM-grounded Video Diffusion Models [57.23066793349706]
  ビデオ拡散モデルは、ニューラル・テンポラル・ジェネレーションのための有望なツールとして登場した。 現在のモデルはプロンプトに苦しむが、しばしば制限されたり、誤った動きをする。 LLM-grounded Video Diffusion (LVD)を紹介する。 以上の結果から,LVDはベース映像拡散モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2023-09-29T17:54:46Z)
• Control-A-Video: Controllable Text-to-Video Diffusion Models with Motion Prior and Reward Feedback Learning [50.60891619269651]
  Control-A-Videoは制御可能なT2V拡散モデルであり、テキストプロンプトやエッジや奥行きマップのような参照制御マップに条件付のビデオを生成することができる。 本稿では,拡散に基づく生成プロセスに,コンテンツの事前と動作を組み込む新しい手法を提案する。 我々のフレームワークは、制御可能なテキスト・ツー・ビデオ生成における既存の最先端手法と比較して、高品質で一貫性のあるビデオを生成する。
  論文  参考訳（メタデータ） (2023-05-23T09:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。