論文の概要: RISE-T2V: Rephrasing and Injecting Semantics with LLM for Expansive Text-to-Video Generation

• arxiv url: http://arxiv.org/abs/2511.04317v1
• Date: Thu, 06 Nov 2025 12:42:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.417614
• Title: RISE-T2V: Rephrasing and Injecting Semantics with LLM for Expansive Text-to-Video Generation
• Title（参考訳）: RISE-T2V:拡張テキスト・ビデオ生成のためのLLMによる意味論の表現と注入
• Authors: Xiangjun Zhang, Litong Gong, Yinglin Zheng, Yansong Liu, Wentao Jiang, Mingyi Xu, Biao Wang, Tiezheng Ge, Ming Zeng,
• Abstract要約: RISE-T2Vを導入し,迅速な言い換えと意味的特徴抽出のプロセスを一つのステップに統合する。 本稿では,テキスト隠れ状態を利用した拡散モデルを実現するRephrasing Adapterという革新的なモジュールを提案する。
• 参考スコア（独自算出の注目度）: 19.127189099122244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most text-to-video(T2V) diffusion models depend on pre-trained text encoders for semantic alignment, yet they often fail to maintain video quality when provided with concise prompts rather than well-designed ones. The primary issue lies in their limited textual semantics understanding. Moreover, these text encoders cannot rephrase prompts online to better align with user intentions, which limits both the scalability and usability of the models, To address these challenges, we introduce RISE-T2V, which uniquely integrates the processes of prompt rephrasing and semantic feature extraction into a single and seamless step instead of two separate steps. RISE-T2V is universal and can be applied to various pre-trained LLMs and video diffusion models(VDMs), significantly enhancing their capabilities for T2V tasks. We propose an innovative module called the Rephrasing Adapter, enabling diffusion models to utilize text hidden states during the next token prediction of the LLM as a condition for video generation. By employing a Rephrasing Adapter, the video generation model can implicitly rephrase basic prompts into more comprehensive representations that better match the user's intent. Furthermore, we leverage the powerful capabilities of LLMs to enable video generation models to accomplish a broader range of T2V tasks. Extensive experiments demonstrate that RISE-T2V is a versatile framework applicable to different video diffusion model architectures, significantly enhancing the ability of T2V models to generate high-quality videos that align with user intent. Visual results are available on the webpage at https://rise-t2v.github.io.
• Abstract（参考訳）: ほとんどのテキスト・トゥ・ビデオ(T2V)拡散モデルは、セマンティックアライメントのための事前訓練されたテキストエンコーダに依存している。 主な問題は、限られたテキスト意味論の理解にある。 さらに、これらのテキストエンコーダは、モデルのスケーラビリティとユーザビリティの両方を制限し、ユーザの意図に合うよう、オンラインでプロンプトをリフレッシュできない。これらの課題に対処するために、RISE-T2Vを導入します。 RISE-T2Vは普遍的で、様々な事前訓練されたLLMやビデオ拡散モデル(VDM)に適用でき、T2Vタスクの能力を大幅に向上させることができる。 本稿では,LLMの次のトークン予測において,拡散モデルによるテキスト隠蔽状態をビデオ生成の条件として活用する,Rephrasing Adapterと呼ばれる革新的なモジュールを提案する。 Rephrasing Adapterを使用することで、ビデオ生成モデルは、基本的なプロンプトを暗黙的に、ユーザの意図に合ったより包括的な表現に表現することができる。 さらに、LLMの強力な能力を活用して、ビデオ生成モデルが広範囲のT2Vタスクを達成できるようにする。 RISE-T2Vは様々なビデオ拡散モデルアーキテクチャに適用可能なフレームワークであり、ユーザの意図に合わせた高品質なビデオを生成するためのT2Vモデルの能力を大幅に向上することを示した。 ビジュアルな結果は、https://rise-t2v.github.io.comで公開されている。

関連論文リスト

• Mimir: Improving Video Diffusion Models for Precise Text Understanding [53.72393225042688]
  テキストは、ナラティブな性質のため、ビデオ生成におけるキーコントロールシグナルとして機能する。 近年の大規模言語モデル(LLM)の成功はデコーダのみのトランスフォーマーのパワーを示している。 この作業は、慎重に調整されたトークンフィーザーを備えたエンドツーエンドのトレーニングフレームワークであるMimirによる、この課題に対処する。
  論文  参考訳（メタデータ） (2024-12-04T07:26:44Z)
• When Video Coding Meets Multimodal Large Language Models: A Unified Paradigm for Video Coding [118.72266141321647]
  CMVC(Cross-Modality Video Coding)は、ビデオ符号化における多モード表現とビデオ生成モデルを探索する先駆的な手法である。 復号化の際には、以前に符号化されたコンポーネントとビデオ生成モデルを利用して複数の復号モードを生成する。 TT2Vは効果的な意味再構成を実現し,IT2Vは競争力のある知覚整合性を示した。
  論文  参考訳（メタデータ） (2024-08-15T11:36:18Z)
• Exploring the Role of Large Language Models in Prompt Encoding for Diffusion Models [42.891427362223176]
  デコーダのみの変換器をベースとした大規模言語モデル(LLM)は、優れたテキスト理解能力を示している。 LLMの能力をフル活用するための新しいフレームワークを提案する。 さらに, LLM-Infused Diffusion Transformer (LI-DiT) を設計した。
  論文  参考訳（メタデータ） (2024-06-17T17:59:43Z)
• Exploring Pre-trained Text-to-Video Diffusion Models for Referring Video Object Segmentation [72.90144343056227]
  ビデオ理解タスクのためのテキスト・ツー・ビデオ拡散モデル(T2V)から生成した視覚的表現について検討する。 固定されたT2Vモデル上に構築された専用コンポーネントを備えた新しいフレームワーク「VD-IT」を紹介する。 我々のVD-ITは、既存の最先端手法を超越して、非常に競争力のある結果を得る。
  論文  参考訳（メタデータ） (2024-03-18T17:59:58Z)
• DirecT2V: Large Language Models are Frame-Level Directors for Zero-Shot Text-to-Video Generation [37.25815760042241]
  本稿では,テキスト・ツー・ビデオ(T2V)ビデオを生成するための新しいフレームワークであるDirecT2Vを紹介する。 拡散モデルに新しい値マッピング法とデュアルソフトマックスフィルタリングを適用し、追加のトレーニングを必要としない。 実験により,視覚的コヒーレントかつストーリーフルなビデオ制作におけるフレームワークの有効性が検証された。
  論文  参考訳（メタデータ） (2023-05-23T17:57:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。