論文の概要: RISE-T2V: Rephrasing and Injecting Semantics with LLM for Expansive Text-to-Video Generation

• arxiv url: http://arxiv.org/abs/2511.04317v1
• Date: Thu, 06 Nov 2025 12:42:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.417614
• Title: RISE-T2V: Rephrasing and Injecting Semantics with LLM for Expansive Text-to-Video Generation
• Title（参考訳）: RISE-T2V:拡張テキスト・ビデオ生成のためのLLMによる意味論の表現と注入
• Authors: Xiangjun Zhang, Litong Gong, Yinglin Zheng, Yansong Liu, Wentao Jiang, Mingyi Xu, Biao Wang, Tiezheng Ge, Ming Zeng,
• Abstract要約: RISE-T2Vを導入し,迅速な言い換えと意味的特徴抽出のプロセスを一つのステップに統合する。 本稿では,テキスト隠れ状態を利用した拡散モデルを実現するRephrasing Adapterという革新的なモジュールを提案する。
• 参考スコア（独自算出の注目度）: 19.127189099122244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most text-to-video(T2V) diffusion models depend on pre-trained text encoders for semantic alignment, yet they often fail to maintain video quality when provided with concise prompts rather than well-designed ones. The primary issue lies in their limited textual semantics understanding. Moreover, these text encoders cannot rephrase prompts online to better align with user intentions, which limits both the scalability and usability of the models, To address these challenges, we introduce RISE-T2V, which uniquely integrates the processes of prompt rephrasing and semantic feature extraction into a single and seamless step instead of two separate steps. RISE-T2V is universal and can be applied to various pre-trained LLMs and video diffusion models(VDMs), significantly enhancing their capabilities for T2V tasks. We propose an innovative module called the Rephrasing Adapter, enabling diffusion models to utilize text hidden states during the next token prediction of the LLM as a condition for video generation. By employing a Rephrasing Adapter, the video generation model can implicitly rephrase basic prompts into more comprehensive representations that better match the user's intent. Furthermore, we leverage the powerful capabilities of LLMs to enable video generation models to accomplish a broader range of T2V tasks. Extensive experiments demonstrate that RISE-T2V is a versatile framework applicable to different video diffusion model architectures, significantly enhancing the ability of T2V models to generate high-quality videos that align with user intent. Visual results are available on the webpage at https://rise-t2v.github.io.
• Abstract（参考訳）: ほとんどのテキスト・トゥ・ビデオ(T2V)拡散モデルは、セマンティックアライメントのための事前訓練されたテキストエンコーダに依存している。 主な問題は、限られたテキスト意味論の理解にある。 さらに、これらのテキストエンコーダは、モデルのスケーラビリティとユーザビリティの両方を制限し、ユーザの意図に合うよう、オンラインでプロンプトをリフレッシュできない。これらの課題に対処するために、RISE-T2Vを導入します。 RISE-T2Vは普遍的で、様々な事前訓練されたLLMやビデオ拡散モデル(VDM)に適用でき、T2Vタスクの能力を大幅に向上させることができる。 本稿では,LLMの次のトークン予測において,拡散モデルによるテキスト隠蔽状態をビデオ生成の条件として活用する,Rephrasing Adapterと呼ばれる革新的なモジュールを提案する。 Rephrasing Adapterを使用することで、ビデオ生成モデルは、基本的なプロンプトを暗黙的に、ユーザの意図に合ったより包括的な表現に表現することができる。 さらに、LLMの強力な能力を活用して、ビデオ生成モデルが広範囲のT2Vタスクを達成できるようにする。 RISE-T2Vは様々なビデオ拡散モデルアーキテクチャに適用可能なフレームワークであり、ユーザの意図に合わせた高品質なビデオを生成するためのT2Vモデルの能力を大幅に向上することを示した。 ビジュアルな結果は、https://rise-t2v.github.io.comで公開されている。

関連論文リスト

• Omni-Video 2: Scaling MLLM-Conditioned Diffusion for Unified Video Generation and Editing [21.525921468472685]
  本稿では,事前訓練されたマルチモーダル大言語モデル(MLLM)とビデオ拡散モデルとを接続し,ビデオ生成と編集を行うスケーラブルで効率的なモデルを提案する。 我々のキーとなる考え方は、MLLMの理解と推論能力を利用して、明示的なターゲットキャプションを生成し、ユーザー指示を解釈することである。 我々は,微細なビデオ編集のためのFiVEベンチマークとテキスト・ツー・ビデオ生成のためのVBenchベンチマークにおいて,Omni-Video 2の性能を評価する。
  論文  参考訳（メタデータ） (2026-02-09T15:56:05Z)
• TRANSPORTER: Transferring Visual Semantics from VLM Manifolds [56.749972238005604]
  本稿では,ビデオ生成のためのモデルに依存しないアプローチであるTransportERとともに,ロジット・トゥ・ビデオ(L2V)タスクを提案する。 TransporterはVLMの高セマンティック埋め込み空間への最適輸送結合を学習する。 代わりに、ロジットスコアは条件付きビデオ生成のための埋め込み方向を定義する。
  論文  参考訳（メタデータ） (2025-11-23T09:12:48Z)
• Mimir: Improving Video Diffusion Models for Precise Text Understanding [53.72393225042688]
  テキストは、ナラティブな性質のため、ビデオ生成におけるキーコントロールシグナルとして機能する。 近年の大規模言語モデル(LLM)の成功はデコーダのみのトランスフォーマーのパワーを示している。 この作業は、慎重に調整されたトークンフィーザーを備えたエンドツーエンドのトレーニングフレームワークであるMimirによる、この課題に対処する。
  論文  参考訳（メタデータ） (2024-12-04T07:26:44Z)
• When Video Coding Meets Multimodal Large Language Models: A Unified Paradigm for Video Coding [118.72266141321647]
  CMVC(Cross-Modality Video Coding)は、ビデオ符号化における多モード表現とビデオ生成モデルを探索する先駆的な手法である。 復号化の際には、以前に符号化されたコンポーネントとビデオ生成モデルを利用して複数の復号モードを生成する。 TT2Vは効果的な意味再構成を実現し,IT2Vは競争力のある知覚整合性を示した。
  論文  参考訳（メタデータ） (2024-08-15T11:36:18Z)
• Exploring the Role of Large Language Models in Prompt Encoding for Diffusion Models [42.891427362223176]
  デコーダのみの変換器をベースとした大規模言語モデル(LLM)は、優れたテキスト理解能力を示している。 LLMの能力をフル活用するための新しいフレームワークを提案する。 さらに, LLM-Infused Diffusion Transformer (LI-DiT) を設計した。
  論文  参考訳（メタデータ） (2024-06-17T17:59:43Z)
• Exploring Pre-trained Text-to-Video Diffusion Models for Referring Video Object Segmentation [72.90144343056227]
  ビデオ理解タスクのためのテキスト・ツー・ビデオ拡散モデル(T2V)から生成した視覚的表現について検討する。 固定されたT2Vモデル上に構築された専用コンポーネントを備えた新しいフレームワーク「VD-IT」を紹介する。 我々のVD-ITは、既存の最先端手法を超越して、非常に競争力のある結果を得る。
  論文  参考訳（メタデータ） (2024-03-18T17:59:58Z)
• Mini-DALLE3: Interactive Text to Image by Prompting Large Language Models [71.49054220807983]
  一般的な制限は、自然言語記述を用いた安定拡散のようなT2Iモデルとの効果的な通信に持続する。 最近リリースされたDALLE3に触発されて、人間の意図を一致させ、新しいタスク、インタラクティブテキスト・トゥ・イメージ(iT2I)を導入すべく、既存のT2Iシステムを再考した。 我々は,iT2I の LLM を補助的手法と既製の T2I モデルで拡張する簡単な手法を提案する。
  論文  参考訳（メタデータ） (2023-10-11T16:53:40Z)
• DirecT2V: Large Language Models are Frame-Level Directors for Zero-Shot Text-to-Video Generation [37.25815760042241]
  本稿では,テキスト・ツー・ビデオ(T2V)ビデオを生成するための新しいフレームワークであるDirecT2Vを紹介する。 拡散モデルに新しい値マッピング法とデュアルソフトマックスフィルタリングを適用し、追加のトレーニングを必要としない。 実験により,視覚的コヒーレントかつストーリーフルなビデオ制作におけるフレームワークの有効性が検証された。
  論文  参考訳（メタデータ） (2023-05-23T17:57:09Z)
• GlueGen: Plug and Play Multi-modal Encoders for X-to-image Generation [143.81719619351335]
  拡散過程に基づくテキスト・ツー・イメージ(T2I)モデルは,ユーザが提供するキャプションを用いた制御可能な画像生成において顕著な成功を収めた。 現在のテキストエンコーダとT2Iモデルのイメージデコーダの密結合により、置き換えやアップグレードが困難になる。 本稿では,新しいGlueNetモデルを適用したGlueGenを提案する。
  論文  参考訳（メタデータ） (2023-03-17T15:37:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。