論文の概要: Video Text Preservation with Synthetic Text-Rich Videos

• arxiv url: http://arxiv.org/abs/2511.05573v1
• Date: Tue, 04 Nov 2025 16:20:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.458615
• Title: Video Text Preservation with Synthetic Text-Rich Videos
• Title（参考訳）: 合成テキストリッチビデオによるビデオテキスト保存
• Authors: Ziyang Liu, Kevin Valencia, Justin Cui,
• Abstract要約: テキスト・トゥ・ビデオ(T2V)モデルは、ビデオ内で正当で一貫性のあるテキストを生成するのに苦労する。 本研究では,T2V拡散モデルを改善するための軽量な手法について,合成監督法を用いて検討する。
• 参考スコア（独自算出の注目度）: 5.03317364227682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Text-To-Video (T2V) models have advanced rapidly, they continue to struggle with generating legible and coherent text within videos. In particular, existing models often fail to render correctly even short phrases or words and previous attempts to address this problem are computationally expensive and not suitable for video generation. In this work, we investigate a lightweight approach to improve T2V diffusion models using synthetic supervision. We first generate text-rich images using a text-to-image (T2I) diffusion model, then animate them into short videos using a text-agnostic image-to-video (I2v) model. These synthetic video-prompt pairs are used to fine-tune Wan2.1, a pre-trained T2V model, without any architectural changes. Our results show improvement in short-text legibility and temporal consistency with emerging structural priors for longer text. These findings suggest that curated synthetic data and weak supervision offer a practical path toward improving textual fidelity in T2V generation.
• Abstract（参考訳）: Text-To-Video(T2V)モデルは急速に進歩しているが、ビデオ内では信頼性と一貫性のあるテキストを生成することに苦戦している。 特に、既存のモデルは短いフレーズや単語を正しくレンダリングするのに失敗することが多く、この問題に対処しようとする以前の試みは計算コストが高く、ビデオ生成には適していない。 本研究では,T2V拡散モデルを改善するための軽量な手法について,合成監督法を用いて検討する。 まず,テキスト・トゥ・イメージ(T2I)拡散モデルを用いてテキストリッチな画像を生成し,テキストに依存しない画像・ビデオ(I2v)モデルを用いて短いビデオにアニメーション化する。 これらの合成ビデオプロンプトペアは、事前訓練されたT2VモデルであるWan2.1をアーキテクチャ上の変更なしに微調整するために使用される。 以上の結果より,長文に対する構造的先行と短文の可読性と時間的整合性の向上が示唆された。 これらの結果から,T2V生成におけるテキストの忠実性向上への実践的な道筋が示唆された。

関連論文リスト

• Encapsulated Composition of Text-to-Image and Text-to-Video Models for High-Quality Video Synthesis [14.980220974022982]
  本稿では,T2IモデルとT2Vモデルを構成するトレーニング不要なカプセル化ビデオ合成装置であるEVSを紹介し,視覚的忠実度と動きの滑らかさを両立させる。 提案手法は,低品質ビデオフレームを改良するために,よく訓練された拡散ベースT2Iモデルを用いる。 また、一貫した運動力学を保証するためにT2Vバックボーンを用いる。
  論文  参考訳（メタデータ） (2025-07-18T08:59:02Z)
• Frame-wise Conditioning Adaptation for Fine-Tuning Diffusion Models in Text-to-Video Prediction [36.82594554832902]
  テキストビデオ予測(英: text-video prediction、TVP)は、後続のビデオフレームを生成するモデルを必要とする下流のビデオ生成タスクである。 フレームワイドコンディショニング適応 (FCA) をラベル付けした適応型戦略を提案する。 我々は、初期フレームを余剰条件として組み込んだT2Vモデルを微調整するためにFCAを使用する。
  論文  参考訳（メタデータ） (2025-03-17T09:06:21Z)
• Mimir: Improving Video Diffusion Models for Precise Text Understanding [53.72393225042688]
  テキストは、ナラティブな性質のため、ビデオ生成におけるキーコントロールシグナルとして機能する。 近年の大規模言語モデル(LLM)の成功はデコーダのみのトランスフォーマーのパワーを示している。 この作業は、慎重に調整されたトークンフィーザーを備えたエンドツーエンドのトレーニングフレームワークであるMimirによる、この課題に対処する。
  論文  参考訳（メタデータ） (2024-12-04T07:26:44Z)
• xGen-VideoSyn-1: High-fidelity Text-to-Video Synthesis with Compressed Representations [120.52120919834988]
  xGen-SynVideo-1(xGen-SynVideo-1)は、テキスト記述からリアルなシーンを生成することができるテキスト・ツー・ビデオ(T2V)生成モデルである。 VidVAEはビデオデータを空間的にも時間的にも圧縮し、視覚トークンの長さを大幅に削減する。 DiTモデルは、空間的および時間的自己アテンション層を取り入れ、異なる時間枠とアスペクト比をまたいだ堅牢な一般化を可能にする。
  論文  参考訳（メタデータ） (2024-08-22T17:55:22Z)
• A Recipe for Scaling up Text-to-Video Generation with Text-free Videos [72.59262815400928]
  拡散ベースのテキスト・ツー・ビデオ世代は、過去1年で目覚ましい進歩をみせたが、それでもテキスト・ツー・画像世代には及ばない。 我々はTF-T2Vと呼ばれる新しいテキスト・ビデオ生成フレームワークを考案した。
  論文  参考訳（メタデータ） (2023-12-25T16:37:39Z)
• LatentMan: Generating Consistent Animated Characters using Image Diffusion Models [44.18315132571804]
  テキスト・ツー・イメージ(T2I)拡散モデルに基づいて,アニメキャラクターの一貫した映像を生成するゼロショット手法を提案する。 提案手法は,既存のゼロショットT2V手法より,ピクセルワイドの一貫性とユーザ嗜好の観点からアニメーションキャラクターのビデオ生成に優れる。
  論文  参考訳（メタデータ） (2023-12-12T10:07:37Z)
• Control-A-Video: Controllable Text-to-Video Diffusion Models with Motion Prior and Reward Feedback Learning [50.60891619269651]
  Control-A-Videoは制御可能なT2V拡散モデルであり、テキストプロンプトやエッジや奥行きマップのような参照制御マップに条件付のビデオを生成することができる。 本稿では,拡散に基づく生成プロセスに,コンテンツの事前と動作を組み込む新しい手法を提案する。 我々のフレームワークは、制御可能なテキスト・ツー・ビデオ生成における既存の最先端手法と比較して、高品質で一貫性のあるビデオを生成する。
  論文  参考訳（メタデータ） (2023-05-23T09:03:19Z)
• Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation [31.882356164068753]
  テキスト・トゥ・イメージ(T2I)生成の成功を再現するため、最近のテキスト・トゥ・ビデオ(T2V)生成では、T2V生成のためのデータセットに大量のデータセットが使用されている。 そこで本研究では,Tune-A-Videoが様々なアプリケーション上で時間的コヒーレントなビデオを生成することを提案する。
  論文  参考訳（メタデータ） (2022-12-22T09:43:36Z)
• Make-A-Video: Text-to-Video Generation without Text-Video Data [69.20996352229422]
  Make-A-Videoは、テキスト・トゥ・イメージ(T2I)生成における最新の進歩をテキスト・トゥ・ビデオ(T2V)に変換するアプローチである。 我々は,新しい空間時空間モジュールを用いたT2Iモデル上に構築する,シンプルで効果的な手法を設計する。 空間的および時間的解像度、テキストへの忠実さ、品質など、あらゆる面で、Make-A-Videoは、テキスト・ビデオ生成における新しい最先端を定めている。
  論文  参考訳（メタデータ） (2022-09-29T13:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。