論文の概要: VTR-Bench: A Systematic Benchmark for Evaluating Visual Text Rendering in Video Generation

• arxiv url: http://arxiv.org/abs/2610.01499v1
• Date: Thu, 01 Oct 2026 11:40:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.092815
• Title: VTR-Bench: A Systematic Benchmark for Evaluating Visual Text Rendering in Video Generation
• Title（参考訳）: VTR-Bench:ビデオ生成における視覚テキストレンダリング評価のためのシステムベンチマーク
• Abstract要約: VTR-Benchは、ビデオ生成モデルのテキストレンダリング機能を評価するための体系的なベンチマークである。 キャリヤ固有の書き起こしとシーンと動作要求によるテキストの忠実度を評価する自動評価パイプラインを開発した。 11の最先端モデルに対する実験では、シーンテキストを正確にレンダリングする上で、幅広い困難が示され、最も優れたパフォーマンスモデルでは、全体的な単語誤り率(WER)が0.250である。
• 参考スコア（独自算出の注目度）: 40.975293989261694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent video generation models can produce highly realistic videos from natural language instructions, with visual quality approaching cinematic standards. Existing evaluation benchmarks, however, predominantly assess visual quality, aesthetic appeal and physical plausibility, while paying limited attention to text, an essential medium for conveying information in everyday scenes. A generated video may appear visually compelling and feature lifelike subjects, yet still render the text within the scene incorrectly. To address this overlooked dimension, we introduce \textbf{VTR-Bench}, a systematic benchmark for evaluating the \textbf{V}isual \textbf{T}ext \textbf{R}endering capabilities of video generation models. VTR-Bench situates text within concrete application scenarios, such as advertisements and scientific videos, with 300 carefully constructed prompts spanning five scenario categories. We develop an automated evaluation pipeline with human alignments that separately assesses text fidelity through carrier-specific transcription and scene and motion requirements through a prompt-specific chain of query. Beyond evaluation, we introduce a \textbf{Keyframe-Guided Agentic Framework} in which a Director agent coordinates image and video generation with visual evaluation, guiding iterative refinement and candidate selection through visual feedback. Experiments on 11 state-of-the-art models reveal widespread difficulties in accurately rendering scene text, with the best-performing model recording an overall word error rate (WER) of 0.250. We further analyze text rendering failures to characterize the challenges faced by current video generation models. These findings highlight visual text rendering as a key challenge for video generation and demonstrate a practical path toward improvement. Code is available at https://github.com/hardenyu21/VTR-Bench.
• Abstract（参考訳）: 最近のビデオ生成モデルは、視覚的品質が撮影基準に近づくことによって、自然言語命令から非常にリアルなビデオを生成することができる。 しかし、既存の評価ベンチマークでは、視覚的品質、審美的魅力、身体的妥当性を主に評価する一方で、日常の場面で情報を伝えるための重要な媒体であるテキストに注意を払っている。 生成されたビデオは視覚的に魅力的で、ライフスタイルの主題に見えますが、シーン内のテキストを誤ってレンダリングします。 この見過ごされた次元に対処するために、ビデオ生成モデルの \textbf{V}isual \textbf{T}ext \textbf{R}endering機能を評価するための体系的ベンチマークである \textbf{VTR-Bench} を導入する。 VTR-Benchは、広告や科学ビデオなどの具体的なアプリケーションシナリオ内でテキストをシチュレートし、5つのシナリオカテゴリにまたがる300のプロンプトを慎重に構築する。 本研究では,人間のアライメントによる自動評価パイプラインを開発し,キャリヤ固有の書き起こしやシーン,動作要求などを通じてテキストの忠実度を個別に評価する。 評価以外にも,ディレクタエージェントが画像と映像生成を視覚的評価と協調させ,反復的洗練と視覚的フィードバックによる候補選択を誘導する「textbf{Keyframe-Guided Agentic Framework」を導入する。 11の最先端モデルに対する実験では、シーンテキストを正確にレンダリングする上で、幅広い困難が示され、最も優れたパフォーマンスモデルでは、全体的な単語誤り率(WER)が0.250である。 さらに、現在のビデオ生成モデルが直面する課題を特徴付けるために、テキストレンダリングの失敗を分析します。 これらの知見は、映像生成における重要な課題として視覚テキストのレンダリングを強調し、改善に向けた実践的な道筋を示す。 コードはhttps://github.com/hardenyu21/VTR-Benchで入手できる。

関連論文リスト

• VidText: Towards Comprehensive Evaluation for Video Text Understanding [56.121054697977115]
  VidTextは、ビデオテキスト理解の総合的かつ詳細な評価のためのベンチマークである。 さまざまな現実世界のシナリオをカバーし、多言語コンテンツをサポートする。 ビデオレベル、クリップレベル、インスタンスレベルのタスクを備えた階層的評価フレームワークを導入している。
  論文  参考訳（メタデータ） (2025-05-28T19:39:35Z)
• T2VTextBench: A Human Evaluation Benchmark for Textual Control in Video Generation Models [12.120541052871486]
  T2VTextBenchは、画面上のテキストの忠実度と時間的一貫性を評価するための最初の人間評価ベンチマークである。 オープンソースソリューションから商用製品まで,10の最先端システムを評価しました。
  論文  参考訳（メタデータ） (2025-05-08T04:49:52Z)
• Neuro-Symbolic Evaluation of Text-to-Video Models using Formal Verification [5.468979600421325]
  我々は,新しい合成ビデオ評価指標であるNeuS-Vを紹介する。 NeuS-Vは、ニューロシンボリック形式検証技術を用いて、テキストとビデオのアライメントを厳格に評価する。 既存の指標と比較すると,NeuS-Vは5倍以上の相関性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-11-22T23:59:12Z)
• VicTR: Video-conditioned Text Representations for Activity Recognition [73.09929391614266]
  より優れたビデオVLMは、視覚情報よりもテキストの強化に重点を置くことで設計できる、と我々は主張する。 本稿では,ビデオ条件付きテキスト表現(VicTR)を紹介する。 我々のモデルは、視覚的に接地された補助テキストという形で、自由に利用できるセマンティック情報を利用することができる。
  論文  参考訳（メタデータ） (2023-04-05T16:30:36Z)
• Towards Generalisable Video Moment Retrieval: Visual-Dynamic Injection to Image-Text Pre-Training [70.83385449872495]
  映像モーメント検索(VMR)における視覚とテキストの相関 既存の方法は、視覚的およびテキスト的理解のために、個別の事前学習機能抽出器に依存している。 本稿では,映像モーメントの理解を促進するために,ビジュアルダイナミックインジェクション(Visual-Dynamic Injection, VDI)と呼ばれる汎用手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T19:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。