論文の概要: SteerVTE: Seamless Video Text Editing with Style and Glyph Control
- arxiv url: http://arxiv.org/abs/2606.23254v1
- Date: Mon, 22 Jun 2026 12:37:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:59:17.430061
- Title: SteerVTE: Seamless Video Text Editing with Style and Glyph Control
- Title（参考訳）: SteerVTE:スタイルとグリフ制御によるシームレスビデオテキスト編集
- Authors: Kai Zeng, Moran Li, Zhengwei Wang, Yingchen Yu, Yiheng Lin, Ruichuan An, Ming Lu, Qi She, Wentao Zhang,
- Abstract要約: ビデオテキスト編集は、小さなテキスト領域内でストロークレベルの精度を要求するローカライズされたタスクである。
本稿では,フリーズビデオ拡散モデルに基づく統合フレームワークであるSteerVTEを紹介する。
SteerVTEはテキストの精度、スタイルの整合性、時間的コヒーレンスなど、既存のビデオ編集のベースラインを大幅に上回っている。
- 参考スコア（独自算出の注目度）: 37.44272702473038
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual text editing aims to precisely modify text in images and videos while preserving stylistic consistency and visual realism. Despite significant advances in the image domain, video text editing remains largely unexplored: it is a localized task demanding stroke-level precision within small text regions, which compounds the challenges of cross-frame accuracy, temporal coherence, and stylistic fidelity. We introduce SteerVTE, a unified framework that \underline{\textbf{steer}}s a frozen video diffusion model to perform precise \underline{\textbf{V}}ideo \underline{\textbf{T}}ext \underline{\textbf{E}}diting through style and glyph control. Built on a frozen diffusion transformer, SteerVTE attaches a lightweight text context adapter with two complementary modules: a style encoder capturing the original text's visual attributes, and dual-granularity glyph encoders encoding the target text at both the line and character levels. To overcome the inherently weak text rendering priors of video foundation models, we further propose a glyph-aware spatial-focal loss and a three-stage progressive training curriculum that scales from image to video data. To support large-scale training, we also develop an automatic synthesis pipeline and construct SteerVTE-1M, a dataset of one million triplets spanning diverse scenes, fonts, and stylistic effects. Extensive experiments demonstrate that SteerVTE substantially outperforms existing video editing baselines across text accuracy, style consistency, and temporal coherence.
- Abstract（参考訳）: ビジュアルテキスト編集は、スタイリスティックな一貫性と視覚リアリズムを維持しながら、画像やビデオのテキストを正確に修正することを目的としている。
画像領域の大幅な進歩にもかかわらず、ビデオテキスト編集はほとんど探索されていない:これは小さなテキスト領域でストロークレベルの精度を要求する局所的なタスクであり、クロスフレームの精度、時間的コヒーレンス、スタイリスティックな忠実さの課題を複雑にしている。
我々は,SteerVTEという統合されたフレームワークを紹介した。このフレームワークは,凍結ビデオ拡散モデルを用いて,スタイルとグリフ制御を通じて,正確なビデオ拡散を行う。
凍結拡散変換器上に構築されたSteerVTEは、オリジナルテキストの視覚的属性をキャプチャするスタイルエンコーダと、ターゲットテキストをラインレベルとキャラクタレベルの両方でエンコードするデュアルグラニュラリティグリフエンコーダという、2つの補完モジュールを備えた軽量テキストコンテキストアダプタを備える。
ビデオ基礎モデルの本質的に弱いテキストレンダリングを克服するために,グリフ対応の空間焦点損失と,映像データから映像データまでスケールする3段階のプログレッシブトレーニングカリキュラムを提案する。
また,大規模な学習を支援するために,自動合成パイプラインを開発し,多様なシーン,フォント,スタイリスティックエフェクトにまたがる100万個の三重項からなるデータセットであるSteerVTE-1Mを構築した。
大規模な実験により、SteerVTEはテキストの精度、スタイルの整合性、時間的コヒーレンスで既存のビデオ編集ベースラインを大幅に上回っていることが示された。
関連論文リスト
- TextSculptor: Training and Benchmarking Scene Text Editing [88.11688559021628]
データ構築とシーンテキスト編集評価のための総合的なフレームワークであるTextSculptorを提案する。
TextSculptorはオープンソースのテキスト編集性能を改善し、プロプライエタリなモデルとのギャップを狭める。
論文 参考訳（メタデータ） (2026-05-20T12:22:26Z) - Self-Prompting Diffusion Transformer for Open-Vocabulary Scene Text Editing via In-Context Learning [30.48868859205432]
シーンテキスト編集は、周囲の背景やテクスチャを保ちながら、画像のターゲット領域のテキストを変更することを目的としている。
既存の手法は、対象領域の視覚的詳細を無視しながら、画像背景情報のみに依存している。
本稿では,スタイルとグリフのプロンプトを原画像から直接作成する自己プロンプトシーンテキスト編集手法を提案する。
論文 参考訳（メタデータ） (2026-05-15T01:44:17Z) - TextGuider: Training-Free Guidance for Text Rendering via Attention Alignment [68.91073792449201]
そこで本研究では,テキストの正確かつ完全な出現を促すトレーニング不要な方法であるTextGuiderを提案する。
具体的には,多モード拡散変換器(MM-DiT)モデルにおける注意パターンを解析し,特に画像に描画することを意図したテキスト関連トークンについて検討する。
テスト時間テキストレンダリングでは,OCR精度とCLIPスコアが大幅に向上し,高い結果が得られた。
論文 参考訳（メタデータ） (2025-12-10T06:18:30Z) - GlyphMastero: A Glyph Encoder for High-Fidelity Scene Text Editing [23.64662356622401]
GlyphMasteroという特殊なグリフエンコーダは、ストロークレベルの精度でテキストを生成するために、潜時拡散モデルを導出するために設計されている。
本手法は,現状のシーンテキスト編集ベースラインよりも文精度が18.02%向上した。
論文 参考訳（メタデータ） (2025-05-08T03:11:58Z) - Text-Animator: Controllable Visual Text Video Generation [149.940821790235]
ビジュアルテキストビデオ生成のための革新的アプローチであるText-Animatorを提案する。
Text-Animatorには、生成されたビデオの視覚的テキスト構造を正確に描写するテキスト埋め込みインジェクションモジュールが含まれている。
また、生成した視覚テキストの安定性を向上させるために、カメラ制御モジュールとテキストリファインメントモジュールを開発する。
論文 参考訳（メタデータ） (2024-06-25T17:59:41Z) - FASTER: A Font-Agnostic Scene Text Editing and Rendering Framework [19.564048493848272]
STE(Scene Text Editing)は、画像中の既存のテキストの変更を主な目的とする、難しい研究課題である。
既存のスタイル変換ベースのアプローチでは、複雑な画像背景、多様なフォント属性、テキスト内の様々な単語長によるサブパー編集性能が示されている。
フォントに依存しない新しいシーンテキスト編集・レンダリングフレームワークであるFASTERを提案し,任意のスタイルや場所のテキストを同時に生成する。
論文 参考訳（メタデータ） (2023-08-05T15:54:06Z) - ViTEraser: Harnessing the Power of Vision Transformers for Scene Text
Removal with SegMIM Pretraining [58.241008246380254]
シーンテキスト除去(STR)は、自然のシーンにおけるテキストストロークを視覚的に一貫性のある背景に置き換えることを目的としている。
最近のSTRアプローチは反復的な改善や明示的なテキストマスクに依存しており、結果としてテキストローカライゼーションの精度に高い複雑さと感度をもたらす。
そこで我々は, ViTEraser という, 単純なyet- Effective ViT-based text eraser を提案する。
論文 参考訳（メタデータ） (2023-06-21T08:47:20Z) - Improving Diffusion Models for Scene Text Editing with Dual Encoders [44.12999932588205]
シーンテキスト編集(Scene text editing)は、特定のテキストを画像に修正または挿入する作業である。
拡散モデルの最近の進歩は、これらの制限をテキスト条件による画像編集で克服することを約束している。
デュアルエンコーダ設計による事前学習拡散モデルを改善するためにDIFFSTEを提案する。
論文 参考訳（メタデータ） (2023-04-12T02:08:34Z) - Exploring Stroke-Level Modifications for Scene Text Editing [86.33216648792964]
シーンテキスト編集(STE)は、元のテキストの背景とスタイルを保存しながら、テキストを所望のテキストに置き換えることを目的としている。
画像全体を編集するには、背景領域とテキスト領域の異なる翻訳規則を同時に学習する必要がある。
Scene Text Image at strokE Level (MOSTEL) を用いた新しいネットワークを提案する。
論文 参考訳（メタデータ） (2022-12-05T02:10:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。