論文の概要: Real In, Real Out: What If We Only Use Real Data for Scene Text Editing?
- arxiv url: http://arxiv.org/abs/2610.27592v1
- Date: Tue, 20 Oct 2026 03:58:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.626193
- Title: Real In, Real Out: What If We Only Use Real Data for Scene Text Editing?
- Title(参考訳): リアルイン、リアルアウト:シーンのテキスト編集に本当のデータしか使わないとしたら?
- Abstract要約: STE(Scene Text Editing)は多くのアプリケーションにおいて重要な実用的価値を持っている。
近年のアプローチは、合成ペアデータと複雑な絡み合い戦略に大きく依存している。
本研究は,実検体をそれぞれのペアの監督対象にすることで,STEを駆動できるかどうかを考察する。
- 参考スコア(独自算出の注目度): 21.860457347902116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Aiming to modify textual content while preserving the original style, Scene Text Editing (STE) has significant practical value in many applications. STE typically requires paired images before and after editing for training. However, recent approaches rely heavily on synthetic paired data and complex disentanglement strategies. They struggle to faithfully capture the diversity and complexity of natural scenes, often producing artifacts or hallucinations. In this work, we challenge the common practice and investigate whether STE can be driven by turning each real sample into its own paired supervision. Concretely, we explore multiple ways to disrupt the original image (e.g., Crop, Shuffle, Mask) to construct self-paired training data, and build a strong baseline (TextRIRO}) upon a conditional diffusion architecture. Our experiments show that combining character-column shuffling with image cropping (Shuffle&Crop) effectively destroys text semantics while preserving key style cues, enabling the model to learn editing behaviors directly from the real text image. With this concise yet real-oriented design, TextRIRO achieves promising performance in both accuracy and visual realism across real-world benchmarks, substantially mitigating the synthetic-to-real domain gap. Furthermore, we leverage TextRIRO to build TextRIRO-3M, a large-scale realistic dataset for long-text recognition by concatenating edited and original images. Experimental results show that training recognition models with TextRIRO-3M significantly improves recognition accuracy, demonstrating that TextRIRO provides highly useful training resources for downstream tasks. Overall, TextRIRO lifts STE to realistic, reliable, and widely applicable new levels. Code is available at https://github.com/YesianRohn/TextRIRO.
- Abstract(参考訳): STE(Scene Text Editing)は、オリジナルのスタイルを保ちながらテキストの内容を変更することを目的としており、多くのアプリケーションにおいて重要な実用的価値を持っている。
STEは通常、トレーニングの前後でペア画像を必要とする。
しかし、近年のアプローチは、合成ペアデータと複雑な絡み合い戦略に大きく依存している。
彼らは自然のシーンの多様性と複雑さを忠実に捉え、しばしば人工物や幻覚を作り出すのに苦労している。
本研究では,STEを実検体をそれぞれのペアの監督対象にすることで,STEを駆動できるかどうかを考察する。
具体的には、原画像(例えば、Crop、Shuffle、Mask)を乱して自己ペアリングしたトレーニングデータを構築し、条件付き拡散アーキテクチャ上に強力なベースライン(TextRIRO})を構築するための複数の方法を検討する。
実験の結果,文字列シャッフルと画像トリミング(Shuffle&Crop)を組み合わせることで,キースタイルの手がかりを保ちながらテキストの意味を効果的に破壊し,実際のテキスト画像から直接編集動作を学習できることがわかった。
この簡潔でリアルタイムな設計により、TextRIROは実世界のベンチマークにおいて精度と視覚的リアリズムの両方において有望な性能を達成し、合成と現実のドメインギャップを大幅に軽減する。
さらに,TextRIROを利用して,編集画像と原画像の結合による長文認識のための大規模現実的データセットであるTextRIRO-3Mを構築する。
実験の結果,TextRIRO-3Mを用いた学習モデルでは認識精度が大幅に向上し,下流タスクに非常に有用なトレーニングリソースが提供されることが示された。
TextRIROは、STEを現実的で信頼性があり、広く適用可能な新しいレベルに引き上げる。
コードはhttps://github.com/YesianRohn/TextRIROで入手できる。
関連論文リスト
- TextSculptor: Training and Benchmarking Scene Text Editing [88.11688559021628]
データ構築とシーンテキスト編集評価のための総合的なフレームワークであるTextSculptorを提案する。
TextSculptorはオープンソースのテキスト編集性能を改善し、プロプライエタリなモデルとのギャップを狭める。
論文 参考訳(メタデータ) (2026-05-20T12:22:26Z) - TextGuider: Training-Free Guidance for Text Rendering via Attention Alignment [68.91073792449201]
そこで本研究では,テキストの正確かつ完全な出現を促すトレーニング不要な方法であるTextGuiderを提案する。
具体的には,多モード拡散変換器(MM-DiT)モデルにおける注意パターンを解析し,特に画像に描画することを意図したテキスト関連トークンについて検討する。
テスト時間テキストレンダリングでは,OCR精度とCLIPスコアが大幅に向上し,高い結果が得られた。
論文 参考訳(メタデータ) (2025-12-10T06:18:30Z) - TextSSR: Diffusion-based Data Synthesis for Scene Text Recognition [19.566553192778525]
シーンテキスト認識(STR)は、現実的でない合成トレーニングデータや、十分な実世界のデータを集めることの難しさに悩まされている。
テキスト認識訓練データを合成するための新しいパイプラインであるTextSSRを紹介する。
位置グリフ強調による領域中心のテキスト生成により精度を向上する。
周囲のテキストや背景からの文脈的ヒントを用いて、スタイルや外観生成を導くことでリアリズムを維持する。
論文 参考訳(メタデータ) (2024-12-02T05:26:25Z) - Decoder Pre-Training with only Text for Scene Text Recognition [54.93037783663204]
シーンテキスト認識(STR)事前学習法は,主に合成データセットに依存し,顕著な進歩を遂げている。
STR(DPTR)用テキストのみを用いたDecoder Pre-trainingという新しい手法を提案する。
DPTRはCLIPテキストエンコーダが生成したテキスト埋め込みを擬似視覚埋め込みとして扱い、デコーダの事前訓練に使用する。
論文 参考訳(メタデータ) (2024-08-11T06:36:42Z) - Efficiently Leveraging Linguistic Priors for Scene Text Spotting [63.22351047545888]
本稿では,大規模テキストコーパスから言語知識を活用する手法を提案する。
シーンテキストデータセットとよく一致したテキスト分布を生成し、ドメイン内の微調整の必要性を取り除く。
実験結果から,本手法は認識精度を向上するだけでなく,単語のより正確な局所化を可能にすることが示された。
論文 参考訳(メタデータ) (2024-02-27T01:57:09Z) - Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using
Diffusion Models [63.99110667987318]
DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。
テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
論文 参考訳(メタデータ) (2023-11-28T06:51:28Z) - Exploring Stroke-Level Modifications for Scene Text Editing [86.33216648792964]
シーンテキスト編集(STE)は、元のテキストの背景とスタイルを保存しながら、テキストを所望のテキストに置き換えることを目的としている。
画像全体を編集するには、背景領域とテキスト領域の異なる翻訳規則を同時に学習する必要がある。
Scene Text Image at strokE Level (MOSTEL) を用いた新しいネットワークを提案する。
論文 参考訳(メタデータ) (2022-12-05T02:10:59Z) - UnrealText: Synthesizing Realistic Scene Text Images from the Unreal
World [18.608641449975124]
UnrealTextは、3Dグラフィックスエンジンを介してリアルな画像をレンダリングする効率的な画像合成手法である。
総合的な実験により,シーンテキストの検出と認識の両面での有効性が検証された。
我々は、将来の多言語シーンテキストの検出・認識研究のための多言語バージョンを作成する。
論文 参考訳(メタデータ) (2020-03-24T01:37:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。