論文の概要: CharGen: High Accurate Character-Level Visual Text Generation Model with MultiModal Encoder

• arxiv url: http://arxiv.org/abs/2412.17225v1
• Date: Mon, 23 Dec 2024 02:40:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:58:07.583738
• Title: CharGen: High Accurate Character-Level Visual Text Generation Model with MultiModal Encoder
• Title（参考訳）: CharGen:マルチモーダルエンコーダを用いた高精度文字レベルビジュアルテキスト生成モデル
• Authors: Lichen Ma, Tiezhu Yue, Pei Fu, Yujie Zhong, Kai Zhou, Xiaoming Wei, Jie Hu,
• Abstract要約: CharGenは、非常に正確な文字レベルのビジュアルテキスト生成と編集モデルである。 文字レベルのマルチモーダルエンコーダを使用し、文字レベルの埋め込みを抽出するだけでなく、グリフ画像の文字を文字単位でエンコードする。 CharGenはテキストレンダリングの精度を大幅に改善し、AnyText-benchmarkやMARIO-Evalといった公開ベンチマークにおける最近の手法よりも優れています。
• 参考スコア（独自算出の注目度）: 21.851105023801562
• License:
• Abstract: Recently, significant advancements have been made in diffusion-based visual text generation models. Although the effectiveness of these methods in visual text rendering is rapidly improving, they still encounter challenges such as inaccurate characters and strokes when rendering complex visual text. In this paper, we propose CharGen, a highly accurate character-level visual text generation and editing model. Specifically, CharGen employs a character-level multimodal encoder that not only extracts character-level text embeddings but also encodes glyph images character by character. This enables it to capture fine-grained cross-modality features more effectively. Additionally, we introduce a new perceptual loss in CharGen to enhance character shape supervision and address the issue of inaccurate strokes in generated text. It is worth mentioning that CharGen can be integrated into existing diffusion models to generate visual text with high accuracy. CharGen significantly improves text rendering accuracy, outperforming recent methods in public benchmarks such as AnyText-benchmark and MARIO-Eval, with improvements of more than 8% and 6%, respectively. Notably, CharGen achieved a 5.5% increase in accuracy on Chinese test sets.
• Abstract（参考訳）: 近年,拡散型ビジュアルテキスト生成モデルが大幅に進歩している。 視覚テキストレンダリングにおけるこれらの手法の有効性は急速に改善されているが、複雑な視覚テキストを描画する際、不正確な文字やストロークなどの課題に直面している。 本稿では,高精度な文字レベルのビジュアルテキスト生成・編集モデルであるCharGenを提案する。 具体的には、CharGenは文字レベルのマルチモーダルエンコーダを使用し、文字レベルの埋め込みを抽出するだけでなく、グリフ画像の文字を文字単位でエンコードする。 これにより、粒度の細かいクロスモダリティ機能をより効率的にキャプチャできる。 さらに,CharGenに新たな知覚的損失を導入し,文字形状の監督を強化し,生成テキストにおける不正確なストロークの問題に対処する。 CharGenを既存の拡散モデルに統合して、高い精度でビジュアルテキストを生成することは、注目に値する。 CharGenはテキストレンダリングの精度を大幅に改善し、AnyText-benchmarkやMARIO-Evalといった公開ベンチマークでは、それぞれ8%以上、6%以上の改善がなされている。 特に、CharGenは中国のテストセットの精度を5.5%向上させた。

関連論文リスト

• FastTextSpotter: A High-Efficiency Transformer for Multilingual Scene Text Spotting [14.054151352916296]
  本稿では,Swin Transformerの視覚バックボーンとTransformer-Decoderアーキテクチャを統合したFastTextSpotterを提案する。 FastTextSpotterは、通常のテキストのICDAR2015や任意の形のテキストのCTW1500、TotalTextなど、複数のデータセットで検証されている。 以上の結果から,FastTextSpotterは多言語シーンテキストの検出と認識において,より優れた精度を実現することが示唆された。
  論文  参考訳（メタデータ） (2024-08-27T12:28:41Z)
• Glyph-ByT5: A Customized Text Encoder for Accurate Visual Text Rendering [59.088036977605405]
  ビジュアルテキストレンダリングは、テキストから画像生成モデルにとって根本的な課題である。 文字認識のBYT5エンコーダを微調整することで、一連のカスタマイズされたテキストエンコーダ、Glyph-ByT5を作成します。 本稿では,Glyph-ByT5をSDXLに統合する方法を提案する。
  論文  参考訳（メタデータ） (2024-03-14T17:55:33Z)
• Enhancing Diffusion Models with Text-Encoder Reinforcement Learning [63.41513909279474]
  テキストから画像への拡散モデルは通常、ログのような目的を最適化するために訓練される。 近年の研究では、強化学習や直接バックプロパゲーションを通じて人間の報酬を用いて拡散U-Netを精製することでこの問題に対処している。 我々は、強化学習によってテキストエンコーダを微調整することにより、結果のテキストイメージアライメントを強化することができることを示した。
  論文  参考訳（メタデータ） (2023-11-27T09:39:45Z)
• AnyText: Multilingual Visual Text Generation And Editing [18.811943975513483]
  拡散型多言語視覚テキスト生成・編集モデルであるAnyTextを紹介する。 AnyTextは複数の言語で文字を書くことができます。 我々は、OCRアノテーションと300万の画像テキストペアを複数言語で含む、最初の大規模多言語テキスト画像データセットであるAnyWord-3Mをコントリビュートする。
  論文  参考訳（メタデータ） (2023-11-06T12:10:43Z)
• TextDiffuser: Diffusion Models as Text Painters [118.30923824681642]
  我々は、背景に忠実な視覚的に魅力的なテキストで画像を生成することに焦点を当てたTextDiffuserを紹介した。 我々は,OCRアノテーションを用いた最初の大規模テキスト画像データセットであるMARIO-10Mに,1000万の画像テキストペアをコントリビュートする。 テキストプロンプトのみまたはテキストテンプレート画像と併用して高品質なテキスト画像を作成し,テキストによる不完全な画像の再構成を行う,テキストディフューザは柔軟かつ制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-18T10:16:19Z)
• GlyphDiffusion: Text Generation as Image Generation [100.98428068214736]
  テキスト誘導画像生成によるテキスト生成のための新しい拡散手法であるGlyphDiffusionを提案する。 私たちのキーとなるアイデアは、ターゲットのテキストを視覚言語コンテンツを含むグリフイメージとしてレンダリングすることです。 また,本モデルでは,近年の拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-04-25T02:14:44Z)
• Handwritten Text Generation from Visual Archetypes [25.951540903019467]
  Few-Shotスタイルの手書きテキスト生成のためのTransformerベースのモデルを提案する。 我々は,大規模な合成データセット上で,特定の事前学習を活用することで,目に見えない作者の書跡の堅牢な表現を得る。
  論文  参考訳（メタデータ） (2023-03-27T14:58:20Z)
• Character-Aware Models Improve Visual Text Rendering [57.19915686282047]
  現在の画像生成モデルは、十分に整形されたビジュアルテキストを生成するのに苦労している。 文字認識モデルは、新しい綴りタスクに大きな利益をもたらす。 われわれのモデルでは、ビジュアルスペルの精度は比較的高く、稀な単語の競合よりも30以上の精度が向上した。
  論文  参考訳（メタデータ） (2022-12-20T18:59:23Z)
• GENIUS: Sketch-based Language Model Pre-training via Extreme and Selective Masking for Text Generation and Augmentation [76.7772833556714]
  本稿では,スケッチを入力として用いた条件付きテキスト生成モデルGENIUSを紹介する。 genIUSは、スケッチの目的から新しく再構築された大規模なテキストコーパスで事前訓練されている。 様々な自然言語処理(NLP)タスクに対して, GENIUS は強力かつ使いやすいデータ拡張ツールとして利用できることを示す。
  論文  参考訳（メタデータ） (2022-11-18T16:39:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。