論文の概要: Type-R: Automatically Retouching Typos for Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2411.18159v2
• Date: Wed, 30 Apr 2025 10:24:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:52.152399
• Title: Type-R: Automatically Retouching Typos for Text-to-Image Generation
• Title（参考訳）: Type-R:テキスト・ツー・イメージ生成のためのタイポの自動修正
• Authors: Wataru Shimoda, Naoto Inoue, Daichi Haraguchi, Hayato Mitani, Seiichi Uchida, Kota Yamaguchi,
• Abstract要約: 後処理パイプラインにおける誤ったテキストレンダリングの修正を提案する。 提案手法はType-Rと呼ばれ,生成した画像のタイポグラフィ的誤りを識別し,誤りテキストを消去し,失語のためのテキストボックスを再生し,最後にレンダリングされた単語のタイポスを補正する。
• 参考スコア（独自算出の注目度）: 14.904165023640854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While recent text-to-image models can generate photorealistic images from text prompts that reflect detailed instructions, they still face significant challenges in accurately rendering words in the image. In this paper, we propose to retouch erroneous text renderings in the post-processing pipeline. Our approach, called Type-R, identifies typographical errors in the generated image, erases the erroneous text, regenerates text boxes for missing words, and finally corrects typos in the rendered words. Through extensive experiments, we show that Type-R, in combination with the latest text-to-image models such as Stable Diffusion or Flux, achieves the highest text rendering accuracy while maintaining image quality and also outperforms text-focused generation baselines in terms of balancing text accuracy and image quality.
• Abstract（参考訳）: 最近のテキスト・ツー・イメージモデルは、詳細な指示を反映したテキストプロンプトからフォトリアリスティックな画像を生成することができるが、画像内の単語を正確にレンダリングする上で、依然として大きな課題に直面している。 本稿では,後処理パイプラインにおける誤ったテキストレンダリングの修正を提案する。 提案手法はType-Rと呼ばれ,生成した画像のタイポグラフィ的誤りを識別し,誤りテキストを消去し,失語のためのテキストボックスを再生し,最後にレンダリングされた単語のタイポスを補正する。 広範にわたる実験により, 安定拡散やフラックスなどの最新のテキスト画像モデルと組み合わせて, 画像品質を維持しつつ高いテキストレンダリング精度を達成し, テキストの精度と画質のバランスを保ちながら, テキスト中心のベースラインを向上することを示した。

関連論文リスト

• Beyond Words: Advancing Long-Text Image Generation via Multimodal Autoregressive Models [76.68654868991517]
  スライドや文書の段落などの画像中の長文は、現在の生成モデルにとって大きな課題である。 詳細なシーンテキストの特徴をキャプチャするために最適化された新しいテキスト中心のバイナリトークンーを導入します。 モデルNameは,高画質の長文画像を前例のない忠実度で生成するマルチモーダル自己回帰モデルである。
  論文  参考訳（メタデータ） (2025-03-26T03:44:25Z)
• TextInVision: Text and Prompt Complexity Driven Visual Text Generation Benchmark [61.412934963260724]
  既存の拡散ベースのテキスト・ツー・イメージモデルは、しばしば画像に正確にテキストを埋め込むのに苦労する。 本研究では,画像に視覚テキストを統合する拡散モデルの有効性を評価するために,大規模で,かつ,迅速な複雑性駆動型ベンチマークであるTextInVisionを紹介する。
  論文  参考訳（メタデータ） (2025-03-17T21:36:31Z)
• Glyph-ByT5: A Customized Text Encoder for Accurate Visual Text Rendering [59.088036977605405]
  ビジュアルテキストレンダリングは、テキストから画像生成モデルにとって根本的な課題である。 文字認識のBYT5エンコーダを微調整することで、一連のカスタマイズされたテキストエンコーダ、Glyph-ByT5を作成します。 本稿では,Glyph-ByT5をSDXLに統合する方法を提案する。
  論文  参考訳（メタデータ） (2024-03-14T17:55:33Z)
• UDiffText: A Unified Framework for High-quality Text Synthesis in Arbitrary Images via Character-aware Diffusion Models [25.219960711604728]
  本稿では,事前学習した拡散モデルを用いたテキスト画像生成手法を提案する。 我々のアプローチは、オリジナルのCLIPエンコーダを置き換える軽量文字レベルテキストエンコーダの設計と訓練である。 推論段階の精細化プロセスを用いることで、任意に与えられた画像のテキストを合成する際に、顕著に高いシーケンス精度を実現する。
  論文  参考訳（メタデータ） (2023-12-08T07:47:46Z)
• Enhancing Scene Text Detectors with Realistic Text Image Synthesis Using Diffusion Models [63.99110667987318]
  DiffTextは、前景のテキストと背景の本質的な特徴をシームレスにブレンドするパイプラインです。 テキストインスタンスが少なくなると、生成したテキストイメージはテキスト検出を支援する他の合成データを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-11-28T06:51:28Z)
• Image Super-Resolution with Text Prompt Diffusion [118.023531454099]
  画像SRにテキストプロンプトを導入し、劣化前の情報を提供する。 PromptSRは、事前訓練された言語モデル(例えば、T5やCLIP)を使用して復元を強化する。 実験により、テキストプロンプトをSRに導入すると、合成画像と実世界の画像の両方で優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-24T05:11:35Z)
• Recognition-Guided Diffusion Model for Scene Text Image Super-Resolution [15.391125077873745]
  Scene Text Image Super-Resolution (STISR)は、低解像度(LR)画像におけるテキストの解像度と可視性を高めることを目的としている。 従来は差別的畳み込みニューラルネットワーク(CNN)を多種多様なテキストガイダンスで用いていた。 本稿では,シーンテキスト画像の認識誘導拡散モデルであるRGDiffSRを紹介する。
  論文  参考訳（メタデータ） (2023-11-22T11:10:45Z)
• TextDiffuser: Diffusion Models as Text Painters [118.30923824681642]
  我々は、背景に忠実な視覚的に魅力的なテキストで画像を生成することに焦点を当てたTextDiffuserを紹介した。 我々は,OCRアノテーションを用いた最初の大規模テキスト画像データセットであるMARIO-10Mに,1000万の画像テキストペアをコントリビュートする。 テキストプロンプトのみまたはテキストテンプレート画像と併用して高品質なテキスト画像を作成し,テキストによる不完全な画像の再構成を行う,テキストディフューザは柔軟かつ制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-18T10:16:19Z)
• Semantic-Preserving Augmentation for Robust Image-Text Retrieval [27.2916415148638]
  RVSEは、画像のセマンティック保存強化(SPAugI)とテキスト(SPAugT)という、新しい画像ベースおよびテキストベースの拡張技術からなる。 SPAugIとSPAugTは、その意味情報が保存されるように元のデータを変更するため、特徴抽出器を強制して意味を意識した埋め込みベクトルを生成する。 ベンチマークデータセットを用いた広範囲な実験から、RVSEは画像テキスト検索性能において従来の検索手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-10T03:50:44Z)
• Text Prior Guided Scene Text Image Super-resolution [11.396781380648756]
  Scene Text Image Super- resolution (STISR) は低解像度(LR)シーンの解像度と画質を改善することを目的としている。 我々は、STISRモデルトレーニングにカテゴリテキストを組み込む試みを行っている。 STISRのためのマルチステージテキストガイド付き超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。