論文の概要: Text Image Generation for Low-Resource Languages with Dual Translation Learning

• arxiv url: http://arxiv.org/abs/2409.17747v1
• Date: Thu, 26 Sep 2024 11:23:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 19:53:49.714985
• Title: Text Image Generation for Low-Resource Languages with Dual Translation Learning
• Title（参考訳）: デュアル翻訳学習を用いた低音源言語のためのテキスト画像生成
• Authors: Chihiro Noguchi, Shun Fukuda, Shoichiro Mihara, Masao Yamanaka,
• Abstract要約: 本研究では,高リソース言語からの実際のテキスト画像のスタイルをエミュレートすることで,低リソース言語でテキスト画像を生成する手法を提案する。 このモデルのトレーニングには、2つの翻訳タスクが含まれており、平易なテキストイメージを合成または実際のテキストイメージに変換する。 生成したテキスト画像の精度と多様性を高めるために,2つのガイダンス手法を導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scene text recognition in low-resource languages frequently faces challenges due to the limited availability of training datasets derived from real-world scenes. This study proposes a novel approach that generates text images in low-resource languages by emulating the style of real text images from high-resource languages. Our approach utilizes a diffusion model that is conditioned on binary states: ``synthetic'' and ``real.'' The training of this model involves dual translation tasks, where it transforms plain text images into either synthetic or real text images, based on the binary states. This approach not only effectively differentiates between the two domains but also facilitates the model's explicit recognition of characters in the target language. Furthermore, to enhance the accuracy and variety of generated text images, we introduce two guidance techniques: Fidelity-Diversity Balancing Guidance and Fidelity Enhancement Guidance. Our experimental results demonstrate that the text images generated by our proposed framework can significantly improve the performance of scene text recognition models for low-resource languages.
• Abstract（参考訳）: 低リソース言語におけるシーンテキスト認識は、実世界のシーンから派生したトレーニングデータセットが限られているため、しばしば課題に直面している。 本研究では,高リソース言語からの実際のテキスト画像のスタイルをエミュレートすることで,低リソース言語でテキスト画像を生成する手法を提案する。 本手法では,二項状態である ``synthetic'' と ``real' を条件とした拡散モデルを用いる。 このモデルのトレーニングには、バイナリ状態に基づいて、プレーンテキストイメージを合成または実際のテキストイメージに変換する、二重翻訳タスクが含まれる。 このアプローチは2つのドメインを効果的に区別するだけでなく、ターゲット言語におけるキャラクタの明示的な認識を促進する。 さらに、生成したテキスト画像の精度と多様性を高めるために、フィデリティ・ダイバーシティ・バランシング・ガイダンスとフィデリティ・エンハンス・ガイダンスの2つのガイダンス手法を導入する。 実験の結果,提案するフレームワークによって生成されたテキスト画像は,低リソース言語におけるシーンテキスト認識モデルの性能を大幅に向上させることができることがわかった。

関連論文リスト

• Empowering Backbone Models for Visual Text Generation with Input Granularity Control and Glyph-Aware Training [68.41837295318152]
  拡散に基づくテキスト・ツー・イメージモデルでは、多様性と美学の素晴らしい成果が示されているが、視覚的なテキストで画像を生成するのに苦労している。 既存のバックボーンモデルには、ミススペル、テキスト生成の失敗、中国語テキストのサポートの欠如といった制限がある。 本稿では,英語と中国語の視覚テキスト生成にバックボーンモデルを活用するための一連の手法を提案する。
  論文  参考訳（メタデータ） (2024-10-06T10:25:39Z)
• Visual Text Generation in the Wild [67.37458807253064]
  野生で高品質なテキスト画像を生成する視覚テキスト生成装置(SceneVTG)を提案する。 提案したSceneVTGは、従来のレンダリングに基づく手法と最近の拡散に基づく手法を、忠実さと理性の観点から大きく上回っている。 生成された画像は、テキスト検出とテキスト認識を含むタスクに優れたユーティリティを提供する。
  論文  参考訳（メタデータ） (2024-07-19T09:08:20Z)
• ARTIST: Improving the Generation of Text-rich Images with Disentangled Diffusion Models [52.23899502520261]
  テキスト構造学習に焦点を当てたARTISTという新しいフレームワークを提案する。 我々は、事前訓練されたテキスト構造モデルからテキスト構造情報を同化できるように、視覚拡散モデルを微調整する。 MARIO-Evalベンチマークの実証結果は,提案手法の有効性を裏付けるものであり,様々な指標において最大15%の改善が見られた。
  論文  参考訳（メタデータ） (2024-06-17T19:31:24Z)
• Weakly Supervised Scene Text Generation for Low-resource Languages [19.243705770491577]
  シーンテキスト認識モデルのトレーニングには,多数の注釈付きトレーニング画像が不可欠である。 既存のシーンテキスト生成手法は、典型的には大量のペアデータに依存しており、低リソース言語では入手が困難である。 本稿では,いくつかの認識レベルラベルを弱監督として活用する,弱教師付きシーンテキスト生成手法を提案する。
  論文  参考訳（メタデータ） (2023-06-25T15:26:06Z)
• Grounding Language Models to Images for Multimodal Inputs and Outputs [89.30027812161686]
  本稿では,事前学習したテキストのみの言語モデルを視覚領域に最適化する効率的な手法を提案する。 任意にインターリーブされた画像とテキストデータを処理し、検索した画像とインターリーブされたテキストを生成する。
  論文  参考訳（メタデータ） (2023-01-31T18:33:44Z)
• Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation [10.39028769374367]
  本稿では,画像間翻訳の領域にテキスト・ツー・イメージ合成を取り入れた新しいフレームワークを提案する。 本手法は,事前学習したテキスト・画像拡散モデルのパワーを利用して,対象のテキストに適合する新たな画像を生成する。
  論文  参考訳（メタデータ） (2022-11-22T20:39:18Z)
• ABINet++: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Spotting [121.11880210592497]
  言語モデルの限られた能力は,1)暗黙的な言語モデリング,2)一方向の特徴表現,3)雑音入力を伴う言語モデルから生じる。 シーンテキストスポッティングのための自律的で双方向かつ反復的なABINet++を提案する。
  論文  参考訳（メタデータ） (2022-11-19T03:50:33Z)
• Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding [53.170767750244366]
  Imagenは、前例のないフォトリアリズムと深い言語理解を備えたテキスト間拡散モデルである。 テキスト・ツー・イメージ・モデルをより深く評価するために,テキスト・ツー・イメージ・モデルの総合的かつ挑戦的なベンチマークであるDrawBenchを紹介した。
  論文  参考訳（メタデータ） (2022-05-23T17:42:53Z)
• Primitive Representation Learning for Scene Text Recognition [7.818765015637802]
  本研究では,シーンテキスト画像の固有表現を活用した原始表現学習手法を提案する。 プリミティブ表現学習ネットワーク(PREN)は、並列デコードに視覚テキスト表現を使用するために構築される。 また,注意に基づく手法における不整合問題を軽減するために PREN2D というフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-10T11:54:49Z)
• Text to Image Generation with Semantic-Spatial Aware GAN [41.73685713621705]
  テキストから画像生成(T2I)モデルは、テキスト記述と意味的に一致するフォトリアリズム画像を生成することを目的としている。 本稿では,テキストエンコーダがより良いテキスト情報を活用できるように,エンドツーエンドで訓練された新しいフレームワークSemantic-Spatial Aware GANを提案する。
  論文  参考訳（メタデータ） (2021-04-01T15:48:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。