論文の概要: Semi-Supervised Adaptation of Diffusion Models for Handwritten Text Generation

• arxiv url: http://arxiv.org/abs/2412.15853v1
• Date: Fri, 20 Dec 2024 12:48:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:23:50.409324
• Title: Semi-Supervised Adaptation of Diffusion Models for Handwritten Text Generation
• Title（参考訳）: 手書きテキスト生成のための拡散モデルの半教師付き適応
• Authors: Kai Brandenbusch,
• Abstract要約: 手書きテキスト生成のための潜時DMの拡張を提案する。 提案するコンテントエンコーダは,テキストおよび書体の特徴に対して,DMの条件付けを行う異なる方法を実現する。 新たなラベル付きデータセットにモデルを適応させるため,半教師付きトレーニングスキームを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The generation of images of realistic looking, readable handwritten text is a challenging task which is referred to as handwritten text generation (HTG). Given a string and examples from a writer, the goal is to synthesize an image depicting the correctly spelled word in handwriting with the calligraphic style of the desired writer. An important application of HTG is the generation of training images in order to adapt downstream models for new data sets. With their success in natural image generation, diffusion models (DMs) have become the state-of-the-art approach in HTG. In this work, we present an extension of a latent DM for HTG to enable generation of writing styles not seen during training by learning style conditioning with a masked auto encoder. Our proposed content encoder allows for different ways of conditioning the DM on textual and calligraphic features. Additionally, we employ classifier-free guidance and explore the influence on the quality of the generated training images. For adapting the model to a new unlabeled data set, we propose a semi-supervised training scheme. We evaluate our approach on the IAM-database and use the RIMES-database to examine the generation of data not seen during training achieving improvements in this particularly promising application of DMs for HTG.
• Abstract（参考訳）: 現実的な読みやすい手書きテキストの生成は、手書きテキスト生成(HTG)と呼ばれる難しい作業である。 書き手から文字列と例が与えられた場合、目的は、正しい綴りの言葉を手書きで表現した画像と、所望の書き手の書体を合成することである。 HTGの重要な応用は、新しいデータセットのために下流モデルを適用するためにトレーニング画像を生成することである。 自然画像生成の成功により、拡散モデル(DM)はHTGにおける最先端のアプローチとなっている。 本研究では,マスク付きオートエンコーダを用いた学習スタイルコンディショニングにより,HTGの潜在DMを拡張して,トレーニング中に見えない書き込みスタイルの生成を可能にする。 提案するコンテントエンコーダは,テキストおよび書体の特徴に対して,DMの条件付けを行う異なる方法を実現する。 さらに,分類者なし指導を採用し,生成したトレーニング画像の品質への影響について検討する。 新たなラベル付きデータセットにモデルを適応させるため,半教師付きトレーニングスキームを提案する。 我々は、IAMデータベースに対する我々のアプローチを評価し、RIMESデータベースを用いて、トレーニング中に見えないデータの生成を検証し、特にHTGに対するDMの有望な適用を達成した。

関連論文リスト

• DiffusionPen: Towards Controlling the Style of Handwritten Text Generation [7.398476020996681]
  DiffusionPen (DiffPen) は遅延拡散モデルに基づく5ショットスタイルの手書きテキスト生成手法である。 提案手法は,文字と文体の特徴の両面を抽出し,現実的な手書きサンプルを生成する。 提案手法は,既存の手法を質的かつ定量的に上回り,その付加データにより手書き文字認識(HTR)システムの性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-09-09T20:58:25Z)
• ARTIST: Improving the Generation of Text-rich Images with Disentangled Diffusion Models and Large Language Models [52.23899502520261]
  本稿では,テキスト構造の学習に特化するために,専用のテキスト拡散モデルを組み込んだARTISTという新しいフレームワークを紹介する。 我々は、事前訓練されたテキスト構造モデルからテキスト構造情報を同化できるように、視覚拡散モデルを微調整する。 この歪んだアーキテクチャ設計とトレーニング戦略は、テキストリッチな画像生成のための拡散モデルのテキストレンダリング能力を著しく向上させる。
  論文  参考訳（メタデータ） (2024-06-17T19:31:24Z)
• HWD: A Novel Evaluation Score for Styled Handwritten Text Generation [36.416044687373535]
  スタイル付き手書きテキスト生成(Styled HTG)は文書解析において重要な課題であり、与えられた参照画像の書き起こしでテキスト画像を生成することを目的としている。 我々はHTG評価に適した手書き距離(HWD)を考案する。 特に、可変レンズ入力画像から手書きスタイルの特徴を抽出し、知覚距離を利用して手書きの微妙な幾何学的特徴を比較するように特別に訓練されたネットワークの特徴空間で機能する。
  論文  参考訳（メタデータ） (2023-10-31T09:44:27Z)
• Self-Supervised Representation Learning for Online Handwriting Text Classification [0.8594140167290099]
  本稿では,日本語と中国語の個人によるオンライン筆跡から情報表現を抽出するための事前学習の前提として,新しいストロークマスキング(POSM)を提案する。 抽出した表現の質を評価するために,本質的評価法と外生的評価法の両方を用いる。 事前訓練されたモデルは、作家の識別、性別分類、手書きの分類といったタスクにおいて、最先端の結果を達成するために微調整される。
  論文  参考訳（メタデータ） (2023-10-10T14:07:49Z)
• GlyphDiffusion: Text Generation as Image Generation [100.98428068214736]
  テキスト誘導画像生成によるテキスト生成のための新しい拡散手法であるGlyphDiffusionを提案する。 私たちのキーとなるアイデアは、ターゲットのテキストを視覚言語コンテンツを含むグリフイメージとしてレンダリングすることです。 また,本モデルでは,近年の拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-04-25T02:14:44Z)
• WordStylist: Styled Verbatim Handwritten Text Generation with Latent Diffusion Models [8.334487584550185]
  単語レベルに基づくテキスト・テキスト・コンテンツ・イメージ生成のための遅延拡散に基づく手法を提案する。 提案手法は,異なる書き手スタイルからリアルな単語画像のサンプルを生成することができる。 提案モデルでは,美的満足度の高いサンプルを作成し,テキスト認識性能の向上に寄与し,類似の文字検索スコアを実データとして得られることを示す。
  論文  参考訳（メタデータ） (2023-03-29T10:19:26Z)
• On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization [89.94078728495423]
  近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。 画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
  論文  参考訳（メタデータ） (2022-05-24T00:52:40Z)
• LAFITE: Towards Language-Free Training for Text-to-Image Generation [83.2935513540494]
  テキストデータなしでテキストから画像への生成モデルをトレーニングするための最初の作業を提案する。 提案手法は,CLIPモデルのマルチモーダルなセマンティック空間の整合性を活用している。 我々は,標準的なテキスト・画像生成タスクにおいて,最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-27T01:54:45Z)
• Improving Generation and Evaluation of Visual Stories via Semantic Consistency [72.00815192668193]
  一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。 それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。 従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
  論文  参考訳（メタデータ） (2021-05-20T20:42:42Z)
• ScrabbleGAN: Semi-Supervised Varying Length Handwritten Text Generation [0.9542023122304099]
  ScrabbleGANは手書きテキストイメージを半教師付きで合成する手法である。 ScrabbleGANは任意の長さの単語の画像を生成する新しい生成モデルに依存している。
  論文  参考訳（メタデータ） (2020-03-23T21:41:19Z)
• XGPT: Cross-modal Generative Pre-Training for Image Captioning [80.26456233277435]
  XGPTは画像キャプチャのためのクロスモーダル生成前訓練法である。 テキスト・ツー・イメージ・キャプション・ジェネレータを3つの新しい生成タスクで事前訓練するように設計されている。 XGPTはタスク固有のアーキテクチャ変更なしに微調整できる。
  論文  参考訳（メタデータ） (2020-03-03T12:13:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。