論文の概要: DeepCalliFont: Few-shot Chinese Calligraphy Font Synthesis by Integrating Dual-modality Generative Models

• arxiv url: http://arxiv.org/abs/2312.10314v1
• Date: Sat, 16 Dec 2023 04:23:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 17:13:30.159048
• Title: DeepCalliFont: Few-shot Chinese Calligraphy Font Synthesis by Integrating Dual-modality Generative Models
• Title（参考訳）: DeepCalliFont:デュアルモダリティ生成モデルの統合による中国語書体合成
• Authors: Yitian Liu, Zhouhui Lian
• Abstract要約: 特に中国語のフォントのフォント生成は困難で、進行中の課題である。 本稿では,2つのモダリティ生成モデルを統合することで,数ショットの漢字フォント合成のための新しいモデルDeepCalliFontを提案する。
• 参考スコア（独自算出の注目度）: 20.76773399161289
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot font generation, especially for Chinese calligraphy fonts, is a challenging and ongoing problem. With the help of prior knowledge that is mainly based on glyph consistency assumptions, some recently proposed methods can synthesize high-quality Chinese glyph images. However, glyphs in calligraphy font styles often do not meet these assumptions. To address this problem, we propose a novel model, DeepCalliFont, for few-shot Chinese calligraphy font synthesis by integrating dual-modality generative models. Specifically, the proposed model consists of image synthesis and sequence generation branches, generating consistent results via a dual-modality representation learning strategy. The two modalities (i.e., glyph images and writing sequences) are properly integrated using a feature recombination module and a rasterization loss function. Furthermore, a new pre-training strategy is adopted to improve the performance by exploiting large amounts of uni-modality data. Both qualitative and quantitative experiments have been conducted to demonstrate the superiority of our method to other state-of-the-art approaches in the task of few-shot Chinese calligraphy font synthesis. The source code can be found at https://github.com/lsflyt-pku/DeepCalliFont.
• Abstract（参考訳）: 特に中国語のフォントのフォント生成は困難で、進行中の課題である。 グリフ整合性仮定を主とする先行知識の助けを借りて,最近提案された手法により,高品質な中国のグリフ画像の合成が可能となった。 しかし、字体のグリフはしばしばこれらの仮定を満たさない。 この問題に対処するために,双対モダリティ生成モデルを統合することで,漢文フォント合成のための新しいモデルであるdeepcallifontを提案する。 具体的には、画像合成とシーケンス生成の分岐から構成し、双対モダリティ表現学習戦略によって一貫した結果を生成する。 特徴組換えモジュールとラスタ化損失関数を用いて、2つのモード(グリフ画像と書き込みシーケンス)を適切に統合する。 さらに、大量のユニモダリティデータを活用し、パフォーマンスを向上させるための新しい事前学習戦略が採用されている。 本手法の質的および定量的な実験は, 漢文フォント合成における他の最先端手法よりも優れていることを示すために行われた。 ソースコードはhttps://github.com/lsflyt-pku/DeepCalliFontにある。

関連論文リスト

• HFH-Font: Few-shot Chinese Font Synthesis with Higher Quality, Faster Speed, and Higher Resolution [17.977410216055024]
  HFH-Fontは高解像度のグリフ画像を効率よく生成できる数ショットフォント合成法である。 プロのフォントデザイナーが手作業で作成したフォントに匹敵する品質の大規模な中国語のベクトルフォントを、初めて自動生成することができる。
  論文  参考訳（メタデータ） (2024-10-09T02:30:24Z)
• VQ-Font: Few-Shot Font Generation with Structure-Aware Enhancement and Quantization [52.870638830417]
  本稿では,VQGANベースのフレームワーク(VQ-Font)を提案する。 具体的には、コードブック内でフォントトークンをカプセル化するために、VQGANを事前訓練する。その後、VQ-Fontは、合成したグリフをコードブックで洗練し、合成されたストロークと実世界のストロークのドメインギャップをなくす。
  論文  参考訳（メタデータ） (2023-08-27T06:32:20Z)
• GlyphDiffusion: Text Generation as Image Generation [100.98428068214736]
  テキスト誘導画像生成によるテキスト生成のための新しい拡散手法であるGlyphDiffusionを提案する。 私たちのキーとなるアイデアは、ターゲットのテキストを視覚言語コンテンツを含むグリフイメージとしてレンダリングすることです。 また,本モデルでは,近年の拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-04-25T02:14:44Z)
• Diff-Font: Diffusion Model for Robust One-Shot Font Generation [110.45944936952309]
  Diff-Fontという拡散モデルに基づく新しいワンショットフォント生成手法を提案する。 提案するモデルは,フォントライブラリ全体を生成することを目的として,参照として1つのサンプルのみを与える。 十分に訓練されたDiff-Fontは、フォントギャップやフォントのバリエーションに対して堅牢であるだけでなく、難しい文字生成において有望なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-12-12T13:51:50Z)
• XMP-Font: Self-Supervised Cross-Modality Pre-training for Few-Shot Font Generation [13.569449355929574]
  本稿では,自己教師型クロスモダリティ事前学習戦略とクロスモダリティトランスフォーマーを用いたエンコーダを提案する。 エンコーダは、グリフ画像と対応するストロークラベルとを共同で条件付けする。 1つの参照グリフしか必要とせず、2番目のベストよりも28%低い数ショットフォント生成タスクにおいて、悪いケースの最低率を達成する。
  論文  参考訳（メタデータ） (2022-04-11T13:34:40Z)
• DeepVecFont: Synthesizing High-quality Vector Fonts via Dual-modality Learning [21.123297001902177]
  本稿では,ベクトルグリフを生成するための新しい手法であるDeepVecFontを提案する。 まず、フォントのイメージ・アスペクトとシーケンス・アスペクトの両特徴を利用してベクトルグリフを合成する双対モダリティ学習戦略を設計する。 第2に、非構造化データ(例えばベクトルグリフ)をランダムにサンプリングして、生成した構造化データのガイダンスの下でさらに洗練された最適なデータを得る、新しい生成パラダイムを提供する。
  論文  参考訳（メタデータ） (2021-10-13T12:57:19Z)
• Scalable Font Reconstruction with Dual Latent Manifolds [55.29525824849242]
  タイポグラフィー解析とフォント再構成を行う深層生成モデルを提案する。 このアプローチによって、効果的にモデル化できるキャラクタの種類を大規模にスケールアップすることが可能になります。 多くの言語の文字タイプを表す様々なデータセット上でフォント再構成のタスクを評価する。
  論文  参考訳（メタデータ） (2021-09-10T20:37:43Z)
• Font Completion and Manipulation by Cycling Between Multi-Modality Representations [113.26243126754704]
  中間表現としてグラフを用いた2次元グラフィックオブジェクトとしてフォントグリフの生成を探求する。 我々は、画像エンコーダと画像の間のグラフで、モダリティサイクルのイメージ・ツー・イメージ構造を定式化する。 本モデルでは,画像から画像までのベースラインと,それ以前のグリフ補完手法よりも改善された結果を生成する。
  論文  参考訳（メタデータ） (2021-08-30T02:43:29Z)
• A Multi-Implicit Neural Representation for Fonts [79.6123184198301]
  エッジやコーナーのようなフォント固有の不連続性は、ニューラルネットワークを使って表現することが難しい。 そこで我々は,フォントを文順に表現するためのtextitmulti-implicitsを導入する。
  論文  参考訳（メタデータ） (2021-06-12T21:40:11Z)
• Few-Shot Font Generation with Deep Metric Learning [33.12829580813688]
  提案するフレームワークは、スタイルエンコーダにディープメトリック学習を導入している。 白黒フォントと形状識別フォントのデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2020-11-04T10:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。