論文の概要: Zero-Shot Chinese Character Recognition with Hierarchical Multi-Granularity Image-Text Aligning

• arxiv url: http://arxiv.org/abs/2505.24837v1
• Date: Fri, 30 May 2025 17:39:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:53.103081
• Title: Zero-Shot Chinese Character Recognition with Hierarchical Multi-Granularity Image-Text Aligning
• Title（参考訳）: 階層的多粒度画像テキストアライメントによるゼロショット漢字認識
• Authors: Yinglian Zhu, Haiyang Yu, Qizao Wang, Wei Lu, Xiangyang Xue, Bin Li,
• Abstract要約: 漢字は独特な構造と構成規則を示しており、表現にきめ細かい意味情報を使用することが可能である。 コントラストパラダイムに基づく階層型多言語画像テキストアライニング(Hi-GITA)フレームワークを提案する。 提案したHi-GITAは既存のゼロショットCCR法より優れている。
• 参考スコア（独自算出の注目度）: 52.92837273570818
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chinese Character Recognition (CCR) is a fundamental technology for intelligent document processing. Unlike Latin characters, Chinese characters exhibit unique spatial structures and compositional rules, allowing for the use of fine-grained semantic information in representation. However, existing approaches are usually based on auto-regressive as well as edit distance post-process and typically rely on a single-level character representation. In this paper, we propose a Hierarchical Multi-Granularity Image-Text Aligning (Hi-GITA) framework based on a contrastive paradigm. To leverage the abundant fine-grained semantic information of Chinese characters, we propose multi-granularity encoders on both image and text sides. Specifically, the Image Multi-Granularity Encoder extracts hierarchical image representations from character images, capturing semantic cues from localized strokes to holistic structures. The Text Multi-Granularity Encoder extracts stroke and radical sequence representations at different levels of granularity. To better capture the relationships between strokes and radicals, we introduce Multi-Granularity Fusion Modules on the image and text sides, respectively. Furthermore, to effectively bridge the two modalities, we further introduce a Fine-Grained Decoupled Image-Text Contrastive loss, which aligns image and text representations across multiple granularities. Extensive experiments demonstrate that our proposed Hi-GITA significantly outperforms existing zero-shot CCR methods. For instance, it brings about 20% accuracy improvement in handwritten character and radical zero-shot settings. Code and models will be released soon.
• Abstract（参考訳）: 中国語文字認識(CCR)は、インテリジェント文書処理の基本技術である。 ラテン文字とは異なり、漢字は独自の空間構造と構成規則を示しており、表現にきめ細かい意味情報を使用することが可能である。 しかし、既存のアプローチは、通常オートレグレッシブ(auto-regressive)と距離後プロセスの編集に基づいており、通常はシングルレベル文字表現に依存している。 本稿では,コントラスト的パラダイムに基づく階層型マルチグラニュラリティ画像テキストアライニング(Hi-GITA)フレームワークを提案する。 漢字の細粒度情報を活用するために,画像とテキストの両面に多粒度エンコーダを提案する。 具体的には、画像多角性エンコーダは、文字画像から階層的な画像表現を抽出し、局所的なストロークから全体構造への意味的な手がかりをキャプチャする。 Text Multi-Granularity Encoderは、異なるレベルの粒度のストロークおよびラジカルシーケンス表現を抽出する。 脳卒中とラジカルの関係をよりよく把握するために,画像側とテキスト側で多粒性融合モジュールを導入する。 さらに,2つのモダリティを効果的にブリッジするために,複数の粒度にまたがって画像とテキストの表現を整列するファイン・グラインド・デカップリング・イメージ・テキスト・コントラッシブ・ロスを導入する。 広汎な実験により,提案したHi-GITAは既存のゼロショットCCR法よりも大幅に優れていた。 例えば、手書き文字の精度が20%向上し、急進的なゼロショット設定が可能になった。 コードとモデルはまもなくリリースされる。

関連論文リスト

• Exploring Fine-Grained Image-Text Alignment for Referring Remote Sensing Image Segmentation [27.13782704236074]
  視覚的および言語的表現を完全に活用するために,新しい参照リモートセンシング画像分割法を提案する。 提案した細粒度画像テキストアライメントモジュール(FIAM)は、入力画像と対応するテキストの特徴を同時に活用する。 本稿では,RefSegRSとRRSIS-Dを含む2つのリモートセンシングデータセットに対する提案手法の有効性を評価する。
  論文  参考訳（メタデータ） (2024-09-20T16:45:32Z)
• Chinese Text Recognition with A Pre-Trained CLIP-Like Model Through Image-IDS Aligning [61.34060587461462]
  中国語テキスト認識(CTR)のための2段階フレームワークを提案する。 印刷文字画像とIdeographic Description Sequences (IDS) の整列によるCLIP様モデルの事前学習を行う。 この事前学習段階は、漢字を認識する人間をシミュレートし、各文字の標準表現を得る。 学習された表現はCTRモデルを監督するために使用され、従来の単一文字認識はテキストライン認識に改善される。
  論文  参考訳（メタデータ） (2023-09-03T05:33:16Z)
• GlyphDraw: Seamlessly Rendering Text with Intricate Spatial Structures in Text-to-Image Generation [18.396131717250793]
  GlyphDrawは、画像生成モデルに特定の言語に対して、テキストにコヒーレントに埋め込まれた画像を生成する能力を持たせることを目的とした、一般的な学習フレームワークである。 提案手法は,プロンプトのように正確な言語文字を生成するだけでなく,生成したテキストを背景にシームレスにブレンドする。
  論文  参考訳（メタデータ） (2023-03-31T08:06:33Z)
• Unified Multi-Modal Latent Diffusion for Joint Subject and Text Conditional Image Generation [63.061871048769596]
  本稿では, 特定対象を含む画像と共同テキストを入力シーケンスとして用いた, Unified Multi-Modal Latent Diffusion (UMM-Diffusion) を提案する。 より具体的には、入力テキストと画像の両方を1つの統一マルチモーダル潜在空間に符号化する。 入力テキストと画像の両面から複雑な意味を持つ高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-03-16T13:50:20Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• Towards Open-World Text-Guided Face Image Generation and Manipulation [52.83401421019309]
  顔画像生成と操作の両方に統一的なフレームワークを提案する。 本手法は,画像とテキストの両方を含むオープンワールドシナリオをサポートし,再トレーニングや微調整,後処理は行わない。
  論文  参考訳（メタデータ） (2021-04-18T16:56:07Z)
• TediGAN: Text-Guided Diverse Face Image Generation and Manipulation [52.83401421019309]
  TediGANはマルチモーダル画像生成とテキスト記述による操作のためのフレームワークである。 StyleGANインバージョンモジュールは、よく訓練されたStyleGANの潜在空間に実際の画像をマッピングする。 視覚言語的類似性は、画像とテキストを共通の埋め込み空間にマッピングすることで、テキスト画像マッチングを学ぶ。 インスタンスレベルの最適化は、操作におけるID保存のためのものだ。
  論文  参考訳（メタデータ） (2020-12-06T16:20:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。