論文の概要: Logographic Character Visual Pretraining via Semantic-based Contrastive Learning

• arxiv url: http://arxiv.org/abs/2608.00096v1
• Date: Thu, 30 Jul 2026 17:12:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.404277
• Title: Logographic Character Visual Pretraining via Semantic-based Contrastive Learning
• Title（参考訳）: セマンティック・ベース・コントラスト学習によるホログラフィック・キャラクタの事前学習
• Abstract要約: 本稿では,文字の視覚的意味論と文脈的意味論を用いたマルチモーダル学習手法を提案する。 新たな事前トレーニング戦略は、特に不均衡や稀なインスタンスの問題に苦しむデータセットに対して、深い視覚的表現を強化するように設計されている。
• 参考スコア（独自算出の注目度）: 11.660518219984107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current deep learning-based character vision studies, e.g., text recognition, character image denoising, and historical text completion, are offering new solutions for learning, managing, and utilizing character resources. However, the performance of these studies peaks only with large and balanced datasets, which is a rarity with real-world character datasets, especially for logographic character languages, e.g., Chinese. The imbalance in data distribution of logographic characters is a common issue due to differences in character usage frequency and new characters being continuously created. In this paper, we propose a novel method for logographic character recognition, which introduces a multi-modal learning approach using visual semantics and contextual semantics of characters. A novel pre-training strategy is designed to enhance deep visual representations, especially for datasets suffering from issues of imbalanced and rare instances, by extracting the contextual semantics of each character from the corresponding language models. We conduct experiments across various datasets to evaluate our character recognition method and further validate the contrastive pre-training strategy by several downstream tasks. Experimental results demonstrate the superiority of our method compared to state-of-the-art methods.
• Abstract（参考訳）: 現在のディープラーニングベースの文字ビジョン研究、例えば、テキスト認識、文字画像の認知、歴史的テキスト補完は、文字リソースの学習、管理、利用のための新しいソリューションを提供している。 しかし,これらの研究のパフォーマンスは,大規模かつバランスの取れたデータセットでのみピークに達し,特にログラフ文字言語,例えば中国語では,実世界の文字データセットと希少である。 キャラクタの利用頻度と新規キャラクタの連続的な生成の相違により,ログラフ文字のデータ分布の不均衡が問題となる。 本稿では,文字の視覚的意味論と文脈的意味論を用いたマルチモーダル学習手法を提案する。 新たな事前学習戦略は、特に不均衡や稀なインスタンスの問題に悩むデータセットに対して、対応する言語モデルから各文字の文脈意味を抽出することにより、深い視覚表現を強化するように設計されている。 様々なデータセットを対象とした実験を行い、文字認識手法の評価を行い、いくつかの下流タスクによる対照的な事前学習戦略を検証した。 実験により, 最先端手法と比較して, 提案手法の優位性を示した。

関連論文リスト

• Boosting Semi-Supervised Scene Text Recognition via Viewing and Summarizing [71.29488677105127]
  既存のシーンテキスト認識(STR)手法は、特に芸術的で歪んだ文字に対して、挑戦的なテキストを認識するのに苦労している。 人的コストを伴わずに、合成データと実際のラベルなしデータを活用して、対照的な学習ベースのSTRフレームワークを提案する。 本手法は,共通ベンチマークとUnion14M-Benchmarkで平均精度94.7%,70.9%のSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-11-23T15:24:47Z)
• Visual Analytics for Efficient Image Exploration and User-Guided Image Captioning [35.47078178526536]
  事前訓練された大規模言語画像モデルの最近の進歩は、視覚的理解の新しい時代を後押ししている。 本稿では,視覚分析の領域でよく知られた2つの問題に取り組み,(1)大規模画像データセットの効率的な探索と潜在的なデータバイアスの同定,(2)画像キャプションの評価と生成過程のステアリングを行う。
  論文  参考訳（メタデータ） (2023-11-02T06:21:35Z)
• Multi-level Contrastive Learning for Script-based Character Understanding [14.341307979533871]
  文字の個人性やアイデンティティを発話から学習することを目的としたスクリプトにおける文字理解のシナリオに取り組む。 キャラクタのグローバル情報をきめ細かな方法でキャプチャするマルチレベルコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T02:40:52Z)
• Text-Only Training for Visual Storytelling [107.19873669536523]
  視覚条件付きストーリー生成問題として視覚的ストーリーテリングを定式化する。 本稿では,モダリティ間のアライメントとストーリー生成の学習を分離するテキストのみのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-17T09:32:17Z)
• OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
  テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。 OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
  論文  参考訳（メタデータ） (2023-05-13T11:28:37Z)
• Improving Scene Text Recognition for Character-Level Long-Tailed Distribution [35.14058653707104]
  本稿では,2つの専門家を用いた新しい文脈認識フリーエキスパートネットワーク(CAFE-Net)を提案する。 CAFE-Netは多数の文字を含む言語でのSTR性能を改善する。
  論文  参考訳（メタデータ） (2023-03-31T06:11:33Z)
• RZCR: Zero-shot Character Recognition via Radical-based Reasoning [17.305603529254608]
  RZCRは、視覚的意味融合に基づくラジカル情報抽出器(RIE)と知識グラフ文字推論器(KGR)から構成される。 RZCRは、特に少数の文字データセットにおいて、有望な実験結果を示す。
  論文  参考訳（メタデータ） (2022-07-12T21:12:05Z)
• Reading and Writing: Discriminative and Generative Modeling for Self-Supervised Text Recognition [101.60244147302197]
  テキスト画像の識別と生成を学習するために,コントラスト学習とマスク付き画像モデリングを導入する。 本手法は,不規則なシーンテキスト認識データセットにおいて,従来の自己教師付きテキスト認識手法を10.2%～20.2%向上させる。 提案したテキスト認識器は,11のベンチマークで平均5.3%の精度で従来のテキスト認識手法を上回り,モデルサイズが類似している。
  論文  参考訳（メタデータ） (2022-07-01T03:50:26Z)
• Language Matters: A Weakly Supervised Pre-training Approach for Scene Text Detection and Spotting [69.77701325270047]
  本稿では,シーンテキストを効果的に表現できる弱教師付き事前学習手法を提案する。 本ネットワークは,画像エンコーダと文字認識型テキストエンコーダから構成され,視覚的特徴とテキスト的特徴を抽出する。 実験により、事前訓練されたモデルは、重みを他のテキスト検出やスポッティングネットワークに転送しながら、Fスコアを+2.5%、+4.8%改善することが示された。
  論文  参考訳（メタデータ） (2022-03-08T08:10:45Z)
• Generating More Pertinent Captions by Leveraging Semantics and Style on Multi-Source Datasets [56.018551958004814]
  本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。 ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。 本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:00:05Z)
• Spectral Graph-based Features for Recognition of Handwritten Characters: A Case Study on Handwritten Devanagari Numerals [0.0]
  本稿では,手書き文字を表現するために,頑健なグラフ表現とスペクトルグラフ埋め込みの概念を利用する手法を提案する。 提案手法の有効性の検証のために,インド統計研究所コルカタデータセットの標準手書き数値視覚パターン認識について広範な実験を行った。
  論文  参考訳（メタデータ） (2020-07-07T08:40:08Z)
• Separating Content from Style Using Adversarial Learning for Recognizing Text in the Wild [103.51604161298512]
  画像中の複数の文字の生成と認識のための逆学習フレームワークを提案する。 我々のフレームワークは、新しい最先端の認識精度を達成するために、最近の認識手法に統合することができる。
  論文  参考訳（メタデータ） (2020-01-13T12:41:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。