論文の概要: RoundTripOCR: A Data Generation Technique for Enhancing Post-OCR Error Correction in Low-Resource Devanagari Languages
- arxiv url: http://arxiv.org/abs/2412.15248v2
- Date: Sun, 23 Feb 2025 15:14:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-25 15:50:11.418197
- Title: RoundTripOCR: A Data Generation Technique for Enhancing Post-OCR Error Correction in Low-Resource Devanagari Languages
- Title（参考訳）: RoundTripOCR:低リソースのデバナガリ言語におけるポストOCRエラー訂正の強化のためのデータ生成手法
- Authors: Harshvivek Kashid, Pushpak Bhattacharyya,
- Abstract要約: 本稿では,Devanagari言語のための合成データ生成手法であるRoundTripOCRを提案する。
我々は,ヒンディー語,マラティー語,ボド語,ネパール語,コンカニ語,サンスクリット語に対するOCR後のテキスト修正データセットをリリースする。
また,機械翻訳の手法を利用した新しいOCR誤り訂正手法を提案する。
- 参考スコア（独自算出の注目度）: 41.09752906121257
- License:
- Abstract: Optical Character Recognition (OCR) technology has revolutionized the digitization of printed text, enabling efficient data extraction and analysis across various domains. Just like Machine Translation systems, OCR systems are prone to errors. In this work, we address the challenge of data generation and post-OCR error correction, specifically for low-resource languages. We propose an approach for synthetic data generation for Devanagari languages, RoundTripOCR, that tackles the scarcity of the post-OCR Error Correction datasets for low-resource languages. We release post-OCR text correction datasets for Hindi, Marathi, Bodo, Nepali, Konkani and Sanskrit. We also present a novel approach for OCR error correction by leveraging techniques from machine translation. Our method involves translating erroneous OCR output into a corrected form by treating the OCR errors as mistranslations in a parallel text corpus, employing pre-trained transformer models to learn the mapping from erroneous to correct text pairs, effectively correcting OCR errors.
- Abstract（参考訳）: 光文字認識(OCR)技術は、印刷テキストのデジタル化に革命をもたらし、様々な領域にわたる効率的なデータ抽出と分析を可能にした。
機械翻訳システムと同様に、OCRシステムはエラーを起こしやすい。
本稿では,低リソース言語を対象としたデータ生成とOCR後の誤り訂正の課題に対処する。
本稿では,Devanagari 言語の合成データ生成手法である RoundTripOCR を提案する。
我々は,ヒンディー語,マラティー語,ボド語,ネパール語,コンカニ語,サンスクリット語に対するOCR後のテキスト修正データセットをリリースする。
また,機械翻訳の手法を利用した新しいOCR誤り訂正手法を提案する。
本手法では,OCRの誤りを並列テキストコーパスの誤訳として扱い,誤りから正しいテキストペアへのマッピングを学習するために,事前学習したトランスフォーマモデルを用いて誤りを訂正する。
関連論文リスト
- JaPOC: Japanese Post-OCR Correction Benchmark using Vouchers [0.0]
我々は,OCR(Optical Character Recognition)システムにおいて,日本語母音に対する誤り訂正手法の有効性をベンチマーク作成し,評価する。
実験では,提案した誤り訂正アルゴリズムにより,全体の認識精度が大幅に向上した。
論文 参考訳（メタデータ） (2024-09-30T05:01:49Z) - Scrambled text: training Language Models to correct OCR errors using synthetic data [0.0]
本稿では,合成データ上での言語モデルの微調整により,OCRエラーの修正能力が大幅に向上することを示す。
合成データで訓練されたモデルは、文字誤り率を55%減らし、単語誤り率を32%減らし、実際のデータで訓練されたモデルよりも優れていた。
論文 参考訳（メタデータ） (2024-09-29T15:20:37Z) - A Coin Has Two Sides: A Novel Detector-Corrector Framework for Chinese Spelling Correction [79.52464132360618]
中国語のSpelling Correction(CSC)は、自然言語処理(NLP)の基本課題である。
本稿では,エラー検出・相関器の枠組みに基づく新しい手法を提案する。
我々の検出器は2つのエラー検出結果を得るように設計されており、それぞれ高精度とリコールが特徴である。
論文 参考訳（メタデータ） (2024-09-06T09:26:45Z) - CLOCR-C: Context Leveraging OCR Correction with Pre-trained Language Models [0.0]
本稿では、コンテキストレバレッジOCR補正(CLOCR-C)を紹介する。
トランスフォーマーベースの言語モデル(LM)の組み込みとコンテキスト適応能力を使用して、OCRの品質を向上する。
本研究の目的は, LMがOCR後の修正を行うことができるか, 下流のNLPタスクを改善するか, 補正プロセスの一部として社会文化的文脈を提供する価値を判断することである。
論文 参考訳（メタデータ） (2024-08-30T17:26:05Z) - User-Centric Evaluation of OCR Systems for Kwak'wala [92.73847703011353]
OCRを利用すると、文化的に価値ある文書の書き起こしに費やした時間を50%以上削減できることを示す。
この結果から,OCRツールが下流言語ドキュメントや再生作業において持つ潜在的なメリットが示された。
論文 参考訳（メタデータ） (2023-02-26T21:41:15Z) - OCR Improves Machine Translation for Low-Resource Languages [10.010595434359647]
我々は,騒音に富んだ実データと合成データからなる新しいベンチマークであるtextscOCR4MTを導入し,公開する。
我々は、我々のベンチマークで最先端のOCRシステムを評価し、最も一般的なエラーを分析した。
次に,OCRエラーが機械翻訳性能に与える影響について検討する。
論文 参考訳（メタデータ） (2022-02-27T02:36:45Z) - Lexically Aware Semi-Supervised Learning for OCR Post-Correction [90.54336622024299]
世界中の多くの言語における既存の言語データの多くは、非デジタル化された書籍や文書に閉じ込められている。
従来の研究は、あまり良くない言語を認識するためのニューラル・ポスト・コレクション法の有用性を実証してきた。
そこで本研究では,生画像を利用した半教師付き学習手法を提案する。
論文 参考訳（メタデータ） (2021-11-04T04:39:02Z) - Neural Model Reprogramming with Similarity Based Mapping for
Low-Resource Spoken Command Recognition [71.96870151495536]
低リソース音声コマンド認識(SCR)のための新しいAR手法を提案する。
ARプロシージャは、(対象領域から)音響信号を修正して、事前訓練されたSCRモデルを再利用することを目的としている。
提案したAR-SCRシステムについて,アラビア語,リトアニア語,マンダリン語を含む3つの低リソースSCRデータセットを用いて評価した。
論文 参考訳（メタデータ） (2021-10-08T05:07:35Z) - Neural OCR Post-Hoc Correction of Historical Corpora [4.427447378048202]
本稿では,再カレント(RNN)と深部畳み込みネットワーク(ConvNet)を組み合わせたニューラルアプローチを提案する。
我々のモデルは多様なOCR転写誤りを捕捉し、単語誤り率を32.3%減らして89%以上削減できることを示す。
論文 参考訳（メタデータ） (2021-02-01T01:35:55Z) - OCR Post Correction for Endangered Language Texts [113.8242302688894]
我々は、3つの危惧言語でスキャンされた書籍の書き起こしのベンチマークデータセットを作成する。
本稿では,汎用OCRツールがデータ・スカース・セッティングに対して堅牢でないかを体系的に分析する。
我々は,このデータ・スカース・セッティングにおけるトレーニングを容易にするために,OCRポスト補正法を開発した。
論文 参考訳（メタデータ） (2020-11-10T21:21:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。