Fugu-MT 論文翻訳(概要): Tamizhi-Net OCR: Creating A Quality Large Scale Tamil-Sinhala-English Parallel Corpus Using Deep Learning Based Printed Character Recognition (PCR)

論文の概要: Tamizhi-Net OCR: Creating A Quality Large Scale Tamil-Sinhala-English Parallel Corpus Using Deep Learning Based Printed Character Recognition (PCR)

arxiv url: http://arxiv.org/abs/2109.05952v1
Date: Mon, 13 Sep 2021 13:26:30 GMT
ステータス: 処理完了
システム内更新日: 2021-09-14 22:16:16.634205
Title: Tamizhi-Net OCR: Creating A Quality Large Scale Tamil-Sinhala-English Parallel Corpus Using Deep Learning Based Printed Character Recognition (PCR)
Title（参考訳）: Tamizhi-Net OCR:Deep Learning Based Printed Character Recognition (PCR)を用いた高品質なタミルシンハラ英語パラレルコーパスの作成
Authors: Charangan Vasantharajan and Uthayasanker Thayasivam
Abstract要約: 低リソース言語のほとんどは、実質的なモノリンガルコーパスを作成するために必要なリソースを持っていない。これらの言語は政府の手続きでしばしば見られるが、主にレガシーフォントを含むポータブル文書フォーマット(PDF)の形式である。これらの文書からテキストを抽出してモノリンガルコーパスを作成することは、レガシーフォントの使用とプリンタフレンドリーなエンコーディングのために困難である。
参考スコア（独自算出の注目度）: 2.0305676256390934
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Most of the low resource languages do not have the necessary resources to create even a substantial monolingual corpus. These languages may often be found in government proceedings but mostly in the form of Portable Document Formats (PDFs) that contains legacy fonts. Extracting text from these documents to create a monolingual corpus is challenging due to legacy font usage and printer-friendly encoding which are not optimized for text extraction. Therefore, we propose a simple, automatic, and novel idea that can scale for Tamil, Sinhala, and English languages and many documents. For this purpose, we enhanced the performance of Tesseract 4.1.1 by employing LSTM-based training on many legacy fonts to recognize printed characters in the above languages. Especially, our model detects code-mix text, numbers, and special characters from the printed document. It is shown that this approach can boost the character-level accuracy of Tesseract 4.1.1 from 85.5 to 98.2 for Tamil (+12.9% relative change) and 91.8 to 94.8 for Sinhala (+3.26% relative change) on a dataset that is considered as challenging by its authors.
Abstract（参考訳）: 低リソース言語の多くは、実質的な単言語コーパスを作成するために必要なリソースを持っていない。これらの言語は政府の手続きでしばしば見られるが、主にレガシーフォントを含むポータブル文書フォーマット(PDF)の形式である。これらの文書からテキストを抽出して単言語コーパスを作成することは、レガシーフォントの使用と、テキスト抽出に最適化されていないプリンタフレンドリなエンコーディングのために困難である。そこで本研究では,タミル語,シンハラ語,英語および多くの文書をスケール可能な,シンプルで自動的で斬新なアイデアを提案する。そこで我々は,従来のフォントをLSTMで学習し,印刷文字を認識することで,Tesseract 4.1.1の性能向上を実現した。特に,本モデルでは,印刷文書からコードミックステキスト,数字,特殊文字を検出する。このアプローチは、テッセラクト4.1.1の文字レベルの精度を、タミルでは85.5から98.2に、シンハラでは91.8から94.8に向上させることが示されている(+3.26%)。

関連論文リスト

TEXTRON: Weakly Supervised Multilingual Text Detection through Data Programming [21.88026116276415]
テキスト検出はコンピュータビジョン(CV)分野における課題であるテキスト検出には単語レベルのラベル付きデータが不足しており、特に多言語設定やインドのスクリプトではそうである。データプログラミングベースのアプローチであるTEXTRONを提案し、ユーザは様々なテキスト検出方法を弱い監督ベースの学習フレームワークにプラグインできる。
論文参考訳（メタデータ） (2024-02-15T09:18:18Z)
Zero-shot Sentiment Analysis in Low-Resource Languages Using a Multilingual Sentiment Lexicon [78.12363425794214]
私たちは、34の言語にまたがるゼロショットの感情分析タスクに重点を置いています。文レベルの感情データを使用しない多言語語彙を用いた事前学習は、英語の感情データセットに微調整されたモデルと比較して、ゼロショット性能が優れていることを示す。
論文参考訳（メタデータ） (2024-02-03T10:41:05Z)
NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
インドネシアの地方言語について事例研究を行う。データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
論文参考訳（メタデータ） (2023-09-19T14:42:33Z)
Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
論文参考訳（メタデータ） (2023-04-18T09:58:34Z)
Learning to Speak from Text: Zero-Shot Multilingual Text-to-Speech with Unsupervised Text Pretraining [65.30528567491984]
本稿では,対象言語に対するテキストのみのデータを用いたゼロショット多言語TS法を提案する。テキストのみのデータを使用することで、低リソース言語向けのTSシステムの開発が可能になる。評価の結果,文字誤り率が12%未満のゼロショットTSは,見当たらない言語では高い知能性を示した。
論文参考訳（メタデータ） (2023-01-30T00:53:50Z)
Beyond Arabic: Software for Perso-Arabic Script Manipulation [67.31374614549237]
ペルソ・アラビア文字を使用する言語の書き起こしシステムを操作するための有限状態トランスデューサ(FST)コンポーネントとそれに対応するユーティリティのセットを提供する。ライブラリはまた、単純なFSTベースのロマン化と文字変換も提供する。
論文参考訳（メタデータ） (2023-01-26T20:37:03Z)
TaTa: A Multilingual Table-to-Text Dataset for African Languages [32.348630887289524]
アフリカ言語におけるテーブル・トゥ・テキスト(TaTa)は、アフリカ言語に焦点を当てた最初の大規模多言語テーブル・トゥ・テキストデータセットである。 TaTaには、アフリカの4つの言語(Hausa、Igbo、Swahili、Yorub'a)とゼロショットテスト言語(ロシア語)を含む9つの言語で8,700の例が含まれている。
論文参考訳（メタデータ） (2022-10-31T21:05:42Z)
Towards Boosting the Accuracy of Non-Latin Scene Text Recognition [27.609596088151644]
シーンテキスト認識は、非ラテン言語よりもラテン言語の方が著しく優れている。本稿では,英語のデータセットを非ラテン語の言語と比較することにより,低精度化の可能性について検討する。
論文参考訳（メタデータ） (2022-01-10T06:36:43Z)
Transfer Learning for Scene Text Recognition in Indian Languages [27.609596088151644]
本研究では、英語から2つの共通言語へのディープシーンテキスト認識ネットワークのすべての層に対するトランスファー学習の能力について検討する。インド語の単純な合成データセットへの英語モデルの移行は現実的ではないことを示す。我々は,IIIT-ILSTおよびBanglaデータセットからHindi,Telugu,Marayalamデータセットのシーンテキスト認識のための新しいベンチマークを,MLT-17から設定した。
論文参考訳（メタデータ） (2022-01-10T06:14:49Z)
UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文参考訳（メタデータ） (2020-12-31T11:37:28Z)
Large Scale Font Independent Urdu Text Recognition System [1.5229257192293197]
フォントの異なる画像やビデオに印刷されたUrduのテキストを確実に認識できる自動化システムは存在しない。我々は,256フォントの大規模データセットであるQaidaと,完全なUrdu辞書を開発した。我々はまた、84.2%の精度でウルドゥー論理を認識できる畳み込みニューラルネットワーク(CNN)に基づく分類モデルを開発した。
論文参考訳（メタデータ） (2020-05-14T06:57:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。