Fugu-MT 論文翻訳(概要): Historical Ink: 19th Century Latin American Spanish Newspaper Corpus with LLM OCR Correction

論文の概要: Historical Ink: 19th Century Latin American Spanish Newspaper Corpus with LLM OCR Correction

arxiv url: http://arxiv.org/abs/2407.12838v1
Date: Thu, 4 Jul 2024 02:10:18 GMT
ステータス: 処理完了
システム内更新日: 2024-07-22 08:37:51.462616
Title: Historical Ink: 19th Century Latin American Spanish Newspaper Corpus with LLM OCR Correction
Title（参考訳）: 歴史インク:19世紀のラテンアメリカ・スペイン新聞社 LLM OCR 補正
Authors: Laura Manrique-Gómez, Tony Montes, Rubén Manrique,
Abstract要約: 本稿は,19世紀のラテンアメリカのプレステキストのデータセットを新たに提示し,この地域での歴史的・言語学的分析のための特別なコーパスの欠如に対処するものである。大規模言語モデルを用いて,OCR誤り訂正と言語表面形状検出のためのフレームワークをデジタルコーパスで導入する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper presents two significant contributions: first, a novel dataset of 19th-century Latin American press texts, which addresses the lack of specialized corpora for historical and linguistic analysis in this region. Second, it introduces a framework for OCR error correction and linguistic surface form detection in digitized corpora, utilizing a Large Language Model. This framework is adaptable to various contexts and, in this paper, is specifically applied to the newly created dataset.
Abstract（参考訳）: 本稿は,19世紀のラテンアメリカのプレステキストの新たなデータセットである,歴史的・言語学的分析のための特別なコーパスの欠如に対処する2つの重要な貢献について述べる。第2に,大規模言語モデルを用いたディジタルコーパスにおけるOCR誤り訂正と言語表面形状検出のためのフレームワークを導入する。このフレームワークはさまざまなコンテキストに適用可能で,本論文では新たに作成されたデータセットに特化して適用する。

関連論文リスト

A multi-level multi-label text classification dataset of 19th century Ottoman and Russian literary and critical texts [8.405938712823563]
本稿では,3000以上の文書からなる多レベル多言語テキスト分類データセットを提案する。このデータセットは19世紀のトルコ語とロシア語の文学的および批判的なテキストを特徴としている。このデータセットに大規模言語モデル(LLM)を適用した最初の研究である。
論文参考訳（メタデータ） (2024-07-21T12:14:45Z)
Spanish TrOCR: Leveraging Transfer Learning for Language Adaptation [0.0]
本研究では,TrOCRアーキテクチャのスペイン語への移行学習能力について検討する。我々は、英語のTrOCRエンコーダを言語固有のデコーダと統合し、この言語でモデルを訓練する。英語のTrOCRをスペイン語で微調整すると、固定データセットサイズに対する言語固有のデコーダよりも優れた認識が得られる。
論文参考訳（メタデータ） (2024-07-09T15:31:41Z)
Historical Ink: Semantic Shift Detection for 19th Century Spanish [0.0]
本稿では,ラテンアメリカ・スペイン語を中心に,19世紀のスペイン語文における単語の意味の進化について考察する。言語進化を理解する上で重要なセマンティックシフト検出(SSD)タスクに対処する。
論文参考訳（メタデータ） (2024-07-08T16:49:34Z)
Transformer-based Model for Word Level Language Identification in Code-mixed Kannada-English Texts [55.41644538483948]
コードミキシングしたカンナダ英語テキストにおける単語レベル言語識別のためのトランスフォーマーベースモデルを提案する。 The proposed model on the CoLI-Kenglish dataset achieves a weighted F1-score of 0.84 and a macro F1-score of 0.61。
論文参考訳（メタデータ） (2022-11-26T02:39:19Z)
A Benchmark and Dataset for Post-OCR text correction in Sanskrit [23.45279030301887]
サンスクリット語は古典言語であり、約3000万の写本がデジタル化に適合している。我々は,30冊の書籍から約218,000文,150万語を含むOCR後テキスト修正データセットを作成した。
論文参考訳（メタデータ） (2022-11-15T08:32:18Z)
hmBERT: Historical Multilingual Language Models for Named Entity Recognition [0.6226609932118123]
我々は、人物、場所、組織を史料で特定するためにNERに取り組む。本研究では, 歴史的ドイツ語, 英語, フランス語, スウェーデン語, フィンランド語について, 大規模な歴史的言語モデルを訓練することによってNERに取り組む。
論文参考訳（メタデータ） (2022-05-31T07:30:33Z)
Models and Datasets for Cross-Lingual Summarisation [78.56238251185214]
対象言語における多文要約に関連付けられたソース言語において,長い文書を含む言語間要約コーパスを提案する。コーパスは、チェコ語、英語、フランス語、ドイツ語の4つの言語について、12の言語対と指示をカバーしている。言語対応のウィキペディアのタイトルから、主節と記事の本体を組み合わせることで、ウィキペディアから言語横断的な文書要約インスタンスを導出する。
論文参考訳（メタデータ） (2022-02-19T11:55:40Z)
How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN [63.79300884115027]
現在の言語モデルは高品質なテキストを生成することができる。彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか? 本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
論文参考訳（メタデータ） (2021-11-18T04:07:09Z)
OCR Post Correction for Endangered Language Texts [113.8242302688894]
我々は、3つの危惧言語でスキャンされた書籍の書き起こしのベンチマークデータセットを作成する。本稿では,汎用OCRツールがデータ・スカース・セッティングに対して堅牢でないかを体系的に分析する。我々は,このデータ・スカース・セッティングにおけるトレーニングを容易にするために,OCRポスト補正法を開発した。
論文参考訳（メタデータ） (2020-11-10T21:21:08Z)
The Frankfurt Latin Lexicon: From Morphological Expansion and Word Embeddings to SemioGraphs [97.8648124629697]
この記事は、古典的な機械学習と知的ポストコレクション、特に、基礎となる語彙資源のグラフ表現に基づく人間の解釈プロセスを含む、より包括的なレマティゼーションの理解を論じている。
論文参考訳（メタデータ） (2020-05-21T17:16:53Z)
CoVoST: A Diverse Multilingual Speech-To-Text Translation Corpus [57.641761472372814]
CoVoSTは11言語から英語への多言語による音声からテキストへの翻訳コーパスである。 11,000人以上の話者と60以上のアクセントで多様化した。 CoVoSTはCC0ライセンスでリリースされており、無料で利用できる。
論文参考訳（メタデータ） (2020-02-04T14:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。