Fugu-MT 論文翻訳(概要): Historical Ink: 19th Century Latin American Spanish Newspaper Corpus with LLM OCR Correction

論文の概要: Historical Ink: 19th Century Latin American Spanish Newspaper Corpus with LLM OCR Correction

arxiv url: http://arxiv.org/abs/2407.12838v1
Date: Thu, 4 Jul 2024 02:10:18 GMT
ステータス: 処理完了
システム内更新日: 2024-07-22 08:37:51.462616
Title: Historical Ink: 19th Century Latin American Spanish Newspaper Corpus with LLM OCR Correction
Title（参考訳）: 歴史インク:19世紀のラテンアメリカ・スペイン新聞社 LLM OCR 補正
Authors: Laura Manrique-Gómez, Tony Montes, Rubén Manrique,
Abstract要約: 本稿は,19世紀のラテンアメリカのプレステキストのデータセットを新たに提示し,この地域での歴史的・言語学的分析のための特別なコーパスの欠如に対処するものである。大規模言語モデルを用いて,OCR誤り訂正と言語表面形状検出のためのフレームワークをデジタルコーパスで導入する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper presents two significant contributions: first, a novel dataset of 19th-century Latin American press texts, which addresses the lack of specialized corpora for historical and linguistic analysis in this region. Second, it introduces a framework for OCR error correction and linguistic surface form detection in digitized corpora, utilizing a Large Language Model. This framework is adaptable to various contexts and, in this paper, is specifically applied to the newly created dataset.
Abstract（参考訳）: 本稿は,19世紀のラテンアメリカのプレステキストの新たなデータセットである,歴史的・言語学的分析のための特別なコーパスの欠如に対処する2つの重要な貢献について述べる。第2に,大規模言語モデルを用いたディジタルコーパスにおけるOCR誤り訂正と言語表面形状検出のためのフレームワークを導入する。このフレームワークはさまざまなコンテキストに適用可能で,本論文では新たに作成されたデータセットに特化して適用する。

関連論文リスト

Reference-Based Post-OCR Processing with LLM for Diacritic Languages [0.0]
コンテンツ中心の電子書籍を参照ベースとして活用し、不完全なOCR生成テキストを訂正する手法を提案する。この技術は、ダイアクリティカル言語のための高精度な擬似ページ・ツー・ページラベルを生成する。パイプラインは、古いドキュメントから様々な種類のノイズを排除し、欠落した文字、単語、乱れたシーケンスといった問題に対処する。
論文参考訳（メタデータ） (2024-10-17T08:05:02Z)
Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
論文参考訳（メタデータ） (2024-10-02T20:48:28Z)
Post-OCR Text Correction for Bulgarian Historical Documents [31.072768715994318]
我々は、最初の標準ブルガリア正書法であるドリノフ正書法で書かれた歴史的ブルガリア文書のOCRテキスト補正を評価するための最初のベンチマークデータセットを作成する。次に、直近のLLMとエンコーダ・デコーダ・フレームワークを用いて、斜めの注意損失とコピー・アンド・カバー機構を増強し、OCR後のテキスト修正を改善する。提案手法は,認識時に導入された誤りを低減し,文書の品質を25%向上させる。
論文参考訳（メタデータ） (2024-08-31T19:27:46Z)
Spanish TrOCR: Leveraging Transfer Learning for Language Adaptation [0.0]
本研究では,TrOCRアーキテクチャのスペイン語への移行学習能力について検討する。我々は、英語のTrOCRエンコーダを言語固有のデコーダと統合し、この言語でモデルを訓練する。英語のTrOCRをスペイン語で微調整すると、固定データセットサイズに対する言語固有のデコーダよりも優れた認識が得られる。
論文参考訳（メタデータ） (2024-07-09T15:31:41Z)
Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文参考訳（メタデータ） (2024-02-16T13:53:26Z)
American Stories: A Large-Scale Structured Text Dataset of Historical U.S. Newspapers [7.161822501147275]
本研究では,新聞画像から記事の全文を抽出する,新しい深層学習パイプラインを開発した。これは、議会図書館の公共ドメインであるCentralling Americaコレクションの2000万件近いスキャンに適用される。パイプラインには、レイアウト検出、可視性分類、カスタムOCR、複数のバウンディングボックスにまたがる記事テキストの関連が含まれている。
論文参考訳（メタデータ） (2023-08-24T00:24:42Z)
Transformer-based Model for Word Level Language Identification in Code-mixed Kannada-English Texts [55.41644538483948]
コードミキシングしたカンナダ英語テキストにおける単語レベル言語識別のためのトランスフォーマーベースモデルを提案する。 The proposed model on the CoLI-Kenglish dataset achieves a weighted F1-score of 0.84 and a macro F1-score of 0.61。
論文参考訳（メタデータ） (2022-11-26T02:39:19Z)
Models and Datasets for Cross-Lingual Summarisation [78.56238251185214]
対象言語における多文要約に関連付けられたソース言語において,長い文書を含む言語間要約コーパスを提案する。コーパスは、チェコ語、英語、フランス語、ドイツ語の4つの言語について、12の言語対と指示をカバーしている。言語対応のウィキペディアのタイトルから、主節と記事の本体を組み合わせることで、ウィキペディアから言語横断的な文書要約インスタンスを導出する。
論文参考訳（メタデータ） (2022-02-19T11:55:40Z)
How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN [63.79300884115027]
現在の言語モデルは高品質なテキストを生成することができる。彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか? 本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
論文参考訳（メタデータ） (2021-11-18T04:07:09Z)
A Framework for Neural Topic Modeling of Text Corpora [6.340447411058068]
テキストの特徴を抽出し,組み込むための効率的なメカニズムを実現するためのオープンソースフレームワークであるFAMEを紹介した。本ライブラリの有効性を示すために,よく知られたNews-Groupデータセットの実験を行った。
論文参考訳（メタデータ） (2021-08-19T23:32:38Z)
XGLUE: A New Benchmark Dataset for Cross-lingual Pre-training, Understanding and Generation [100.09099800591822]
XGLUEは、大規模な言語間の事前トレーニングモデルのトレーニングに使用できる、新しいベンチマークデータセットである。 XGLUEは、自然言語理解と生成シナリオの両方をカバーする、11の多様化されたタスクを提供する。
論文参考訳（メタデータ） (2020-04-03T07:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。