Fugu-MT 論文翻訳(概要): OCR Error Post-Correction with LLMs in Historical Documents: No Free Lunches

論文の概要: OCR Error Post-Correction with LLMs in Historical Documents: No Free Lunches

arxiv url: http://arxiv.org/abs/2502.01205v1
Date: Mon, 03 Feb 2025 09:55:31 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-05 15:00:21.257192
Title: OCR Error Post-Correction with LLMs in Historical Documents: No Free Lunches
Title（参考訳）: 歴史的文書におけるLLMによるOCRエラー後補正:フリーランチなし
Authors: Jenna Kanerva, Cassandra Ledins, Siiri Käpyaho, Filip Ginter,
Abstract要約: 本研究は,英語およびフィンランド語データセットのOCR誤り訂正にオープンウェイトLLMを用いたことを評価する。その結果,現代のLLMでは英語の文字誤り率(CER)の低減が期待できるが,フィンランド語では実用上有用な性能は得られなかった。
参考スコア（独自算出の注目度）: 10.979024723705173
License:
Abstract: Optical Character Recognition (OCR) systems often introduce errors when transcribing historical documents, leaving room for post-correction to improve text quality. This study evaluates the use of open-weight LLMs for OCR error correction in historical English and Finnish datasets. We explore various strategies, including parameter optimization, quantization, segment length effects, and text continuation methods. Our results demonstrate that while modern LLMs show promise in reducing character error rates (CER) in English, a practically useful performance for Finnish was not reached. Our findings highlight the potential and limitations of LLMs in scaling OCR post-correction for large historical corpora.
Abstract（参考訳）: オプティカル文字認識(OCR)システムでは、歴史的文書の書き起こし時にエラーが発生することが多く、テキストの品質を改善するために訂正後の余地を残している。本研究は,OCR誤り訂正のためのオープンウェイトLLMを用いて,歴史的英語とフィンランド語のデータセットについて検討した。パラメータ最適化,量子化,セグメント長効果,テキスト継続法など,さまざまな手法について検討する。その結果,現代のLLMでは英語の文字誤り率(CER)の低減が期待できるが,フィンランド語では実用上有用な性能は得られなかった。以上の結果から,大規模な歴史的コーパスのOCR後補正におけるLSMの可能性と限界が浮き彫りになった。

関連論文リスト

Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
論文参考訳（メタデータ） (2024-11-01T20:44:59Z)
RAC: Efficient LLM Factuality Correction with Retrieval Augmentation [8.207682890286957]
大規模言語モデル(LLM)は、広範囲の自然言語処理(NLP)タスクにおいて印象的な結果を示すが、しばしば事実的に誤った出力を生成することができる。本稿では,簡単な低遅延後補正手法である textbfRetrieval Augmented Correction (RAC) を提案する。
論文参考訳（メタデータ） (2024-10-21T06:11:38Z)
Reference-Based Post-OCR Processing with LLM for Diacritic Languages [0.0]
コンテンツ中心の電子書籍を参照ベースとして活用し、不完全なOCR生成テキストを訂正する手法を提案する。この技術は、ダイアクリティカル言語のための高精度な擬似ページ・ツー・ページラベルを生成する。パイプラインは、古いドキュメントから様々な種類のノイズを排除し、欠落した文字、単語、乱れたシーケンスといった問題に対処する。
論文参考訳（メタデータ） (2024-10-17T08:05:02Z)
MQM-APE: Toward High-Quality Error Annotation Predictors with Automatic Post-Editing in LLM Translation Evaluators [53.91199933655421]
大規模言語モデル(LLM)は、機械翻訳(MT)の品質評価の裁判官として大きな可能性を秘めている。非インパクト的なエラーをフィルタリングするアイデアに基づいて、ユニバーサルでトレーニング不要なフレームワークである$textbfMQM-APEを紹介します。実験の結果,GEMBA-MQMに対する誤差の信頼性と品質の両方が一貫して改善されていることがわかった。
論文参考訳（メタデータ） (2024-09-22T06:43:40Z)
CLOCR-C: Context Leveraging OCR Correction with Pre-trained Language Models [0.0]
本稿では、コンテキストレバレッジOCR補正(CLOCR-C)を紹介する。トランスフォーマーベースの言語モデル(LM)の組み込みとコンテキスト適応能力を使用して、OCRの品質を向上する。本研究の目的は, LMがOCR後の修正を行うことができるか, 下流のNLPタスクを改善するか, 補正プロセスの一部として社会文化的文脈を提供する価値を判断することである。
論文参考訳（メタデータ） (2024-08-30T17:26:05Z)
Robustness of LLMs to Perturbations in Text [2.0670689746336]
大規模言語モデル(LLM)は素晴らしいパフォーマンスを示していますが、現実のデータでは避けられないノイズを処理できますか? この研究は、LLMのテキストのモルフォロジー変化に対するレジリエンスを調査することによって、この重要な問題に取り組む。以上の結果から, LLM は, 一般の信念とは対照的に, 文中での騒々しい摂動に対して静かであることが明らかとなった。
論文参考訳（メタデータ） (2024-07-12T04:50:17Z)
Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
オフターゲット翻訳は、特に低リソース言語では未解決の問題である。最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
論文参考訳（メタデータ） (2024-03-21T13:47:40Z)
Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
論文参考訳（メタデータ） (2024-02-28T08:24:38Z)
LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
論文参考訳（メタデータ） (2023-11-15T19:52:11Z)
User-Centric Evaluation of OCR Systems for Kwak'wala [92.73847703011353]
OCRを利用すると、文化的に価値ある文書の書き起こしに費やした時間を50%以上削減できることを示す。この結果から,OCRツールが下流言語ドキュメントや再生作業において持つ潜在的なメリットが示された。
論文参考訳（メタデータ） (2023-02-26T21:41:15Z)
An Unsupervised method for OCR Post-Correction and Spelling Normalisation for Finnish [1.0957528713294875]
歴史的コーパスはOCR法で導入された誤りを含むことが知られている。我々は、文字に基づくシーケンス・ツー・シーケンスNMT(neural machine translation)モデルをトレーニングするために、並列データの完全自動教師なし抽出に関する以前の研究に基づいて構築した。本手法は,スペル正規化の利点を付加して,教師なしのままで性能が向上することを示す。
論文参考訳（メタデータ） (2020-11-06T18:19:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。