論文の概要: MultiOCR-QA: Dataset for Evaluating Robustness of LLMs in Question Answering on Multilingual OCR Texts

• arxiv url: http://arxiv.org/abs/2502.16781v1
• Date: Mon, 24 Feb 2025 02:16:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:55:21.314041
• Title: MultiOCR-QA: Dataset for Evaluating Robustness of LLMs in Question Answering on Multilingual OCR Texts
• Title（参考訳）: MultiOCR-QA:多言語OCRテキストに対する質問応答におけるLLMのロバスト性評価データセット
• Authors: Bhawna Piryani, Jamshid Mozafari, Abdelrahman Abdallah, Antoine Doucet, Adam Jatowt,
• Abstract要約: 我々は,多言語QAデータセットであるMultiOCR-QAを導入し,OCRノイズがQAシステムの性能に与える影響を分析する。 MultiOCR-QAデータセットは、英語、フランス語、ドイツ語の3言語をカバーする60万の質問応答ペアで構成されている。 以上の結果から,QA システムは OCR による誤りの頻度が高く,ノイズの多い OCR テキストでの性能劣化を示すことが明らかとなった。
• 参考スコア（独自算出の注目度）: 17.20084584886653
• License:
• Abstract: Optical Character Recognition (OCR) plays a crucial role in digitizing historical and multilingual documents, yet OCR errors -- imperfect extraction of the text, including character insertion, deletion and permutation -- can significantly impact downstream tasks like question-answering (QA). In this work, we introduce a multilingual QA dataset MultiOCR-QA, designed to analyze the effects of OCR noise on QA systems' performance. The MultiOCR-QA dataset comprises 60K question-answer pairs covering three languages, English, French, and German. The dataset is curated from OCR-ed old documents, allowing for the evaluation of OCR-induced challenges on question answering. We evaluate MultiOCR-QA on various levels and types of OCR errors to access the robustness of LLMs in handling real-world digitization errors. Our findings show that QA systems are highly prone to OCR induced errors and exhibit performance degradation on noisy OCR text.
• Abstract（参考訳）: 光文字認識(OCR)は、歴史的および多言語文書のデジタル化において重要な役割を果たすが、OCRエラー(文字挿入、削除、置換を含むテキストの完全抽出)は、質問応答(QA)のような下流タスクに大きな影響を及ぼす可能性がある。 本研究では,多言語QAデータセットであるMultiOCR-QAを提案する。 MultiOCR-QAデータセットは、英語、フランス語、ドイツ語の3言語をカバーする60万の質問応答ペアで構成されている。 データセットは、OCRで作成した古文書からキュレートされ、質問応答におけるOCRによる課題の評価を可能にする。 我々は,マルチOCR-QAを様々なレベルのOCRエラーに対して評価し,実世界のディジタル化エラーを扱う際のLLMのロバスト性にアクセスする。 以上の結果から,QA システムは OCR による誤りの頻度が高く,ノイズの多い OCR テキストでの性能劣化を示すことが明らかとなった。

関連論文リスト

• Ocean-OCR: Towards General OCR Application via a Vision-Language Model [6.70908296002235]
  textbfOcean-OCRは3B MLLMで、様々なOCRシナリオにおける最先端性能と、一般的なタスクにおける同等の理解能力を持つ。 我々は、オープンソースのOCRベンチマークや様々なOCRシナリオにおける包括的な実験を通じて、Ocean-OCRの優位性を実証する。
  論文  参考訳（メタデータ） (2025-01-26T15:20:39Z)
• CC-OCR: A Comprehensive and Challenging OCR Benchmark for Evaluating Large Multimodal Models in Literacy [50.78228433498211]
  CC-OCRは、マルチシーンテキスト読取、多言語テキスト読取、文書解析、キー情報抽出の4つのOCR中心のトラックで構成されている。 39のサブセットと7,058のフルアノテートされたイメージが含まれており、そのうち41%が実際のアプリケーションからソースされ、初めてリリースされた。 我々は9つの顕著なLMMを評価し、これらのモデルの長所と短所、特にテキストの接地、多目的化、繰り返しの幻覚について明らかにした。
  論文  参考訳（メタデータ） (2024-12-03T07:03:25Z)
• AGENT-CQ: Automatic Generation and Evaluation of Clarifying Questions for Conversational Search with LLMs [53.6200736559742]
  エージェント-CQは、世代ステージと評価ステージの2つのステージから構成される。 CrowdLLMは、人間のクラウドソーシング判断をシミュレートして、生成された質問や回答を評価する。 ClariQデータセットの実験では、質問と回答の品質を評価するCrowdLLMの有効性が示されている。
  論文  参考訳（メタデータ） (2024-10-25T17:06:27Z)
• CLOCR-C: Context Leveraging OCR Correction with Pre-trained Language Models [0.0]
  本稿では、コンテキストレバレッジOCR補正(CLOCR-C)を紹介する。 トランスフォーマーベースの言語モデル(LM)の組み込みとコンテキスト適応能力を使用して、OCRの品質を向上する。 本研究の目的は, LMがOCR後の修正を行うことができるか, 下流のNLPタスクを改善するか, 補正プロセスの一部として社会文化的文脈を提供する価値を判断することである。
  論文  参考訳（メタデータ） (2024-08-30T17:26:05Z)
• Adversarial Training with OCR Modality Perturbation for Scene-Text Visual Question Answering [8.382903851560595]
  Scene-Text Visual Question Answering (ST-VQA) は、画像中のシーンテキストを理解し、テキストコンテンツに関連する質問に答えることを目的としている。 既存の手法の多くは光学文字認識(OCR)システムの精度に大きく依存している。 本研究では,空間認識機能を備えたマルチモーダル対向学習アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-03-14T11:22:06Z)
• LOCR: Location-Guided Transformer for Optical Character Recognition [55.195165959662795]
  自動回帰中にトランスフォーマーアーキテクチャに位置案内を組み込むモデルであるLOCRを提案する。 125Kの学術文書ページから777万以上のテキスト配置ペアからなるデータセット上でモデルをトレーニングする。 これは、編集距離、BLEU、METEOR、F測定によって測定されたarXivから構築されたテストセットの既存のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-03-04T15:34:12Z)
• OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
  テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。 OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
  論文  参考訳（メタデータ） (2023-05-13T11:28:37Z)
• User-Centric Evaluation of OCR Systems for Kwak'wala [92.73847703011353]
  OCRを利用すると、文化的に価値ある文書の書き起こしに費やした時間を50%以上削減できることを示す。 この結果から,OCRツールが下流言語ドキュメントや再生作業において持つ潜在的なメリットが示された。
  論文  参考訳（メタデータ） (2023-02-26T21:41:15Z)
• OCR Post Correction for Endangered Language Texts [113.8242302688894]
  我々は、3つの危惧言語でスキャンされた書籍の書き起こしのベンチマークデータセットを作成する。 本稿では,汎用OCRツールがデータ・スカース・セッティングに対して堅牢でないかを体系的に分析する。 我々は,このデータ・スカース・セッティングにおけるトレーニングを容易にするために,OCRポスト補正法を開発した。
  論文  参考訳（メタデータ） (2020-11-10T21:21:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。