論文の概要: Lost in OCR Translation? Vision-Based Approaches to Robust Document Retrieval

• arxiv url: http://arxiv.org/abs/2505.05666v1
• Date: Thu, 08 May 2025 21:54:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:10.094427
• Title: Lost in OCR Translation? Vision-Based Approaches to Robust Document Retrieval
• Title（参考訳）: OCR翻訳における損失 : ビジュアライゼーションに基づくロバスト文書検索へのアプローチ
• Authors: Alexander Most, Joseph Winjum, Ayan Biswas, Shawn Jones, Nishath Rajiv Ranasinghe, Dan O'Malley, Manish Bhattarai,
• Abstract要約: Retrieval-Augmented Generation (RAG)は、外部文書の応答をグラウンド化するための技術である。 従来のRAGシステムは、スキャンされた文書をテキストに最初に処理するために光学文字認識(OCR)に依存していた。 ColPaliのような近年の視覚言語アプローチでは、ドキュメントの直接的な視覚的埋め込みを提案しており、OCRの必要性を排除している。
• 参考スコア（独自算出の注目度）: 38.569818461453394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) has become a popular technique for enhancing the reliability and utility of Large Language Models (LLMs) by grounding responses in external documents. Traditional RAG systems rely on Optical Character Recognition (OCR) to first process scanned documents into text. However, even state-of-the-art OCRs can introduce errors, especially in degraded or complex documents. Recent vision-language approaches, such as ColPali, propose direct visual embedding of documents, eliminating the need for OCR. This study presents a systematic comparison between a vision-based RAG system (ColPali) and more traditional OCR-based pipelines utilizing Llama 3.2 (90B) and Nougat OCR across varying document qualities. Beyond conventional retrieval accuracy metrics, we introduce a semantic answer evaluation benchmark to assess end-to-end question-answering performance. Our findings indicate that while vision-based RAG performs well on documents it has been fine-tuned on, OCR-based RAG is better able to generalize to unseen documents of varying quality. We highlight the key trade-offs between computational efficiency and semantic accuracy, offering practical guidance for RAG practitioners in selecting between OCR-dependent and vision-based document retrieval systems in production environments.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、外部文書の応答を根拠に、LLM(Large Language Models) の信頼性と実用性を高める技術として人気がある。 従来のRAGシステムは、スキャンされた文書をテキストに最初に処理するために光学文字認識(OCR)に依存していた。 しかし、最先端のOCRでさえ、特に劣化した文書や複雑な文書にエラーを起こすことがある。 ColPaliのような近年の視覚言語アプローチでは、ドキュメントの直接的な視覚的埋め込みを提案しており、OCRの必要性を排除している。 本研究では,Llama 3.2(90B)とNougat OCRを用いたビジョンベースRAGシステム(ColPali)と従来型のOCRベースパイプラインの文書品質の比較を行った。 従来の検索精度の指標以外にも,エンドツーエンドの質問応答性能を評価するためのセマンティック回答評価ベンチマークを導入する。 以上の結果から,視力に基づくRAGは文書に対して良好に機能するが,OCRに基づくRAGでは,様々な品質の未確認文書に一般化できる可能性が示唆された。 我々は,計算効率と意味的精度の主なトレードオフを強調し,生産環境におけるOCR依存型文書検索システムと視覚ベースの文書検索システムの選択において,RAG実践者に実践的なガイダンスを提供する。

関連論文リスト

• VISTA-OCR: Towards generative and interactive end to end OCR models [3.7548609506798494]
  VISTA-OCRは、単一の生成モデル内でテキストの検出と認識を統合する軽量アーキテクチャである。 エンコーダ-デコーダアーキテクチャに基づいて構築されたVISTA-OCRは、視覚的特徴抽出フェーズから始まり、徐々に訓練される。 モデルの性能を高めるために、バウンディングボックスアノテーションと合成サンプルで強化された実世界のサンプルからなる新しいデータセットを構築した。
  論文  参考訳（メタデータ） (2025-04-04T17:39:53Z)
• OCR Hinders RAG: Evaluating the Cascading Impact of OCR on Retrieval-Augmented Generation [27.897982337072335]
  Retrieval-augmented Generation (RAG)は、幻覚を抑えるために外部知識を統合することで、言語モデル(LLM)を強化する。 RAGの本質的な部分として、光学文字認識(OCR)を用いて構造化されていないPDF文書から構造化されたデータを抽出して外部知識ベースを構築することが一般的である。 本稿では,RAGシステムにおけるOCRのカスケード効果を理解するための最初のベンチマークであるOHRBenchを紹介する。
  論文  参考訳（メタデータ） (2024-12-03T17:23:47Z)
• VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents [66.42579289213941]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルが外部知識ソースを生成に活用できる効果的な手法である。 本稿では、視覚言語モデル(VLM)に基づくRAGパイプラインを確立することにより、この問題に対処するVisRAGを紹介する。 このパイプラインでは、まず文書を解析してテキストを得る代わりに、VLMを画像として直接埋め込んで、VLMの生成を強化する。
  論文  参考訳（メタデータ） (2024-10-14T15:04:18Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• User-Centric Evaluation of OCR Systems for Kwak'wala [92.73847703011353]
  OCRを利用すると、文化的に価値ある文書の書き起こしに費やした時間を50%以上削減できることを示す。 この結果から,OCRツールが下流言語ドキュメントや再生作業において持つ潜在的なメリットが示された。
  論文  参考訳（メタデータ） (2023-02-26T21:41:15Z)
• Donut: Document Understanding Transformer without OCR [17.397447819420695]
  我々は,OCRフレームワークを基盤にすることなく,エンドツーエンドのトレーニングが可能な新しいVDUモデルを提案する。 提案手法は,公開ベンチマークデータセットとプライベート産業サービスデータセットの各種文書理解タスクにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-11-30T18:55:19Z)
• Lights, Camera, Action! A Framework to Improve NLP Accuracy over OCR documents [2.6201102730518606]
  我々は、下流のNLPタスクに対してOCRエラーを軽減するための効果的なフレームワークを実証する。 まず,文書合成パイプラインを構築することにより,モデル学習におけるデータ不足問題に対処する。 コミュニティの利益のために、私たちはドキュメント合成パイプラインをオープンソースプロジェクトとして利用可能にしました。
  論文  参考訳（メタデータ） (2021-08-06T00:32:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。