論文の概要: KAP: MLLM-assisted OCR Text Enhancement for Hybrid Retrieval in Chinese Non-Narrative Documents

• arxiv url: http://arxiv.org/abs/2503.08452v1
• Date: Tue, 11 Mar 2025 14:01:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:41:30.159104
• Title: KAP: MLLM-assisted OCR Text Enhancement for Hybrid Retrieval in Chinese Non-Narrative Documents
• Title（参考訳）: KAP:中国非言語文書のハイブリッド検索のためのMLLM支援OCRテキスト強調
• Authors: Hsin-Ling Hsu, Ping-Sheng Lin, Jing-Di Lin, Jengnan Tzeng,
• Abstract要約: 本稿では,中国古来のノンナラティブ文書に適した2段階の事前処理フレームワークである知識認識前処理(KAP)を提案する。 Hybrid Retrievalとの互換性を向上させることで、KAPは検索アーキテクチャ自体を変更することなく、スパース法とDense Retrieval法の精度を向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We propose Knowledge-Aware Preprocessing (KAP), a two-stage preprocessing framework tailored for Traditional Chinese non-narrative documents, designed to enhance retrieval accuracy in Hybrid Retrieval systems. Hybrid Retrieval, which integrates Sparse Retrieval (e.g., BM25) and Dense Retrieval (e.g., vector embeddings), has become a widely adopted approach for improving search effectiveness. However, its performance heavily depends on the quality of input text, which is often degraded when dealing with non-narrative documents such as PDFs containing financial statements, contractual clauses, and tables. KAP addresses these challenges by integrating Multimodal Large Language Models (MLLMs) with LLM-driven post-OCR processing, refining extracted text to reduce OCR noise, restore table structures, and optimize text format. By ensuring better compatibility with Hybrid Retrieval, KAP improves the accuracy of both Sparse and Dense Retrieval methods without modifying the retrieval architecture itself.
• Abstract（参考訳）: 本稿では,ハイブリッド検索システムにおける検索精度を向上させるために,従来の中国語非ナラティブ文書に適した2段階の事前処理フレームワークである知識認識前処理(KAP)を提案する。 Sparse Retrieval (e g , BM25)とDense Retrieval (e g , ベクトル埋め込み)を統合したHybrid Retrievalは、検索効率を向上させるために広く採用されているアプローチである。 しかし、その性能は入力テキストの品質に大きく依存しており、金融文や契約条項、テーブルを含むPDFなどの非ナラティブ文書を扱う際にしばしば劣化する。 KAPはこれらの課題に対処するため、MLLM(Multimodal Large Language Models)とLLM駆動のポストOCR処理を統合し、抽出したテキストを精製してOCRノイズを低減し、テーブル構造を復元し、テキストフォーマットを最適化する。 Hybrid Retrievalとの互換性を向上させることで、KAPは検索アーキテクチャ自体を変更することなく、スパース法とDense Retrieval法の精度を向上させる。

関連論文リスト

• Learning More Effective Representations for Dense Retrieval through Deliberate Thinking Before Search [65.53881294642451]
  ディリベレート思考に基づくDense Retriever (DEBATER) DEBATERは、ステップバイステップの思考プロセスを通じて、より効果的な文書表現を学習できるようにすることにより、最近の密集型検索機能を強化している。 実験の結果,DEBATERはいくつかのベンチマークで既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-02-18T15:56:34Z)
• Cognitive-Aligned Document Selection for Retrieval-augmented Generation [2.9060210098040855]
  本稿では,クエリを動的に更新し,高品質で信頼性の高い検索文書をフィルタリングするGGatrievalを提案する。 ユーザクエリを構文コンポーネントにパースし、検索したドキュメントときめ細かいグラウンドアライメントを実行する。 提案手法では,検索した文書をフィルタリングするための新しい基準を導入し,ターゲット情報を取得するための人的戦略を密にエミュレートする。
  論文  参考訳（メタデータ） (2025-02-17T13:00:15Z)
• GeAR: Generation Augmented Retrieval [82.20696567697016]
  文書検索技術は大規模情報システム開発の基礎となる。 一般的な手法は、バイエンコーダを構築し、セマンティックな類似性を計算することである。 我々は、よく設計された融合およびデコードモジュールを組み込んだ $textbfGe$neration という新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-06T05:29:00Z)
• MAIN-RAG: Multi-Agent Filtering Retrieval-Augmented Generation [34.66546005629471]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクに不可欠なツールであるが、時代遅れや誤った情報の生成に悩まされることが多い。 Retrieval-Augmented Generation (RAG)は、外部のリアルタイム情報検索をLLM応答に組み込むことでこの問題に対処する。 この問題に対処するため,マルチエージェントフィルタ検索検索生成(MAIN-RAG)を提案する。 MAIN-RAGはトレーニング不要なRAGフレームワークで、複数のLCMエージェントを利用して検索した文書のフィルタリングとスコア付けを行う。
  論文  参考訳（メタデータ） (2024-12-31T08:07:26Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• QAEA-DR: A Unified Text Augmentation Framework for Dense Retrieval [11.62210546106209]
  厳密な検索では、長いテキストを密度の高いベクトルに埋め込むと、情報が失われ、クエリとテキストのマッチングが不正確になる。 近年の研究では,文の埋め込みモデルや検索プロセスの改善を中心に研究が進められている。 本稿では,高密度検索のための新しいテキスト拡張フレームワークを導入し,生文書を高密度テキスト形式に変換する。
  論文  参考訳（メタデータ） (2024-07-29T17:39:08Z)
• ACE: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  我々は、エンドツーエンドのクロスモーダル検索のための先駆的なジェネリッククロスモーダル rEtrieval framework (ACE) を提案する。 ACEは、クロスモーダル検索における最先端のパフォーマンスを達成し、Recall@1の強いベースラインを平均15.27%上回る。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• Generative Query Reformulation Using Ensemble Prompting, Document Fusion, and Relevance Feedback [8.661419320202787]
  GenQREnsembleとGenQRFusionはゼロショット命令のパラフレーズを利用して複数のキーワードセットを生成し、検索性能を向上させる。 検索前設定ではnDCG@10で最大18%,検索後設定では9%の精度で検索効率を向上できることを示す。
  論文  参考訳（メタデータ） (2024-05-27T21:03:26Z)
• PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
  本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。 検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
  論文  参考訳（メタデータ） (2024-04-29T04:51:30Z)
• Mixed-modality Representation Learning and Pre-training for Joint Table-and-Text Retrieval in OpenQA [85.17249272519626]
  最適化された OpenQA Table-Text Retriever (OTTeR) を提案する。 検索中心の混合モード合成事前学習を行う。 OTTeRはOTT-QAデータセット上でのテーブル・アンド・テキスト検索の性能を大幅に改善する。
  論文  参考訳（メタデータ） (2022-10-11T07:04:39Z)
• HLATR: Enhance Multi-stage Text Retrieval with Hybrid List Aware Transformer Reranking [16.592276887533714]
  HLATR(Hybrid List Aware Transformer Re rank)は、検索機能とステージ機能の両方を組み込んだ後継モジュールである。 HLATRは軽量で、既存のテキスト検索システムと容易に並列化できる。 2つの大規模テキスト検索データセットの実証実験により、HLATRは既存の多段階テキスト検索手法のランク付け性能を効率的に向上できることが示された。
  論文  参考訳（メタデータ） (2022-05-21T11:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。